목록Beautiful Soup (1)

끄적끄적 코딩일지

BeautifulSoup + Selenium을 이용한 동적 페이지 크롤링

프로젝트를 진행하다가 웹 크롤링을 해야하는 상황이 생겼다 자신있게 requests 모듈을 써서 테스트 코드 작성후 실행을 해보는데... from bs4 import BeautifulSoup import requests url = '크롤링 페이지' html = requests.get(url) bs = BeautifulSoup(html.content,'html.parser') print(bs.find_all('내가 찾는 tag',{'class':'내가 찾는 tag의 클레스'})) print 출력 결과... [] ??? 뭐야 왜 페이지가 비어있어?? 구글링 해보니 내가 필요한 정보는 동적(dynamic)으로 체워지는 모양 (하긴 동적인 크롤링할 가치가 있는 데이터는 왠만하면 동적페이지가 대부분이긴 하지..) ..
Python 2022. 5. 10. 22:32
이전 Prev 1 Next 다음