목록크롤링 (3)

EEYatHo 앱 깎는 이야기

크롤링 ) Selenium

selenium 원래는 웹 어플리케이션 테스트 도구. 하지만 크롤링에서 많이 쓰이게 됨. 페이지 로딩 및 태그 선택 from selenium import webdriver # 브라우저 생성 browser = webdriver.Chrome("{chromedriver파일경로}") # 네이버 열기 browser.get("https://www.naver.com") browser.implicitly_wait(10) # 웹사이트 로딩 10초 기다려주기 (10초 안에 로딩되면 바로 넘어감) # 쇼핑 메뉴 열기 browser.find_element(By.CSS_SELECTOR, value="a.nav.shop").click() 클릭 및 문자 입력 from selenium.webdriver.common.keys impo..
Server/크롤링 2023. 3. 15. 22:27
크롤링 ) requests + beautifulSoup

requests + beautifulSoup 크롤링을 하는 한 방법 html을 쉽게 불러올 수 있는 requests 라이브러리와, html을 사용하기 쉽게 파싱해주는 beautifulSoup 라이브러리를 사용하여, 원하는 태그를 찾고 데이터를 크롤링함 한계점 로그인이 필요한 페이지를 크롤링하기 매우 힘듦 ( 세션관리.. ) 동적페이지를 크롤링 할 수 없음 ( 동적 페이지는 selenium 사용 ) 사용법 페이지 로딩 및 태그 선택 import requests from bs4 import BeautifulSoup # html 가져오기 response = requests.get("https://www.naver.com") html = response.text # BeautifulSoup 를 사용 # html..
Server/크롤링 2023. 3. 15. 22:22
크롤링 ) 기본지식

페이지 종류 정적 페이지 url이 같다면 같은 페이지. 일반적인 페이지. 크롤링 방법 = requests + beautifulSoup 동적 페이지 url은 같은데, html이 동적으로 변하는 페이지. 스크롤이나 클릭시 상품 데이터가 더 생기는 등. (ex. 네이버 쇼핑 검색결과 페이지) 크롤링 방법 = selenium 태그 구성요소 태그명 속성명 속성값 내용 내용 CSS 선택자 크롤링하려면, 내가 원하는 내용이 들어있는 태그를 찾아야한다. 해당 태그를 찾기위한 4가지 선택자. 태그 : "태그명" (a태그 찾기 = "a") 클래스 : #클래스명 (a클래스 찾기 = "#a") id : .id (id가 a인 태그 찾기 = ".a") 자식 : 부모선택자 > 자식선택자 (id가 a인 태그의 자식 중 div 태그 ..
Server/크롤링 2023. 3. 15. 22:21
이전 Prev 1 Next 다음