파이썬 크롤링 BeautifulSoup 사이트 데이터 추출하기

파이참에서 실행하기전 예시 자료로 네이버 사이트에서 파이썬을 검색하고 검색 결과에 대한 제목만 가져옵니다

먼저 코드 내용은 아래와 같습니다

 

1. import 부터 진행 해주시면 됩니다

2. res를 보시면 url이 있는대 원하는 사이트의 url을 가져옵니다

3.data 변수쪽을 보면 css태그가 입력 되어있는대 아래 사진처럼 먼저 F12를 눌러 개발자 도구를 오픈한 다음 빨간색 표기된 버튼을 누르고 파란색 표기 부분(제목) 3개중 1개를 클릭합니다 그럼 개발자 도구 화면에서 선택된 화면에서 우클릭

4.copy -> Copy selector 클릭 후 그대로 data = soup.select('붙여넣기')

import requests
from bs4 import BeautifulSoup

res = requests.get('https://search.naver.com/search.naver?where=nexearch&sm=top_hty&fbm=1&ie=utf8&query=%ED%8C%8C%EC%9D%B4%EC%8D%AC')
soup = BeautifulSoup(res.content, 'html.parser')
data = soup.select('div.total_wrap.api_ani_send > div.total_group > div > div > div > a')

for item in data:
    print(item.get_text())

 

선택된 부분에 우클릭 화면

 

참고사항 : 붙여넣기를 하면 #web_3 > div.total_wrap.api_ani_send > div.total_group > div > div > div > a 이렇게 나옵니다

아래 소스 내용이랑 비교하면 앞에 #web_3이 추가 되있는데요 사진을 보시면 오른쪽 빨간색 표기 부분에 id값이 web_1, web_3,web_6 이렇게 있습니다 해당 id값들을 지워주면 앞에 class와 동일한 영역의 css를 전부다 가져오기 때문에 제목의 모든 목록을 가져오기 위해서는 #web_3을 제외하면 아래와 같은 목록이 나타납니다

출력 결과