Scrape Bing 유기 검색 Python으로
12283 단어 webscrapingbingpythonserpapi
소개
이 블로그 게시물에서는 Bing 유기적 검색 결과에서 제목, 링크, 표시된 링크 및 설명을 스크랩하는 방법을 볼 수 있습니다.
수입품
from bs4 import BeautifulSoup
import requests
import lxml
스크랩 할 것
다음 컨테이너에 모든 것이 표시됩니다.
제목, 링크
표시된 링크
설명(스니펫)
인라인 링크
암호
모든 요소에 특정 데이터가 있는 것은 아니기 때문에 여기에서 많은
try/expect
블록을 볼 수 있습니다. 예를 들어 모든 컨테이너에 인라인 링크가 있는 것은 아니므로 처리할 예외를 만들어야 합니다.from bs4 import BeautifulSoup
import requests, lxml
headers = {
"User-Agent":
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.19582"
}
html = requests.get('https://www.bing.com/search?q=lion king&hl=en', headers=headers).text
soup = BeautifulSoup(html, 'lxml')
for result in soup.select('.b_algo'):
try:
title = result.select_one('.b_algo h2 a').text
except:
title = None
try:
link = result.select_one('.b_algo h2 a')['href']
except:
link = None
try:
displayed_link = result.select_one('.b_caption cite').text
except:
displayed_link = None
try:
snippet = result.select_one('#b_results p').text
except:
snippet = None
try:
for inline in result.select('.sa_uc a'):
inline_title = inline.text
inline_link = inline['href']
print(f'{inline_title}\n{inline_link}')
except:
inline_title = None
inline_link = None
print(f'\n{title}\n{link}\n{displayed_link}\n{snippet}\n')
# part of the output:
'''
# inline links
Full Cast and Crew
https://www.imdb.com/title/tt6105098/fullcredits
Plot Summary
https://www.imdb.com/title/tt6105098/plotsummary
# organic results
The Lion King (2019) - IMDb
https://www.imdb.com/title/tt6105098/
https://www.imdb.com/title/tt6105098
12/07/2019 · Directed by Jon Favreau. With Donald Glover, Beyoncé, Seth Rogen, Chiwetel Ejiofor. After the murder of his father, a young lion prince flees his kingdom only to learn the true meaning of responsibility and bravery.
Full Cast and Crew
https://www.imdb.com/title/tt6105098/fullcredits
'''
Bing 유기적 결과 API 사용
from serpapi import GoogleSearch
params = {
"api_key": "YOUR_API_KEY",
"engine": "bing",
"q": "lion king"
}
search = GoogleSearch(params)
results = search.get_dict()
for result in results['organic_results']:
title = result['title']
link = result['link']
displayed_link = result['displayed_link']
snippet = result['snippet']
try:
inline_links = result['sitelinks']['inline']
except:
inline_links = None
print(f'{title}\n{link}\n{displayed_link}\n{snippet}\n{inline_links}\n')
# part of the output:
'''
Disney THE LION KING | Award-Winning Best Musical
https://www.lionking.com/
https://www.lionking.com
Disney's official site for tickets to the landmark Broadway musical THE LION KING in New York City and on tour across North America. Get information, photos and videos.
[{'title': 'Cast & Creative', 'link': 'https://www.lionking.com/cast'}, {'title': 'Get Tickets', 'link': 'https://www.lionking.com/tickets'}, {'title': 'About', 'link': 'https://www.lionking.com/about'}, {'title': 'FAQ', 'link': 'https://www.lionking.com/faq'}, {'title': 'Worldwide', 'link': 'https://www.lionking.com/worldwide'}, {'title': 'Gazelle Tour', 'link': 'https://www.lionking.com/tour'}]
'''
연결
Code in the online IDE • Bing Organic Results API
아웃트로
질문이 있거나 제대로 작동하지 않거나 다른 내용을 작성하고 싶은 경우 댓글 섹션이나 Twitter(으)로 자유롭게 의견을 남겨주세요.
당신 것,
Dimitry 및 나머지 SerpApi 팀.
Reference
이 문제에 관하여(Scrape Bing 유기 검색 Python으로), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://dev.to/dmitryzub/scrape-bing-organic-search-with-python-2lbo텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)