Python을 사용한 웹 스크래핑

간단히 말해서 웹 스크래핑은 웹사이트에서 데이터를 가져오는 기술입니다. 웹 스크래핑을 사용하여 웹 페이지에서 관심 있는 데이터를 가져올 수 있습니다.

웹 스크래핑을 수행하는 방법에는 여러 가지가 있지만 프로그래머는 선호하는 프로그래밍 언어로 웹 스크래핑을 수행하는 방법을 알아야 합니다.

어떤 프로그래밍 언어를 사용하든 해당 언어로 웹 스크래핑을 할 수 있는 방법이 있어야 합니다. HTML 프로그래밍 언어를 사용하지 않는 한😂.

저는 단순함과 멀티태스킹을 위해 Python을 좋아합니다. 파이썬으로 원하는 것은 무엇이든 할 수 있으며 웹 스크래핑도 예외는 아닙니다.

Python은 웹 스크래핑에 도움이 되는 몇 가지 모듈과 라이브러리를 제공합니다. 그중에서requests 아름다운 수프와 스크래피가 인기입니다.

그러나 저는 이러한 모듈과 라이브러리에 대해 이야기하려는 것이 아닙니다. 여기에서 best python module for web scraping을 소개하겠습니다. 요청-HTML.

beautifulsoup과 requests가 작업을 수행하지만 requests-html 라이브러리를 사용하면 작업이 훨씬 더 간단해집니다. HTML 렌더링에 Javascript를 사용하는 웹 페이지를 스크랩할 수 있습니다.

토론은 그만하고 손을 더럽히자.

requests-html 라이브러리 설치:-

requests-html 라이브러리를 설치하기 전에 Python Installation을 설정하십시오.

Python 설치를 완료하면. 즐겨찾는 터미널을 열고 다음 명령을 실행하여 requests-html 라이브러리를 설치합니다.

python -m pip install requests-html 

설치 중 오류가 발생하면 complete guide to requests-html library을 확인하십시오.

requests-html을 사용하여 stackoverflow에서 질문 받기

음, 요청과 beautifulsoup 라이브러리를 사용하여 할 수 있지만 이것은 requests-html의 흥미로운 사용 사례가 될 것입니다.

시작하는 방법?
제공된 주제와 관련된 모든 질문을 받기 위해 따라야 할 몇 가지 단계가 있습니다.

1단계: 키워드 찾기
예를 들어 'python' 또는 'javascript'와 관련된 모든 질문을 파악하고 싶다고 가정해 보겠습니다.

2단계: 즐겨찾는 IDE 열기
저는 VsCode를 사용하고 있으며 일종의 중독자입니다. 좋아하는 IDE를 사용할 수 있습니다.

3단계: IDE에서 다음 Python 코드 작성

from requests_html import HTMLSession
session = HTMLSession()
keyword='python'
url = f"https://stackoverflow.com/questions/tagged/{keyword}"
response = session.get(url)
response.html.render(sleep=1, keep_page = True, scrolldown = 2)
question_elements=response.html.find('a.s-link')
for question_e in question_elements:
    print(question_e.text)

코드의 출력은 첫 페이지에 나타나는 Python과 관련된 모든 질문입니다.

다음은 무엇입니까?

곧 다른 흥미로운 파이썬 자습서를 만들 것이기 ​​때문에 나를 따라야 합니다. YouTube에서도 저와 계속 소통하세요. 유튜브 채널 바로가기 : .