<과제 완성작>

=>genie music crawling

내용

1. Python 기본
2. 웹 스크래핑(crawling)
3. mongoDB

<WIL😋>

def count_fruits(target):
	count = 0
	for fruit in fruits:       #for문
		if fruit == target:
			count += 1
	return count

subak_count = count_fruits('수박')
print(subak_count) #수박의 갯수

gam_count = count_fruits('감')
print(gam_count) #감의 갯수 

• Python의 패키지 => 외부 라이브러리

• 매우 중요한 💥들여쓰기💥

• DB : 잘 찾아 사용하기 위함!
  👉 RDBMS(SQL)
  행/열의 생김새가 정해진 엑셀에 데이터를 저장하는 것과 유사합니다. 데이터 50만 개가 적재된 상태에서, 갑자기 중간에 열을 하나 더하기는 어려울 것입니다. 그러나, 정형화되어 있는 만큼, 데이터의 일관성이나 / 분석에 용이할 수 있습니다.
  ex) MS-SQL, My-SQL 등
  👉 No-SQL
  딕셔너리 형태로 데이터를 저장해두는 DB입니다. 고로 데이터 하나 하나 마다 같은 값들을 가질 필요가 없게 됩니다. 자유로운 형태의 데이터 적재에 유리한 대신, 일관성이 부족할 수 있습니다.
  ex) MongoDB

• crawling

    import requests
     from bs4 import BeautifulSoup
     
     # URL을 읽어서 HTML를 받아오고,
     headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
     data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)
     
     # HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
     soup = BeautifulSoup(data.text, 'html.parser')
     
     # select를 이용해서, tr들을 불러오기
     movies = soup.select('#old_content > table > tbody > tr')
     
     # movies (tr들) 의 반복문을 돌리기
     for movie in movies:
         # movie 안에 a 가 있으면,
         a_tag = movie.select_one('td.title > div > a')
         if a_tag is not None:
             rank = movie.select_one('td:nth-child(1) > img')['alt'] # img 태그의 alt 속성값을 가져오기
             title = a_tag.text                                      # a 태그 사이의 텍스트를 가져오기
             star = movie.select_one('td.point').text                # td 태그 사이의 텍스트를 가져오기
             print(rank,title,star)

• pymongo 기본 세팅

	import requests
	from bs4 import BeautifulSoup

	from pymongo import MongoClient
	client = MongoClient('mongodb+srv://test:패스워드@cluster0.55vah.mongodb.net/Cluster0?retryWrites=true&w=majority')
	db = client.dbsparta

# URL을 읽어서 HTML를 받아오고,
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦
soup = BeautifulSoup(data.text, 'html.parser')

# select를 이용해서, tr들을 불러오기
movies = soup.select('#old_content > table > tbody > tr')

# movies (tr들) 의 반복문을 돌리기
for movie in movies:
    # movie 안에 a 가 있으면,
    a_tag = movie.select_one('td.title > div > a')
    if a_tag is not None:
        rank = movie.select_one('td:nth-child(1) > img')['alt'] # img 태그의 alt 속성값을 가져오기
        title = a_tag.text                                      # a 태그 사이의 텍스트를 가져오기
        star = movie.select_one('td.point').text                # td 태그 사이의 텍스트를 가져오기
        print(rank,title,star)

<느낀점>

-Python은 처음 다뤄봐서 신기했다. 함수의 기본 골격은 비슷하지만 어쨌든 작성 구조가 다르니까 더 간단한가, 싶기도 하지만 그래서 더 헷갈리겠다, 하기도.
-어쩌다보니 Weekly가 아닌 Daily가,,,
-드디어 모니터와 맥북 등등(...)이 왔다! 데스크 셋업으로 인해 WIL 작성이 늦어졌음. 모니터 왜 비싼거 사야하는지 깨달았다. 진짜 최고.
-다시 만난 Mac. 반갑지만 안 반가워,,,😇