scraping && crawling

scraping - 사이트에 있는 정보를 한번 가져온다, F12 를 눌러서 콘솔창에 있는 정보를 가져오는 개념이다.
예전에는 XML 형태로 사이트가 많이 구성되어 있었는데 요즘에는 대부분 JSON 을 쓴다고 한다.

먼저 VScode에서 node 를 이용하여 가져오려면 cheerio 를 사용해야한다

https://www.npmjs.com/package/cheerio
(주소 첨부)
이 라이브러리와 axios를 이용하여 스크랩핑을 사용할 수 있다.

crawling - 사이트에 있는 정보를 꾸준히 가져온다

스크래핑과 다른점은 계속 반복해서 가져올 수 있다는 것이다.
또 한 cheerio 대신 puppeteer 를 이용하여야 한다.

https://www.npmjs.com/package/puppeteer
(npm 주소 첨부)

오늘 한줄 느낀점
Object.assign() 을 몰라서 한줄짜리를 20줄로 만드는 마법을 사용했다.

function addNew(obj1, obj2) {
 let answer = Object.assign(obj2,obj1)

 return answer

function addNew(obj1, obj2) {
  let answer = {}
  obj1L = Object.keys(obj1).length
  obj2L = Object.keys(obj2).length

  obj1Keys = Object.keys(obj1)
  obj2Keys = Object.keys(obj2)

  obj1values = Object.values(obj1)
  obj2values = Object.values(obj2)

  for(let i=0; i<obj1L; i++){
    for(let j=0; j<obj2L; j++){
      if(obj1Keys[i] === obj2Keys[j]){
        answer[obj1Keys[i]] = obj1values[i]
      } else {
        answer[obj1Keys[i]] = obj1values[i]
      }
      if(!obj1Keys.includes(obj2Keys[j])){
        answer[obj2Keys[j]] = obj2values[j]
      }
    }
  }
  return answer
 
}