nodejs 사이트 이미지 추출 기능 실현
1713 단어 nodejs사이트 사진 을 탈취 하 다.
원리:
파충 류 는 가장 뚜렷 한 IO 밀집 형 응용 장면 으로 node 를 사용 하여 I/O 가 비용 이 드 는 작은 데이터 발굴 을 기다 리 는 것 이 편리 하 다.
express 모듈 을 통 해 node 서 비 스 를 구축 합 니 다.
또한 request 모듈 을 사용 하여 대상 페이지 의 html 코드 를 가 져 옵 니 다.
cheerio 모듈 을 다운로드 하여 html 코드 를 처리 합 니 다.
환경 설정:
npm install express request cheerio --save
(1)각 모듈 도입
var http = require('http');
var request = require('request);
var cheerio = require('cheerio');
var fs = require('fs'); //
var url = 'https://movie.douban.com/cinema/nowplaying/beijing/' //
(2)발송 요청
http.get(function(res){
var html = '';
var titles = [];
res.setEncoding('utf-8') //
res.on('data',function(chunk){
html += chrunk; // data
})
res.on('end',function(){
var $ = cheerio.load(html); // , html
// images
$('.mod-bd img').each(function(index, item){
//
var imgName = $(this).parent().next().text().trimg()
var imgfile = imgName + '.jpeg';
var imgSrc = $(this).attr('src')
// request ,
request.head(imgSrc, function(error, res,body){
if(error){
console.log(' ')
}
});
// fs images
request(imgSrc).pipe.(fs.createWriteStream('./images/' + imgfile));
})
})
})