자바 웹 사이트 소스 코드 와 링크 코드 인 스 턴 스

1.인터넷 파충 류 는 웹 페이지 를 자동 으로 추출 하 는 프로그램 으로 검색엔진 을 위해 인터넷 에서 웹 페이지 를 다운로드 하 는 것 이 검색엔진 의 중요 한 구성 이다.전통 적 인 파충 류 는 하나 또는 몇 개의 초기 페이지 의 URL 부터 시작 하여 초기 페이지 의 URL 을 얻 고 웹 페이지 를 캡 처 하 는 과정 에서 현재 페이지 에서 새로운 URL 을 추출 하여 대기 열 에 넣 어 시스템 의 일정한 정지 조건 을 만족 시 킬 때 까지 계속 합 니 다.
그래서 주로 재 귀적 으로 모든 웹 페이지 의 링크 를 가 져 오고 소스 코드 를 가 져 온 다음 에 중복 링크 를 제거 합 니 다.
데 이 터 를 기어 오 른 후 주로 txt 파일 로 저장 하고 사이트 주소 의 경로 에 따라 파일 경 로 를 생 성 합 니 다.
2.코드

package com.test;

import java.io.*;
import java.net.URL;
import java.net.URLConnection;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
 
/**
 * java    
 */
public class SpiderDemo1 {
 
  //       
  private final static String theURL = "http://www.jyyishu.cn";
  //    ，      
  private final static String theTIME = new SimpleDateFormat("yyyy-MM-dd").format(new Date());
  //        
  private final static String theFILE = "L:/html/jy1/" + theTIME + "/URL.txt";
  //      
  private final static String thePATH = "L:/html/jy1/" + theTIME + "/code";
  //     ，           
  private final static String theREGEX= "(http|https)://[\\w+\\.?/?]+\\.[A-Za-z]+";
 
  /**
   *    
   * @param args
   */
  public static void main(String[] args) {
    found();
    System.out.println("      ");
  }
 
 
  public static void found() {
    PrintWriter pw = null;
    try{
      //      
      File fileDir = new File(thePATH);
      if (!fileDir.exists()) {
        fileDir.mkdirs();
      }
 
      //          
      pw = new PrintWriter(new FileWriter(theFILE),true);
 
      //             
      spiderURL(theURL, pw);
    } catch (IOException e) {
      e.printStackTrace();
    } finally {
      try {
        if(pw != null) {
          pw.close();
        }
      } catch(Exception e) {
        e.printStackTrace();
      }
    }
  }
 
 
  /**
   *              
   * @param url      
   * @param tpw             io 
   */
  public static void spiderURL(String url, PrintWriter tpw){
    URL realURL=null;
    URLConnection connection=null;
    BufferedReader br=null;
    PrintWriter pw=null;
    PrintWriter pw1=null;
 
    Pattern pattern=Pattern.compile(theREGEX);
    try{
      realURL=new URL(url);
      connection=realURL.openConnection();
 
      //     
      String src = thePATH + url.substring(theURL.length());
      File fileDir = new File(src);
      if (!fileDir.exists()) {
        fileDir.mkdirs();
      }
 
      //       
      pw = new PrintWriter(new FileWriter(src + "/Test.txt"),true);
      pw1 = tpw;
 
      //      
      br=new BufferedReader(new InputStreamReader(connection.getInputStream()));
      String line=null;
      while((line=br.readLine())!=null){
        //          
        pw.println(line);
        System.out.println("    " + url + "  ");
        Matcher matcher=pattern.matcher(line);
        //         
        while(matcher.find()){
          //               ，        ,            
          if(matcher.group().startsWith(theURL) && examine(matcher.group())) {
            //          
            pw1.println(matcher.group());
            spiderURL(matcher.group(), pw1);
          }
        }
        System.out.println("  " + url + "       ");
      }
  }catch(Exception e){
    e.printStackTrace();
  }finally {
      try {
        if(br != null) {
          br.close();
        }
        if(pw != null) {
          pw.close();
        }
      } catch (IOException e) {
        e.printStackTrace();
      }
    }
  }
 
 
  /**
   *             
   * @param str       
   * @return     
   */
  public static boolean examine(String str) {
    BufferedReader br = null;
    String str1;
    try {
      br = new BufferedReader(new FileReader(theFILE));
 
//      //            
//      if(str.startsWith("http://www.jyyishu.cn/artnews/")) {
//        return false;
//      }
      
      //           ，      ，     
      while((str1 = br.readLine()) != null) {
        if(str.equals(str1)) {
          return false;
        }
      }
    } catch (IOException e) {
      e.printStackTrace();
    } finally {
      try{
        if(br != null) {
          br.close();
        }
      } catch (IOException e) {
        e.printStackTrace();
      }
    }
    return true;
  }
}

2.기어 오 른 데이터
부분 링크:

웹 페이지 데이터:


이상 이 바로 본 고의 모든 내용 입 니 다.여러분 의 학습 에 도움 이 되 고 저 희 를 많이 응원 해 주 셨 으 면 좋 겠 습 니 다.