Python 오픈 소스 프레임 워 크 Scrapy 설치 및 사용

1683 단어 python
1.설치 문제 환경:CentOS + Python 2.7 + Pip
1)설치 중"UnicodeDecodeError: 'ascii' codec can't decode byte 0xe 9"오류,libffi-devel 과 Python-devel 설치:
yum install libffi-devel yum install python-devel
2)설치 lxml 에 오류 가 발생 했 습 니 다.libxml 2-devel 과 libxslt-devel 이 부족 한 것 같 습 니 다.yum 설치:yum install libxslt-devel libxml 2-devel 3)bz2 오류 가 발생 했 을 때 필요 합 니 다.yum install bzip 2-devel 4)Twisted 를 설치 할 때 압축 해제 오류 가 발생 했 습 니 다.twisted 패 키 지 를 수 동 으로 내 려 야 합 니 다.자체 압축 해제 설치:cd~wgethttp://pypi.python.org/packages/source/T/Twisted/Twisted-13.2.0.tar.bz2 tar xjvf Twisted-13.2.0.tar.bz2  cd Twisted-13.2.0 python2.7 setup.py install      그 다음 에 pip 를 사용 하여 Scrapy:pip 2.7 install Scrapy 2 를 설치 하고 중국어 난 코드 문 제 는 먼저 chardet 를 설치 합 니 다.pip 2.7 install chardet 는 프로그램 에서 입력 을 판단 하고 디 코딩 출력 을 판단 합 니 다.
text = response.body

content_type = chardet.detect(text)

if content_type['encoding'] != 'UTF-8':

        text = text.decode(content_type['encoding'])

text = text.encode('utf-8')

좋은 웹페이지 즐겨찾기