Python 에서 파일 을 다운로드 할 때 오류 가 발생 하 는 해결 방법 중 하나: Content - Encoding: gzip

1355 단어 python
이전에 간단 한 파충류 프로그램 을 썼 는데, 이번 에는 고정 파일 을 다운로드 하 는 파충류 프로그램 을 하나 더 써 보 려 고 한다.
다 쓴 후에 다운로드 한 파일 을 발 견 했 습 니 다. 어떤 것 은 정상적으로 열 수 있 고 어떤 것 은 인 코딩 오 류 를 알 렸 습 니 다. wireshark 로 가방 을 잡 고 http 의 가방 을 걸 러 냈 는데 wireshark 에 표 시 된 데이터 가 맞 는 것 을 발 견 했 습 니 다.그리고 http 패 킷 의 내용 을 자세히 봤 습 니 다.'Content - Encoding: gzip' 항목 이 있 는 것 을 발 견 했 습 니 다. 파충류 프로그램 을 쓸 때 본 튜 토리 얼 에 따 르 면 데이터 가 압축 되 어야 한 다 는 것 을 알 고 있 었 기 때문에 이전에 저 장 된 내용 은 압축 된 데이터 로 읽 기 에 실 패 했 습 니 다.
인터넷 에서 검색 해 보 니 gzip 라 이브 러 리 를 사용 하여 데이터 압축 을 풀 수 있 습 니 다. 코드 는 다음 과 같 습 니 다.
			req = urllib2.Request(url)
			try:
				response = urllib2.urlopen(req)
				data = response.read()
			except:
				return

			headers = response.info()
			if 'Content-Encoding' in headers and 'gzip' == headers['Content-Encoding']:
				import gzip, StringIO
				data = StringIO.StringIO(data)
				gz = gzip.GzipFile(fileobj = data)
				data = gz.read()
				gz.close()

위 에서 압축 을 풀 면 해당 형식 으로 저 장 된 파일 을 정상적으로 열 수 있 습 니 다.하지만 위 에 서 는 한 가지 유형 만 판단 했다.
코드 의 StringIO 는 메모리 버퍼 에서 데 이 터 를 읽 고 쓰 는 데 사 용 됩 니 다.
해결 방법 을 검색 할 때 gzip 은 압축 파일 을 압축 하고 풀 때 사용 되 고 zlib 는 압축 데 이 터 를 압축 하고 풀 때 사용 되 는 글 을 발견 했다.그러나 깊이 들 어가 보지 않 고 남 겨 두 었 다가 나중에 쓸 수 있 을 지도 모른다 고 말 했다.글 링크:http://www.crifan.com/compress_html_in_urllib2_open_then_decompress_returned_gzip_data_in_python/

좋은 웹페이지 즐겨찾기