hdfs 업로드 와 다운로드 에 대한 python 의 문 제 를 완벽 하 게 해결 합 니 다.
requests.packages.urllib3.exceptions.NewConnectionError:
사실 이것 은 각 클 러 스 터 노드 의 ip 을/etc/hosts 파일 에 표시 하지 않 았 기 때 문 입 니 다.
/etc/hosts 파일 을 수정 하고 각 클 러 스 터 노드 ip 맵 을 추가 하면 됩 니 다.블 로 거 와 같 습 니 다.
vim /etc/hosts
192.168.20.174 hadoop04
192.168.20.173 hadoop03
192.168.20.172 hadoop02
192.168.20.171 hadoop01
질문
사용 라 이브 러 리:pyhdfs
호출 방법:
pyhdfs.HdfsClient(ip,port,user).copy_from_local()
pyhdfs.HdfsClient(ip,port,user).copy_to_local()
이상 현상 1 아래 그림 참조:
이상 현상 2 다음 그림:
이상 현상 3 다음 그림:
원인 분석:이상 은 모두 연결 에 성 공 했 지만 업로드 나 다운로드 에 실 패 했 기 때문에 이런 현상 이 발생 한 원인 은
여기 연 결 된 것 은 name 노드,포트 50070 입 니 다.copy 를 호출 할 때from_local()시 name 노드 는 자발적으로 data 노드 에 연결 하여 데이터 읽 기와 쓰기 작업 을 하고 data 노드 포트 50075 가 열 리 지 않 아 data 노드 연결 시간 이 초과 되 어 이상 을 던 집 니 다.
해결 방법:data 노드 포트 열기
이상 의 python 이 hdfs 업로드 와 다운로드 에 대한 문 제 를 완벽 하 게 해결 한 것 은 바로 편집장 이 여러분 에 게 공유 한 모든 내용 입 니 다.여러분 께 참고 가 되 고 저희 도 많이 응원 해 주 셨 으 면 좋 겠 습 니 다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
로마 숫자를 정수로 또는 그 반대로 변환그 중 하나는 로마 숫자를 정수로 변환하는 함수를 만드는 것이었고 두 번째는 그 반대를 수행하는 함수를 만드는 것이었습니다. 문자만 포함합니다'I', 'V', 'X', 'L', 'C', 'D', 'M' ; 문자열이 ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
