python hdfs 데이터 읽 기

로드 패키지

from hdfs.client import Client

class Process_Data_Hdfs():

    def __init__(self):
        self.client = Client("http://hadoop1:50070")
        self.filename = "/user/hdfs/read.txt"

hdfs 파일 내용 을 읽 고 줄 마다 배열 에 저장 하여 되 돌려 줍 니 다.

 def read_hdfs_file(self):
        # with client.read('samples.csv', encoding='utf-8', delimiter='
') as reader:
        #  for line in reader:
        # pass

        lines = []
        with self.client.read(self.filename, encoding='utf-8', delimiter='
') as reader:
            for line in reader:
            # pass
            # print line.strip()
            lines.append(line.strip())
    return lines

\ # 디 렉 터 리 만 들 기

def mkdirs(self, hdfs_path):
    self.client.makedirs(hdfs_path)

hdfs 파일 삭제

def delete_hdfs_file(self,hdfs_path):
    self.client.delete(hdfs_path)

hdfs 에 파일 업로드

def put_to_hdfs(self, local_path, hdfs_path):
    self.client.upload(hdfs_path, local_path, cleanup=True)

hdfs 에서 로 컬 로 파일 가 져 오기

def get_from_hdfs(self, hdfs_path, local_path):
    self.client.download(hdfs_path, local_path, overwrite=False)

hdfs 파일 에 데이터 추가

def append_to_hdfs(self, hdfs_path, data):
    self.client.write(hdfs_path, data, overwrite=False, append=True)

hdfs 파일 에 데 이 터 를 덮어 씁 니 다.

def write_to_hdfs(self, hdfs_path, data):
    self.client.write(hdfs_path, data, overwrite=True, append=False)

\ # 파일 이동 또는 수정

def move_or_rename(self,hdfs_src_path, hdfs_dst_path):
    self.client.rename(hdfs_src_path, hdfs_dst_path)

\ # 디 렉 터 리 에 있 는 파일 을 되 돌려 줍 니 다.

def list(self,hdfs_path):
    return self.client.list(hdfs_path, status=False)

더 많은 것 을 알 고 싶다 면, 교 류 를 환영 합 니 다.