브라우저를 통해 HDFS 파일 다운로드
2522 단어 hdfs
/**
*
* @param hdfsPath hdfs
* @param pathName hdfs
* @param response
*/
public static void downloadHdfs(String hdfsPath,String pathName,HttpServletResponse response) {
//"hdfs://SZ-GADZ050200-NN:8020"
///user/lingz/ai/69/model/csv"
List list = new ArrayList();
Configuration conf = new Configuration();
URI uri = URI.create(hdfsPath);
FileSystem hdfs = null;
Path path = new Path(pathName);
try {
hdfs = FileSystem.get(uri, conf, "hdfs");
FileStatus[] files = hdfs.globStatus(path);
for (FileStatus file : files) {
if (file.isDirectory()) {
RemoteIterator iterator = hdfs.listFiles(file.getPath(), false);
while (iterator.hasNext()) {
LocatedFileStatus fileStatus = iterator.next();
Path fullPath = fileStatus.getPath();
System.out.println(fullPath);
FileSystem fs = FileSystem.get(new URI(hdfsPath), new Configuration());
InputStream in = fs.open(new Path(fullPath.toString()));
//copy
// OutputStream out = new FileOutputStream(downloadPath);
// IOUtils.copyBytes(in, out, 4096, true);
//copy end
String name = fullPath.getName();
//3. content-disposition
response.setHeader("content-disposition", "attachment;filename=" + name);
//4.
// InputStream in = new FileInputStream(fullPath.toString());
int len = 0;
//5.
byte[] buffer = new byte[1024];
//6. response OutputStream
OutputStream out = response.getOutputStream();
//7. FileInputStream buffer
while ((len = in.read(buffer)) > 0) {
//8. OutputStream
out.write(buffer, 0, len);
}
in.close();
}
} else {
System.out.println(file.getPath());
}
}
} catch (IOException e) {
e.printStackTrace();
} catch (InterruptedException e) {
e.printStackTrace();
} catch (URISyntaxException e){
e.printStackTrace();
}
}
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
hadoop의hdfs 파일 작업은 hdfs에 파일을 업로드합니다텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.