JAVA 의 노드 흐름 과 처리 흐름 및 흐름 의 닫 기 순서

오늘 hadop 프로그램 을 작성 할 때 스 트림 처 리 를 사 용 했 습 니 다.흐름 을 닫 을 때 문제 가 발생 했 습 니 다:
코드:

 1 FSDataInputStream fsin = fs.open(new Path(filein));

 2 FSDataOutputStream fsout = fs.append(new Path(fileout));

 3 BufferedReader br = new BufferedReader(new InputStreamReader(fsin));

 4 BufferedWriter bw = new BufferedWriter(new OutputStreamWriter(fsout));

 5 ...

 6 br.close();

 7 fsin.close();

 8 bw.close();

 9 fsout.close();

이상:

1 [root@bigdata004 bigdata]# ./bigdataTimer.sh 

2 INFO [main] com.sinosoft.bigdata.BigDataTimer.main(227) | -----Timer begin-----

3 INFO [main] com.sinosoft.bigdata.BigDataInit.<clinit>(70) | bigdata init ...

4 WARN [main] org.apache.hadoop.util.NativeCodeLoader.<clinit>(62) | Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

5 INFO [main] com.sinosoft.bigdata.BigDataTimer.mergeFile(66) | Finished appending file.

6 INFO [main] com.sinosoft.bigdata.BigDataTimer.mergeFile(68) | deleted the input data path.

7 INFO [main] com.sinosoft.bigdata.BigDataTimer.mergeFile(70) | create the input data path.

8 ERROR [main] org.apache.hadoop.hdfs.DFSClient.closeAllFilesBeingWritten(776) | Failed to close file /user/root/dayfileInput/dayfileIn

9 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException): No lease on /user/root/dayfileInput/dayfileIn: File does not exist. Holder DFSClient_NONMAPREDUCE_-221972347_1 does not have any open files.

원인:처리 흐름 br.close()를 닫 습 니 다.이후 이와 관련 된 fsin.close()를 닫 았 다.의 노드 흐름.사실 br.close();fsin.close()를 호출 합 니 다. 그래서 fsin.close()를 두 번 반복 해서 닫 았 습 니 다.결국 이상 을 던 졌 다.
흐 르 는 지식 을 되 돌아 보 았 다.
흐름 이 특정한 곳(예 를 들 어 디스크,메모리,장치 등)과 직접 연결 되 는 지 여부 에 따라 노드 흐름 과 처리 흐름 두 가지 로 나 뉜 다.　　

노드 흐름:특정한 곳(노드)에서 데 이 터 를 읽 거나 쓸 수 있 습 니 다.FileReader 와 같 습 니 다.

처리 흐름:이미 존재 하 는 흐름 에 대한 연결 과 패 키 징 으로 포 장 된 흐름 의 기능 호출 을 통 해 데이터 읽 기와 쓰 기 를 실현 합 니 다.예 를 들 어 Buffered Reader.흐름 을 처리 하 는 구조 방법 은 항상 다른 흐름 대상 을 매개 변수 로 해 야 합 니 다.하나의 흐름 대상 은 다른 흐름 의 여러 번 포장 을 거 쳐 흐 르 는 링크 라 고 합 니 다.

JAVA 에서 자주 사용 하 는 노드 흐름:

파일 FileInputStream FileOutputStream FileReader FileWriter 파일 을 처리 하 는 노드 흐름 입 니 다.

문자열 StringReader StringWriter 가 문자열 을 처리 하 는 노드 흐름 입 니 다.

배열 ByteArray InputStream ByteArray OutputStream CharArray Reader CharArray Writer 가 배열 을 처리 하 는 노드 흐름(대응 하 는 것 은 파일 이 아니 라 메모리 의 배열)입 니 다.

파이프 PipedInputStream PipedOutputStream PipedReaderPipedWriter 가 파 이 프 를 처리 하 는 노드 흐름 입 니 다.

상용 처리 흐름(처리 흐름 닫 기 사용 안 노드 흐름 닫 기)

버퍼 흐름:BufferedInputStream BufferedOutputStream BufferedReader BufferedWriter

　　   ---버퍼 기능 을 추가 하여 하 드 디스크 를 자주 읽 지 않도록 합 니 다.

변환 흐름:InputStreamReader OutputStreamReader 는 바이트 흐름 과 문자 흐름 간 의 전환 을 실현 합 니 다.

데이터 흐름 DataInputStream DataOutputStream 등-기본 데이터 형식 을 파일 에 기록 하거나 읽 을 수 있 습 니 다.

흐름 의 닫 기 순서

일반적인 상황 에서 먼저 열 린 것 은 닫 고 나중에 열 린 것 은 먼저 닫 는 것

다른 상황:의존 관 계 를 보면 흐 르 는 a 가 흐 르 는 b 에 의존 하면 흐 르 는 a 를 먼저 닫 고 흐 르 는 b 를 닫 아야 한다.예 를 들 어 처리 흐름 a 는 노드 흐름 b 에 의존 하고 처리 흐름 a 를 닫 은 다음 에 노드 흐름 b

를 닫 아야 한다.

처리 흐름 만 닫 을 수 있 고 노드 흐름 을 닫 지 않 아 도 됩 니 다.흐름 이 닫 힐 때 처리 하 는 노드 흐름 의 닫 는 방법 을 호출 합 니 다.

주의:

노드 흐름 을 닫 은 후에 처리 흐름 을 닫 으 면 IO 이상 을 던 집 니 다.

처리 흐름 을 닫 으 면 이와 관련 된 노드 흐름 을 닫 으 면 IO 이상 이 발생 할 수 있 습 니 다.(hadop 프로 그래 밍 파일 흐름 작업 중 에 만 났 습 니 다.)