h5py python chunk implementation 긴 시간 동안 실시간으로 어떤 데이터를 로깅하려면, 적절하게 끊어서 저장해줘야 한다. 실시간으로 파일을 쓰는 것은 많은 리소스를 필요로 하고, 한번에 모아서 저장하는 것은 데이터 전체를 잃을 가능성이 크다. 그래서 Chunk라는 클래스를 만들어서, 일정 갯수 이상 데이터가 쌓이면 자동으로 저장되게 구현했다. 저장하는 포맷은 대용량 데이터 처리에 용이한 hdf5이다. 데이터를 추가하는 코드가 ... multiprocessingh5pypythonh5py
python chunk implementation 긴 시간 동안 실시간으로 어떤 데이터를 로깅하려면, 적절하게 끊어서 저장해줘야 한다. 실시간으로 파일을 쓰는 것은 많은 리소스를 필요로 하고, 한번에 모아서 저장하는 것은 데이터 전체를 잃을 가능성이 크다. 그래서 Chunk라는 클래스를 만들어서, 일정 갯수 이상 데이터가 쌓이면 자동으로 저장되게 구현했다. 저장하는 포맷은 대용량 데이터 처리에 용이한 hdf5이다. 데이터를 추가하는 코드가 ... multiprocessingh5pypythonh5py