DSMP MongoRepository를 통한 대량 데이터 삽입시 발생한 이슈 #3 이전에 20만개의 데이터 삽입 시의 문제점은 looping을 통해 진행되는 save가 데이터의 리스트 크기만큼 DB에 접근해 발생하는 네트워크 overhead 였습니다. 이를 해결하기 위해 매번 DB에 접근한게 아니라, Batch insert 방식으로 list로 한번에 저장해야겠다고 생각했고 그 방법은 saveAll 메서드를 이용하여 해결가능했습니다. 자세한 내용은 의 글을 통해 확인하시면 ... issueDSMPdbDSMP MongoRepository를 통한 대량 데이터 삽입시 발생한 이슈 #2 이전에 5만개의 데이터를 처리 했을 때의 문제점은 클라이언트에서 요청하는 save API의 횟수였습니다. 최종적으로, 데이터를 리스트로 받아 들여 5만개의 데이터를 한번의 API로 처리하는 방법으로 문제를 해결 할 수 있었습니다. 이번 글은 20만개 처리 시 발생한 문제를 기반으로 작성하겠습니다 ㅎㅎ 삽입되는 데이터의 갯수가 5만개에서 20만개로 늘어나면서 문제가 발생했습니다! 한번 더 지난... issueDSMPdbDSMP
MongoRepository를 통한 대량 데이터 삽입시 발생한 이슈 #3 이전에 20만개의 데이터 삽입 시의 문제점은 looping을 통해 진행되는 save가 데이터의 리스트 크기만큼 DB에 접근해 발생하는 네트워크 overhead 였습니다. 이를 해결하기 위해 매번 DB에 접근한게 아니라, Batch insert 방식으로 list로 한번에 저장해야겠다고 생각했고 그 방법은 saveAll 메서드를 이용하여 해결가능했습니다. 자세한 내용은 의 글을 통해 확인하시면 ... issueDSMPdbDSMP MongoRepository를 통한 대량 데이터 삽입시 발생한 이슈 #2 이전에 5만개의 데이터를 처리 했을 때의 문제점은 클라이언트에서 요청하는 save API의 횟수였습니다. 최종적으로, 데이터를 리스트로 받아 들여 5만개의 데이터를 한번의 API로 처리하는 방법으로 문제를 해결 할 수 있었습니다. 이번 글은 20만개 처리 시 발생한 문제를 기반으로 작성하겠습니다 ㅎㅎ 삽입되는 데이터의 갯수가 5만개에서 20만개로 늘어나면서 문제가 발생했습니다! 한번 더 지난... issueDSMPdbDSMP