python 대용량 파일 읽기

1억건 이상의 대용량의 파일 다루기

• 데이터를 다루다보면 1억건은 우스운 json파일을 다뤄야하는 경우가 있다..
• 나쁜 예
  • data를 ram에 한꺼번에 올리므로 좋은방법이 아니다.

with open("input.txt") as f:
    data = f.readlines()
    for line in data:
        process(line)

• 좋은예
  • 메모리로 모두 읽은 후 처리하지 않고 한줄씩 처리

with open("input.txt") as f:
    data = f.readlines()
    for line in data:
        process(line)

• top30줄만 읽어서 형식파악

N = 30
with open('input.txt', encoding='utf-8') as myfile:
    head = [next(myfile) for x in range(N)]
print(len(head))
for l in head:
    print(l)

Reference

https://krksap.tistory.com/1780