Скрипт загрузки падает с MemoryError на CSV-выгрузке в 12 ГБ
with open("orders.csv", encoding="utf-8") as f:
lines = f.readlines()
for line in lines[1:]:
load(parse(line))
На воркере 4 ГБ памяти, выгрузка весит 12 ГБ. Как переписать чтение?
- Читать построчно через csv.reader по файлу
- Увеличить память воркера до 16 ГБ
- Читать файл через f.read() и split
- Сжать файл перед чтением