Выгрузка клиентов из API постранично теряет и дублирует записи
Загрузчик забирает клиентов из API CRM запросами ?offset=0&limit=500, ?offset=500&limit=500 и так далее. Выгрузка идёт 40 минут, а в это время менеджеры создают новых клиентов. После загрузки часть клиентов отсутствует, а часть встречается дважды.
Как грузить надёжно?
- Курсорная пагинация по стабильному ключу
- Уменьшить limit до 50
- Грузить все страницы параллельно
- Повторять выгрузку, пока число записей не совпадёт