Вставки в таблицу событий начали падать с ошибкой Too many parts
Таблицу событий создали с PARTITION BY (event_date, event_type). Типов событий — 300, данные за 4 года. Скрипт загрузки вставляет по одной строке. Через некоторое время вставки начали падать с ошибкой «Too many parts», а запросы к таблице замедлились.
Что исправить?
- Партиционировать крупно, например по месяцу, и вставлять пачками
- Добавить в ключ партиционирования ещё и user_id
- Увеличить допустимое число частей в настройках
- Вставлять строки параллельно в несколько потоков