Вступить в клуб →
сложнаявопросПотоковая поставка: Kafka, CDC и окна

Подключение CDC к таблице на 400 млн строк: снимок и поток изменений

Нужно перевести загрузку таблицы transactions (400 млн строк, тысячи изменений в секунду) с ночного полного копирования на CDC. Полный снимок займёт около 10 часов, всё это время таблица меняется. Остановить запись на время снимка нельзя.

Как получить согласованную копию без потерь?

  • Зафиксировать позицию журнала до снимка и читать с неё
  • Сделать снимок, затем читать журнал с текущей позиции
  • Читать журнал с текущей позиции без снимка
  • Копировать таблицу частями без фиксации позиции

🔒 Проверка ответа — для участников клуба

  • Проверка ответа
  • Подсказка, если застряли
  • Разбор с объяснением, почему так
  • Прогресс по всем задачам и виртуальные собеседования
Зарегистрироваться →

Регистрация занимает минуту

Другие задачи раздела