Проверки упали через 20 минут после публикации, и отчёт уже разослали
Пайплайн перезаписывает витрину dm_sales новыми данными, затем запускает проверки качества. Однажды проверки нашли задвоение, но за 20 минут между перезаписью и проверкой автоматическая рассылка отправила руководителям отчёт с завышенной выручкой.
Как устроить публикацию, чтобы неверные данные не попадали к пользователям?
- Запись в промежуточную таблицу, проверки, затем атомарное переключение
- Запускать рассылку на час позже
- Проверять данные после рассылки и отправлять исправление
- Писать данные прямо в витрину, но быстрее