Мобильные события приходят с опозданием в часы и не попадают в посчитанные окна
Потоковая задача считает число покупок по 5-минутным окнам по времени события. Мобильное приложение без сети копит события и отправляет их позже — иногда через несколько часов. Такие события отбрасываются, и дневные суммы в потоке расходятся с пакетным пересчётом на 3%.
Какой подход разумен?
- Watermark с допустимым опозданием и пакетная досверка
- Считать окна по времени получения события
- Держать все окна открытыми бессрочно
- Отбрасывать опоздавшие события без учёта