Потребителей увеличили с 6 до 12, а отставание от топика не сократилось
Сервис расчёта скидок не успевает за топиком orders из 6 партиций, отставание растёт. Для ускорения запустили 12 экземпляров сервиса в одной группе потребителей. В мониторинге видно, что 6 экземпляров обрабатывают сообщения, а 6 простаивают.
Почему так и что учесть при проектировании?
- Партицию читает один потребитель группы; нужно больше партиций
- Kafka ограничивает группу шестью потребителями; создать вторую группу
- Новые экземпляры ждут перебалансировки; подождать сутки
- Простаивающие экземпляры сломаны; перезапустить их