Добавили пять потребителей в группу, а отставание по топику не уменьшилось
Топик Kafka создан с тремя партициями. Потребители работают в одной consumer group. Отставание растёт, поэтому число инстансов сервиса-потребителя увеличили с трёх до восьми.
Отставание не изменилось, а нагрузка на новых подах близка к нулю.
Почему так вышло?
- Потребители делят сообщения между собой независимо от партиций, узкое место — сам брокер
- Каждому инстансу нужно задать собственный group_id, тогда нагрузка распределится ровнее
- Отставание не снижается из-за отсутствия сжатия сообщений и большого их размера в топике
- Партиция закрепляется за одним потребителем группы: параллелизм ограничен их числом