Пять консьюмеров одной группы на топик из трёх партиций
Топик payments имеет 3 партиции. Чтобы разгрузить обработку, сервис масштабировали до 5 подов; все они читают топик с одним и тем же group.id.
Скорость обработки после масштабирования с 3 до 5 подов не выросла. Почему?
- Каждый под получит копию всех сообщений, и обработка станет дублироваться, а не ускоряться
- Партиция назначается ровно одному потребителю в группе, поэтому работают три пода, а два простаивают без назначенных партиций
- Все пять читают, деля партиции поровну, а замедление вызвано постоянными ребалансировками
- Группа не может содержать больше потребителей, чем партиций: лишние поды получат ошибку и перезапустятся