Arenadata разобрала внутреннее устройство Kafka на примере потребителя

Издание Arenadata опубликовало вторую часть технического разбора работы Apache Kafka — разработчик Максим Шуматбаев описал, как потребитель получает данные из кластера, распределяет партиции между участниками группы и фиксирует прогресс обработки. В первой части разбора авторы проследили путь сообщения от записи метаданных до транзакций с гарантией exactly-once.

Вторая часть охватывает вторую половину цикла: получение данных потребителем, балансировку нагрузки и механизм commit offset, который отслеживает, где потребитель остановился в обработке потока.