Пришёл в компанию, а там Kafka: что делать в первую очередь?

Ловите чек-лист, что стоит выполнить в новом проекте в первые дни, если там используется Kafka:

• Bootstrap-серверы

Убедитесь, что указаны все брокеры или адрес балансировщика, если используется балансировка.

• Сжатие данных в Producer

Проверьте, включено ли сжатие (например, gzip или snappy) для уменьшения объёма передаваемых данных.

• Соотношение Consumer и партиций

Убедитесь, что количество экземпляров Consumer соответствует количеству партиций в топике для равномерной нагрузки.

• Таймауты для Consumer

Проверьте конфиги таймаутов, чтобы Kafka быстро обнаруживала выбывшие Consumer и перераспределяла партиции на оставшихся.

• Ротация данных в топиках

Выясните, настроены ли лимиты на размер данных и время хранения, чтобы избежать переполнения дисков.

• Мониторинг лага Consumer-групп

Убедитесь, что настроен мониторинг лага (lag) для своевременного обнаружения проблем с обработкой данных.

• Репликация данных

Определите, корректно ли настроена репликация для обеспечения отказоустойчивости.

• Настройки Producer-аcks

Проверьте, что параметр acks (подтверждение записи) настроен в зависимости от требований к надёжности.

• Логирование и алертинг

Убедитесь, что настроены логи и алерты для оперативного реагирования на сбои.

Сталкивались с такой ситуацией? Что бы ещё добавили?