Блог Слёрм

Пришёл в компанию, а там Kafka: что делать в первую очередь?

Ловите чек-лист, что стоит выполнить в новом проекте в первые дни, если там используется Kafka:

  • Bootstrap-серверы
Убедитесь, что указаны все брокеры или адрес балансировщика, если используется балансировка.
  • Сжатие данных в Producer
Проверьте, включено ли сжатие (например, gzip или snappy) для уменьшения объёма передаваемых данных.
  • Соотношение Consumer и партиций
Убедитесь, что количество экземпляров Consumer соответствует количеству партиций в топике для равномерной нагрузки.
  • Таймауты для Consumer
Проверьте конфиги таймаутов, чтобы Kafka быстро обнаруживала выбывшие Consumer и перераспределяла партиции на оставшихся.
  • Ротация данных в топиках
Выясните, настроены ли лимиты на размер данных и время хранения, чтобы избежать переполнения дисков.
  • Мониторинг лага Consumer-групп
Убедитесь, что настроен мониторинг лага (lag) для своевременного обнаружения проблем с обработкой данных.
  • Репликация данных
Определите, корректно ли настроена репликация для обеспечения отказоустойчивости.
  • Настройки Producer-аcks
Проверьте, что параметр acks (подтверждение записи) настроен в зависимости от требований к надёжности.
  • Логирование и алертинг
Убедитесь, что настроены логи и алерты для оперативного реагирования на сбои.

Сталкивались с такой ситуацией? Что бы ещё добавили?
Apache Kafka