Как-то один из наших студентов поделился проблемой — не хватает сети. Причина, как выяснилось, в том, что он не сжимает данные. В итоге место на диске быстро заканчивается и сетевые ресурсы утилизируются. А они, на минуточку, сложно масштабируемые относительно подов в кластере k8s.
Что же делать в такой ситуации? Масштабировать producer и consumer и сжимать сообщения. Это значительно уменьшит нагрузку на диск и сеть.
Василий Калугин, эксперт Kafka в «Страховой Дом ВСК» записал видеоинструкцию, как сжимать сообщения в Kafka и экономить ресурсы. А также:
объяснил, где взять библиотеки для написания producer и consumer на разных языках;
рассказал про конфиги для сжатия данных на producer;
на практике показал эффекты от сжатия;
🔥 А также поделился полезным docker-compose файлом со сборкой Kafka и продемонстрировал, как его использовать.