Как-то один из наших студентов поделился проблемой — не хватает сети. Причина, как выяснилось, в том, что он не сжимает данные. В итоге место на диске быстро заканчивается и сетевые ресурсы утилизируются. А они, на минуточку, сложно масштабируемые относительно подов в кластере k8s.
Что же делать в такой ситуации? Масштабировать producer и consumer и сжимать сообщения. Это значительно уменьшит нагрузку на диск и сеть.
Василий Калугин, эксперт Kafka в «Страховой Дом ВСК» записал видеоинструкцию, как сжимать сообщения в Kafka и экономить ресурсы. А также:
🔥 А также поделился полезным docker-compose файлом со сборкой Kafka и продемонстрировал, как его использовать.
Посмотреть видео и забрать бонус можно по этой ссылке.
Сжимайте данные с самого начала, чтобы не переделывать потом. Ваши сетевики точно скажут вам спасибо!
Что же делать в такой ситуации? Масштабировать producer и consumer и сжимать сообщения. Это значительно уменьшит нагрузку на диск и сеть.
Василий Калугин, эксперт Kafka в «Страховой Дом ВСК» записал видеоинструкцию, как сжимать сообщения в Kafka и экономить ресурсы. А также:
- объяснил, где взять библиотеки для написания producer и consumer на разных языках;
- рассказал про конфиги для сжатия данных на producer;
- на практике показал эффекты от сжатия;
🔥 А также поделился полезным docker-compose файлом со сборкой Kafka и продемонстрировал, как его использовать.
Посмотреть видео и забрать бонус можно по этой ссылке.
Сжимайте данные с самого начала, чтобы не переделывать потом. Ваши сетевики точно скажут вам спасибо!
