Научитесь строить отказоустойчивый кластер без тонны документации. Разберётесь, как Kafka работает изнутри, чтобы предотвращать инциденты и держать систему стабильной под нагрузкой
86% времени – практика 10 часов теории 63 часа практик
Пошаговые инструкции по настройке и эксплуатации кластера Kafka
Актуальные версии — Apache Kafka 2.13−3.8.1 и Apache Kafka 2.13−4.1.0
Встречи с экспертами — авторами курса
Практика на инструментах Zookeeper и KRaft
Для кого курс
Компания переходит на микросервисы, Kafka становится шиной, нужно контролировать рост нагрузки
Устали от ночных исправлений ошибок (хотфиксов)
Хотите разложить архитектуру «по полочкам» и автоматизировать администрирование
Не понимаете, где граница между Kafka, Zookeeper и приложением
Сталкиваетесь с падениями или блокировками топиков
Сообщения теряются, кластер тормозит, не понимаете «что происходит внутри»
ИТ-специалисты, которые хотят освоить базу в Apache Kafka
Чему вы научитесь
Изучите назначение, основные принципы работы и задачи, которые решает Kafka
Узнаете, как мониторить Apache Kafka и Apache ZooKeeper и какие метрики работоспособности есть
Научитесь выполнять основные команды по настройке и администрированию сервера Apache Kafka
Сможете поддерживать работоспособность кластера и траблшутинга
Поймёте, как создать распределённый отказоустойчивый кластер и распределить нагрузку
Примеры заданий
63 часа практики и работы со стендами
Мы предоставляем инфраструктуру для выполнения практических заданий на учебных стендах
Итоговый проект
Вы развернёте полноценный кластер из трёх брокеров, настроите мониторинг через системы Prometheus и Grafana, запустите тестовые клиенты и проведёте хаос-тестирование.
С помощью среды Trogdor симулируете падения брокеров, разрывы сети и рост задержек: научитесь анализировать метрики, искать узкие места и составлять план аварийного восстановления для настоящего боевого кластера.
Администрирование и отказоустойчивость Kafka (ZooKeeper или kraft)
2
Приложение в реальном времени обрабатывает платежи из Kafka. Оно фильтрует успешные транзакции, агрегирует статистику по минутам и отправляет результаты в отдельный топик.
В процессе вы познакомитесь с обработкой потоков, окнами, семантикой «строго однократной доставки» (exactly-once) и тонкостями работы с временем в распределённых системах.
Реальное потоковое приложение
1
Cпикеры курса
Александр Миронов
Инженер инфраструктуры в Stripe, в прошлом Booking
Опыт командной разработки в компаниях 2ГИС и Lingualeo
Создавал мобильную версию сайта Booking.com
4 года возглавлял инфраструктурную команду разработки внутренних сервисов стриминга данных в Booking.com
Анатолий Солдатов
Инженер данных в Unity
Работал администратором баз данных (PostgreSQL) и разработчиком
Много работает с Kafka, Zookeeper и ClickHouse
Пишет инфраструктурные сервисы на языке программирования Golang, которые добавляют хранилищам новые возможности (например, очереди поверх Kafka)
Всеволод Севостьянов
Ведущий инженер в Lokalise
Специализируется на построении сложных когнитивных систем (от 20К запросов в секунду)
С командой поддерживает несколько сотен клиентов, имеющих свои собственные инстансы
Отвечает за пайплайны и развёртывание, а также за менторство разработчиков в разрезе процессов непрерывной интеграции и поставки CI/CD
Василий Калугин
Эксперт Kafka, Страховой дом ВСК
5 лет опыта работы с продуктовыми кластерами Kafka
Постоянно глубже погружаюсь в мир Kafka, чтобы понимать её механизмы
Делаем практические задания на стендах в личном кабинете
Обсуждаем задания в чате с другими участниками
Встречаемся со спикерами и задаём вопросы
Сдаём итоговую практическую работу
Здесь вы познакомитесь с курсом, узнаете как он устроен, из каких модулей состоит, как проходит общение с наставниками и куратором, из чего состоит выполнение практики
Сформируете представление о Kafka её задачах и базовых терминах
Поймете архитектуру кластера Kafka
Практика Zookeeper Практика KRaft Запустите и настроите кластер Kafka на основе Zookeeper и KRaft. Научитесь тестировать работоспособности кластера
Изучите примеры написания producer и consumer для отправки и чтения данных из Kafka. А также познакомитесь с семантикой «строго однократной доставки» (exactly-once)
Практика Zookeeper Практика KRaft Научитесь выявлять поломки в кластере и устранять их не паниковать в случае поломки кластера Kafka (#кафканеломается)
Практика Zookeeper Практика KRaft Поднимите отказоустойчивый кластер на несколько ДЦ. Узнаете какие есть варианты реализации этого процесса
Практика Zookeeper Практика KRaft Осуществите мониторинг работы и нагрузки на Kafka
Сможете самостоятельно проанализировать производительность Kafka. Поймете почему Кафка такая быстрая
Выполните базовые действия в роли администратора Кафка
Бонусный модуль в котором вы найдёте ответы на основные вопросы о безопасности Kafka
Агрегация и подтверждение полученных знаний и навыков
Рассрочка
только для физических лиц
Условия рассрочки:
Процесс оформления:
Этот курс может оплатить ваша компания
Если вы считаете, что знания, полученные на курсе, могут быть полезными на вашем текущем месте работы, оставляйте заявку с контактами компании в форме ниже или обсудите покупку курса с вашим руководителем. Как это организовать, что говорить и куда идти — написали здесь.
При покупке курса «Система распределённых очередей Apache Kafka»
Учимся настраивать и оптимизировать технологию Apache Kafka
Система распределённых очередей Apache Kafka для аналитиков и разработчиков
Изучите архитектуру и поймёте логику работы с Kafka на примере бизнес-кейсов
Оплатить комплект курсов Система распределённых очередей Apache Kafka Система распределённых очередей Apache Kafka для аналитиков и разработчиков
Вы можете оплатить российской картой, купить в рассрочку, а также ввести промокод на следующем шаге. Или подать заявку на оплату зарубежной картой
Заявка от компании на комплект курсов Система распределённых очередей Apache Kafka Система распределённых очередей Apache Kafka для аналитиков и разработчиков
Вы можете оплатить российской картой, купить в рассрочку, а также ввести промокод на следующем шаге. Или подать заявку на оплату зарубежной картой