Больше, чем просто настройка Kafka: вы изучите архитектуру и поймете логику работы с Kafka на примере бизнес-кейсов. Углублённый курс с практикой на Java и платформой Docker+Postgres переведёт вас на новый уровень владения инструментом.
Начать учиться
Программа
Apache Kafka
для разработчиков
видеокурс: старт в любой момент
70% практики
15 часов теории
Результат
Систематизация знаний и востребованные навыки
Удобный формат
Можно начать в любой момент
Свидетельство
Каждому студенту, который пройдёт 80% курса, вручим свидетельство об окончании
35 часов практики
Разработчики
Для кого курс
Аналитики
Инженеры данных
Что нужно, чтобы начать учиться?
Опыт работы с docker, docker-compose на самом базовом уровне
Знания одного языка программирования на базовом уровне (Java, Python)
Базовое понимание SQL-баз
Понимание разницы между синхронной и асинхроной архитектурой
Установленные и настроенные среда разработки, git и docker
ОС Linux
В результате курса сможете:
Различать кейсы, где нужно использовать Kafka, а где нежелательно или даже излишне
Сможете общаться на одном языке с командой сопровождения Kafka
Больше не будете рассматривать Кафку как замену базе данных
Сможете эффективно выстраивать архитектуру на основе асинхронного взаимодействия через Kafka
Поймёте, почему кластер Кафки из 3х нод в 1 ДЦ — это не отказоустойчивое решение
Сможете дебажить продюсеры и консьюмеры для Кафки, написанные практически на любом языке программирования
Бизнес-кейсы, которые будем решать
Каждому продюсеру—по консьюмеру!
Проблема #1. Много команд используют Kafka, каждая команда, не должна читать чужие топики. Нужен механизм управления доступом команд и иметь карту сервисов.
Проблема #4. Несколько брокеров Kafka и других сервисов (schema-registry, AKHQ, rest). Нужно производить работы с брокерами без влияния на пользователей. Желательно перевести Kafka в режим «самообслуживания».
Проблема #2. Критические данные с exactly once processing требованиями. Довольно большие по размеру сервисы с большими сообщениями. Необходимо валидировать схемы, потому что сообщения часто меняются. Kafka одна и используется многими сервисами для обмена.
Проблема #3. Большая нагрузка (40−100К RPS). Критичны потери данных, но exactly once не требуется, какой-то процент потерянных / повторно обработанных сообщений допустим. Много клиентских single tenant кластеров и есть Real time и OLAP-аналитика.
Финтех
Репликация таблиц из MySQL в Oracle
Сайт оператора связи с возможностью онлайн-продаж услуг Интернет и ТВ
Защита от DDoS при обработке API
Единая точка входа в Kafka
Kafka — незаменимый инструмент в крупных проектах
Организация событийной архитектуры, масштабирование потоков данных, балансировка нагрузки баз данных перестанут быть головной болью и отнимать много времени.
Сервисы подписываются только на события, которые им нужны, делая цепочку более надежной. Поэтому Kafka легко масштабируется и не является узким местом системы.
Мы можем отделить сервисы друг от друга, и в таком случае отказ какого-либо из сервисов в цепочке не приведет к отказу всей системы и ошибкам на стороне пользователя
Ускоряет рабочие задачи
Обеспечивает надежность доставляемых данных
Повышает надежность системы в целом
Можно долго читать книги или статьи по Kafka, смотреть обучающие видео или изучать документацию. Потратить на это много времени и все равно не найти всей информации, чтобы стать мастером.
А мы подготовили курс, где ты начнешь разбираться в Kafka, как будто создал её сам.
*Спойлер: в курсе будет про архитектуру.
Поймете основы работы с Kafka и принципы построения архитектуры и бизнес-процессов
На курсе:
Научитесь решать проблемы с системами, требующими отправки/получения большого количества сообщений из разнородных систем
Подготовитесь к вопросам базовых собеседований на уровень пользователя Kafka
Спикеры курса
Всеволод Севостьянов
Staff engineer в Lokalise
  • Специализируется на построении complex cognitive systems
  • Команда под его руководством поддерживает multi-tenant клиентский кластер на несколько тысяч компаний
Василий Калугин
Владелец корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг»
  • 3+ года опыта разработки и администрирования геораспределённого кластера Kafka
Подробнее о спикере
Подробнее о спикере
  • Отвечает за пайплайны и deployment, а также за менторство разработчиков в разрезе CI/CD
  • Главный виновник расширения зоопарка технологий, а также подхода «Давайте попробуем вон ту штуку»
  • Создание комьюнити Kafka в компании и регулярные обучения разработчиков
  • Разработчик курсов и спикер Слёрм
Реализовал IaC для AWX в enterprise
Реализовал IaC для AWX в enterprise
Всеволод Севостьянов
Staff engineer в Lokalise
  • Специализируется на построении complex cognitive systems
  • Команда под его руководством поддерживает multi-tenant клиентский кластер на несколько тысяч компаний
  • Отвечает за пайплайны и deployment, а также за менторство разработчиков в разрезе CI/CD
  • Главный виновник расширения зоопарка технологий, а также подхода «Давайте попробуем вон ту штуку»
Василий Калугин
Владелец корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг»
  • 3+ года опыта разработки и администрирования геораспределённого кластера Kafka
  • Создание комьюнити Kafka в компании и регулярные обучения разработчиков
  • Разработчик курсов и спикер Слёрм
Реализовал IaC для AWX в enterprise
Реализовал IaC для AWX в enterprise
Вводная лекция
Спикеры курса Всеволод Севостьянов и Василий Калугин рассказывают:
  • Как устроен курс
  • Как проходят занятия
  • Какой финальный проект будет ждать вас в конце
Программа
Спикеры курса Всеволод Севостьянов и Василий Калугин рассказывают, как устроен курс, как проходят занятия, чему вы научитесь и какой финальный проект будет ждать вас в конце
  • Как можно использовать Кафку
  • Какую проблему решает Kafka
  • А одна ли Кафка на рынке? Что еще есть?
  • В чем преимущества Kafka
  • Время жизни сообщений
  • Offset: позиция сообщения в топике
  • Принципы работы Kafka
  • Топик -> партиция -> ключ
  • Producer, Consumer, Consumer-группы
  • Развёртка локальной Kafka на практике
  • Архитектура Kafka-кластера с Zookeeper
  • Kafka Brokers -> controller
  • Репликация данных между нодами
  • Kafka на практике: пример консьюмера для чтения данных из Kafka
  • Kafka на практике: CLI (Command Line Interface)
  • Kafka на практике: пример продюсера для оптравки данных в Kafka
  • Kafka Extendet: Kafka Connect
  • Kafka Extendet: Schema Registry
  • ksqlDB
  • Kafka Stream API
  • Кейс: единая точка входа в Kafka
  • Кейс fintech: надёжная вставка данных, highload
  • Кейс: репликация таблиц из MySQL в Oracle
  • Кейс: защита от DDOS при обработке API
  • Финальный тест
  • Проект Kafka для мидла
Разберем мини-кейсы: трудности и методы их решения
Итоговый проект
В качестве итогового проекта вы разработаете систему, включающую все инструменты работы с Kafka, найдёте узкие места и примените best practice для оптимизации. Знаний, полученных в ходе разработки итогового задания, будет достаточно, чтобы внедрить Кафку в ваши рабочие проекты.
После обучения вы:
Овладеете востребованным на рынке инструментом
Будете быстрее и эффективнее решать рабочие задачи
Сделаете свои приложения более отказоустойчивыми
Почувствуете, насколько легче работать с микросервисами благодаря Kafka
Узнаете о большинстве ошибок, которые совершают начинающие разработчики с Kafka, и не будете их совершать
Получите опыт разработки нескольких приложений, использующих Kafka
Узнаете про типовые шаблоны проектирования

Отзывы

Алексей Степаненко
Архитектор 1С
Я — разработчик бизнес-приложений. Да-да тот самый недо-программист (по мнению большого количества программистов на стэках Java, Python, C++ etc)

Однако хочется сказать, что и в нашем мире растет потребность в промышленных системах интеграций. Особенно на гетерогенном IT-ландшафте. Испытывая проблемы при решении вопросов интеграций классическими методами, принятыми в 1С-мире, стал поглядывать на другие инструменты, в частности esb-решения и брокеры. Попробовал и Rabbit MQ и Kafka. В какой-то момент осознал всю мощь Kafka, однако очень не хватало целостной картины по данному инструменту.

Этот курс покорил полнотой информации и методикой преподавания. Темы раскрываются последовательно и последовательно же растет сложность. Очень понравилось раскрытие паттерна saga. Понял, что его мне надо было применить на одном из проектов. Так же рекомендую пройти и курс «Kafka База», хоть он и направлен на инженеров-инфраструктурщиков, однако мне как программисту было интересно узнать некоторые моменты.

Хочется так же добавить ложку дегтя — совсем нет информации про безопасность в кафке.
Конечно же это шутка (про ложку), это скорее запрос на новые курсы! Жду с нетерпением!
Этот курс может оплатить ваша компания
Если вы считаете, что знания, полученные на курсе, могут быть полезными на вашем текущем месте работы, оставляйте заявку с контактами компании в форме ниже или обсудите покупку курса с вашим руководителем. Как это организовать, что говорить и куда идти — написали здесь.
Как купить курс
возможен запуск потока для команды

Apache Kafka для разработчиков

Видеоуроки
Свидетельство
Практические задания
при рассрочке от 4 месяцев или 55 000 ₽ единовременно
Оплатить

13 750 ₽/мес

Заявка от юрлица

55 000 ₽

Оставить заявку
за 1 сотрудника
только для компаний
видеокурс
Рассрочка
только для физических лиц
Условия рассрочки:
Процесс оформления:
Особое предложение для команд от 10 человек:
Запустим поток в удобные для вас даты с поддержкой наставников в чате и встречами с экспертом только для сотрудников вашей компании.
Сертификат
Комплектом выгоднее
55 000 ₽
Видеокурс
65 000 ₽
Видеокурс
Без скидки — 120 000 ₽
Купить за 96 000 ₽
Apache Kafka для разработчиков


Мастхэв для инженеров инфраструктуры и важный плюс для программистов
Apache Kafka База

Учимся настраивать и оптимизировать технологию Apache Kafka
Прошедшие вебинары
На вебинаре обсудили:
Смотреть запись
  • Неправильное использование Кафка
  • Отсутствие коммитов в Кафка
  • Исчезновение сообщений
  • Ваши кейсы о проблемах при работе с Apache Kafka
На вебинаре обсудили:
Смотреть запись
  • Опыт создания Data Lake на ~80 ТБ с помощью Apache Kafka
  • Особенности эксплуатации kafka с retention в 99 999 999
  • Как жить, если kafka единственный источник данных в информационной системе
На вебинаре обсудили:
Смотреть запись
  • язык Кафки: топики, партиции, продюсеры-консьюмеры, кластер, ноды.
  • принципы её работы: как работают очереди сообщений, сколько должно быть консьюмеров для эффективной вычитки, как повысить надёжность кластера с помощью репликации данных
  • как развернуть кластер Кафки на своём ПК с 3 нодами, schema-registry и авторизацией
Нужна консультация?
задайте нам свой вопрос