Apache Kafka для разработчиков

Больше, чем просто настройка Kafka: вы изучите архитектуру и поймете логику работы с Kafka на примере бизнес-кейсов. Углублённый курс с практикой на Java и платформой Docker+Postgres переведёт вас на новый уровень владения инструментом.

Начать учиться

Программа

Apache Kafka
для разработчиков

видеокурс: старт в любой момент

70% практики

15 часов теории

Результат

Систематизация знаний и востребованные навыки

Удобный формат

Можно начать в любой момент

Свидетельство

Каждому студенту, который пройдёт 80% курса, вручим свидетельство об окончании

35 часов практики

Разработчики

Для кого курс

Аналитики

Инженеры данных

Что нужно, чтобы начать учиться?

Опыт работы с docker, docker-compose на самом базовом уровне

Знания одного языка программирования на базовом уровне (Java, Python)

Базовое понимание SQL-баз

Понимание разницы между синхронной и асинхроной архитектурой

Установленные и настроенные среда разработки, git и docker

ОС Linux

В результате курса сможете:

Различать кейсы, где нужно использовать Kafka, а где нежелательно или даже излишне

Сможете общаться на одном языке с командой сопровождения Kafka

Больше не будете рассматривать Кафку как замену базе данных

Сможете эффективно выстраивать архитектуру на основе асинхронного взаимодействия через Kafka

Поймёте, почему кластер Кафки из 3х нод в 1 ДЦ — это не отказоустойчивое решение

Сможете дебажить продюсеры и консьюмеры для Кафки, написанные практически на любом языке программирования

Бизнес-кейсы, которые будем решать

Каждому продюсеру—по консьюмеру!

Проблема #1. Много команд используют Kafka, каждая команда, не должна читать чужие топики. Нужен механизм управления доступом команд и иметь карту сервисов.

Проблема #4. Несколько брокеров Kafka и других сервисов (schema-registry, AKHQ, rest). Нужно производить работы с брокерами без влияния на пользователей. Желательно перевести Kafka в режим «самообслуживания».

Проблема #2. Критические данные с exactly once processing требованиями. Довольно большие по размеру сервисы с большими сообщениями. Необходимо валидировать схемы, потому что сообщения часто меняются. Kafka одна и используется многими сервисами для обмена.

Проблема #3. Большая нагрузка (40−100К RPS). Критичны потери данных, но exactly once не требуется, какой-то процент потерянных / повторно обработанных сообщений допустим. Много клиентских single tenant кластеров и есть Real time и OLAP-аналитика.

Финтех

Репликация таблиц из MySQL в Oracle

Сайт оператора связи с возможностью онлайн-продаж услуг Интернет и ТВ

Защита от DDoS при обработке API

Единая точка входа в Kafka

Kafka — незаменимый инструмент в крупных проектах

Организация событийной архитектуры, масштабирование потоков данных, балансировка нагрузки баз данных перестанут быть головной болью и отнимать много времени.

Сервисы подписываются только на события, которые им нужны, делая цепочку более надежной. Поэтому Kafka легко масштабируется и не является узким местом системы.

Мы можем отделить сервисы друг от друга, и в таком случае отказ какого-либо из сервисов в цепочке не приведет к отказу всей системы и ошибкам на стороне пользователя

Ускоряет рабочие задачи

Обеспечивает надежность доставляемых данных

Повышает надежность системы в целом

Можно долго читать книги или статьи по Kafka, смотреть обучающие видео или изучать документацию. Потратить на это много времени и все равно не найти всей информации, чтобы стать мастером.

А мы подготовили курс, где ты начнешь разбираться в Kafka, как будто создал её сам.

*Спойлер: в курсе будет про архитектуру.

Поймете основы работы с Kafka и принципы построения архитектуры и бизнес-процессов

На курсе:

Научитесь решать проблемы с системами, требующими отправки/получения большого количества сообщений из разнородных систем

Подготовитесь к вопросам базовых собеседований на уровень пользователя Kafka

Спикеры курса

Всеволод Севостьянов

Staff engineer в Lokalise

Специализируется на построении complex cognitive systems

Команда под его руководством поддерживает multi-tenant клиентский кластер на несколько тысяч компаний

Василий Калугин

Владелец корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг»

3+ года опыта разработки и администрирования геораспределённого кластера Kafka

Подробнее о спикере

Отвечает за пайплайны и deployment, а также за менторство разработчиков в разрезе CI/CD

Главный виновник расширения зоопарка технологий, а также подхода «Давайте попробуем вон ту штуку»

Создание комьюнити Kafka в компании и регулярные обучения разработчиков

Разработчик курсов и спикер Слёрм

Реализовал IaC для AWX в enterprise

Всеволод Севостьянов

Staff engineer в Lokalise

Специализируется на построении complex cognitive systems

Команда под его руководством поддерживает multi-tenant клиентский кластер на несколько тысяч компаний

Отвечает за пайплайны и deployment, а также за менторство разработчиков в разрезе CI/CD

Главный виновник расширения зоопарка технологий, а также подхода «Давайте попробуем вон ту штуку»

Василий Калугин

Владелец корпоративного сервиса Apache Kafka в АО «ЭР-Телеком Холдинг»

3+ года опыта разработки и администрирования геораспределённого кластера Kafka

Создание комьюнити Kafka в компании и регулярные обучения разработчиков

Разработчик курсов и спикер Слёрм

Реализовал IaC для AWX в enterprise

Вводная лекция

Спикеры курса Всеволод Севостьянов и Василий Калугин рассказывают:

Как устроен курс

Как проходят занятия

Какой финальный проект будет ждать вас в конце

Программа

О курсе

Тема 1

Спикеры курса Всеволод Севостьянов и Василий Калугин рассказывают, как устроен курс, как проходят занятия, чему вы научитесь и какой финальный проект будет ждать вас в конце

Введение в Kafka

Тема 2

Как можно использовать Кафку

Какую проблему решает Kafka

А одна ли Кафка на рынке? Что еще есть?

В чем преимущества Kafka

Основные термины в мире Kafka

Тема 3

Время жизни сообщений

Offset: позиция сообщения в топике

Принципы работы Kafka

Топик -> партиция -> ключ

Producer, Consumer, Consumer-группы

Своя Kafka

Тема 4

Развёртка локальной Kafka на практике

Архитектура Kafka-кластера с Zookeeper

Kafka Brokers -> controller

Репликация данных между нодами

Kafka на практике

Тема 5

Kafka на практике: пример консьюмера для чтения данных из Kafka

Kafka на практике: CLI (Command Line Interface)

Kafka на практике: пример продюсера для оптравки данных в Kafka

Kafka Extendet

Тема 6

Kafka Extendet: Kafka Connect

Kafka Extendet: Schema Registry

ksqlDB

Тема 7

ksqlDB

Kafka Stream API

Бонусный модуль: Best practice

Тема 8

Кейс: единая точка входа в Kafka

Кейс fintech: надёжная вставка данных, highload

Кейс: репликация таблиц из MySQL в Oracle

Кейс: защита от DDOS при обработке API

Итоговый проект

Тема 9

Финальный тест

Проект Kafka для мидла

Вопросы на собеседовании

Тема 10

Разберем мини-кейсы: трудности и методы их решения

Итоговый проект

В качестве итогового проекта вы разработаете систему, включающую все инструменты работы с Kafka, найдёте узкие места и примените best practice для оптимизации. Знаний, полученных в ходе разработки итогового задания, будет достаточно, чтобы внедрить Кафку в ваши рабочие проекты.

После обучения вы:

Овладеете востребованным на рынке инструментом

Будете быстрее и эффективнее решать рабочие задачи

Сделаете свои приложения более отказоустойчивыми

Почувствуете, насколько легче работать с микросервисами благодаря Kafka

Узнаете о большинстве ошибок, которые совершают начинающие разработчики с Kafka, и не будете их совершать

Получите опыт разработки нескольких приложений, использующих Kafka

Узнаете про типовые шаблоны проектирования

Отзывы

Алексей Степаненко

Архитектор 1С

Я — разработчик бизнес-приложений. Да-да тот самый недо-программист (по мнению большого количества программистов на стэках Java, Python, C++ etc)

Однако хочется сказать, что и в нашем мире растет потребность в промышленных системах интеграций. Особенно на гетерогенном IT-ландшафте. Испытывая проблемы при решении вопросов интеграций классическими методами, принятыми в 1С-мире, стал поглядывать на другие инструменты, в частности esb-решения и брокеры. Попробовал и Rabbit MQ и Kafka. В какой-то момент осознал всю мощь Kafka, однако очень не хватало целостной картины по данному инструменту.

Этот курс покорил полнотой информации и методикой преподавания. Темы раскрываются последовательно и последовательно же растет сложность. Очень понравилось раскрытие паттерна saga. Понял, что его мне надо было применить на одном из проектов. Так же рекомендую пройти и курс «Kafka База», хоть он и направлен на инженеров-инфраструктурщиков, однако мне как программисту было интересно узнать некоторые моменты.

Хочется так же добавить ложку дегтя — совсем нет информации про безопасность в кафке.
Конечно же это шутка (про ложку), это скорее запрос на новые курсы! Жду с нетерпением!

Этот курс может оплатить ваша компания

Если вы считаете, что знания, полученные на курсе, могут быть полезными на вашем текущем месте работы, оставляйте заявку с контактами компании в форме ниже или обсудите покупку курса с вашим руководителем. Как это организовать, что говорить и куда идти — написали здесь.

Как купить курс

возможен запуск потока для команды

Apache Kafka для разработчиков

Видеоуроки

Свидетельство

Практические задания

при рассрочке от 4 месяцев или 55 000 ₽ единовременно

Оплатить

13 750 ₽/мес

Заявка от юрлица

55 000 ₽

Оставить заявку

за 1 сотрудника

только для компаний

видеокурс

Рассрочка

только для физических лиц

Условия рассрочки:

Процесс оформления:

Особое предложение для команд от 10 человек:

Запустим поток в удобные для вас даты с поддержкой наставников в чате и встречами с экспертом только для сотрудников вашей компании.

Комплектом выгоднее

55 000 ₽

Видеокурс

65 000 ₽

Видеокурс

Без скидки — 120 000 ₽

Купить за 96 000 ₽

Apache Kafka для разработчиков

Мастхэв для инженеров инфраструктуры и важный плюс для программистов

Apache Kafka База

Учимся настраивать и оптимизировать технологию Apache Kafka

Прошедшие вебинары

На вебинаре обсудили:

Смотреть запись

Неправильное использование Кафка

Отсутствие коммитов в Кафка

Исчезновение сообщений

Ваши кейсы о проблемах при работе с Apache Kafka

На вебинаре обсудили:

Смотреть запись

Опыт создания Data Lake на ~80 ТБ с помощью Apache Kafka

Особенности эксплуатации kafka с retention в 99 999 999

Как жить, если kafka единственный источник данных в информационной системе

На вебинаре обсудили:

Смотреть запись

язык Кафки: топики, партиции, продюсеры-консьюмеры, кластер, ноды.

принципы её работы: как работают очереди сообщений, сколько должно быть консьюмеров для эффективной вычитки, как повысить надёжность кластера с помощью репликации данных

как развернуть кластер Кафки на своём ПК с 3 нодами, schema-registry и авторизацией

Нужна консультация?

задайте нам свой вопрос