Знание Apache Kafka в 2023 — мастхэв для инженеров инфраструктуры и важный плюс для программистов.
Углублённый курс с практикой на Java или Golang и платформой Spring+Docker+Postgres переведёт вас на новый уровень владения инструментом.
Углублённый курс с практикой на Java или Golang и платформой Spring+Docker+Postgres переведёт вас на новый уровень владения инструментом.
Apache Kafka для разработчиков
Каталог > Apache Kafka для разработчиков
Старт потока 22 ноября 2023
Триал-доступ к курсу на сутки
Бесплатно
Все видеоуроки без практических заданий, доступ на сутки
Триал-доступ на сутки
Заполните форму, чтобы получить бесплатный доступ к курсу на сутки.
«Я согласен(на) с Политикой Конфиденциальности Слёрм и предоставляю Согласие на обработку персональных данных»
Нельзя просто так взять...
и не использовать Кафку
и не использовать Кафку
Серия открытых вебинаров о технологии перед курсом
Обсудим:
• Неправильное использование Кафка
• Отсутствие коммитов в Кафка
• Исчезновение сообщений
• Ваши кейсы о проблемах при работе с Apache Kafka
Спикер: Всеволод Севостьянов, Engineering Manager в HelloFresh
• Неправильное использование Кафка
• Отсутствие коммитов в Кафка
• Исчезновение сообщений
• Ваши кейсы о проблемах при работе с Apache Kafka
Спикер: Всеволод Севостьянов, Engineering Manager в HelloFresh
Обкафкился по полной.
Фейлы с Apache Kafka
Фейлы с Apache Kafka
Извращения с Apache Kafka: забавный кейс из жизни
Обсудим:
• Опыт создания Data Lake на ~80 ТБ с помощью Apache Kafka.
• Особенности эксплуатации kafka с retention в 99999999
• Как жить, если kafka единственный источник данных в информационной системе.
Спикер: Михаил Кобик, руководитель инфраструктурных решений в SMART Technologies SOFT.
• Опыт создания Data Lake на ~80 ТБ с помощью Apache Kafka.
• Особенности эксплуатации kafka с retention в 99999999
• Как жить, если kafka единственный источник данных в информационной системе.
Спикер: Михаил Кобик, руководитель инфраструктурных решений в SMART Technologies SOFT.
Ускоряет рабочие
задачи
Организация событийной архитектуры, масштабирование потоков данных, балансировка нагрузки баз данных перестанут быть головной болью и отнимать много времени.
задачи
Организация событийной архитектуры, масштабирование потоков данных, балансировка нагрузки баз данных перестанут быть головной болью и отнимать много времени.
Обеспечивает надежность доставляемых данных
Сервисы подписываются только на события, которые им нужны, делая цепочку более надежной. Поэтому Kafka легко масштабируется и не является узким местом системы.
Сервисы подписываются только на события, которые им нужны, делая цепочку более надежной. Поэтому Kafka легко масштабируется и не является узким местом системы.
Повышает надежность системы в целом
Мы можем отделить сервисы друг от друга, и в таком случае отказ какого-либо из сервисов в цепочке не приведет к отказу всей системы и ошибкам на стороне пользователя
Мы можем отделить сервисы друг от друга, и в таком случае отказ какого-либо из сервисов в цепочке не приведет к отказу всей системы и ошибкам на стороне пользователя
Щепотка теории
Встречаемся 1 раз в неделю; смотрим видеолекции; задаем вопросы гуру-спикерам по Kafka
Много практики
После каждой темы выполняем практические задания на стендах в личном кабинете и закрепляем материал
Щедрая заправка
Обсуждаем Kafka с другими участниками курса в чате, поднимаем настроение шутками и соревнуемся в создании лучших мемов по теме курса
Как проходит курс
Можно долго читать книги или статьи по Kafka, смотреть обучающие видео или изучать документацию. Потратить на это много времени и все равно не найти всей информации, чтобы стать мастером.
А мы подготовили курс, где ты за несколько дней начнешь разбираться в Kafka, как будто создал её сам.
Спойлер: в курсе будет про архитектуру, этого нигде нет.
А мы подготовили курс, где ты за несколько дней начнешь разбираться в Kafka, как будто создал её сам.
Спойлер: в курсе будет про архитектуру, этого нигде нет.
Кому подойдет курс?
В 2023 году навыки работы с Apache Kafka требуются более чем для 3000 вакансий (*по данным hh.ru)
Для сисадминов у нас есть отдельный курс Apache Kafka База
Системным администраторам
Архитекторам
Kafka — решение многих архитектурных проблем. Подписка на события и надежная передача запросов между приложениями еще никогда не были такими простыми. После интенсива ты организуешь правильную event-driven архитектуру с помощью Kafka!
Разработчикам
Kafka даст понимание, каким образом мы можем организовать работу микросервисов и повысить общую надежность системы. Также мы поможем узнать, чем же Kafka отличается от других подобных систем и в чем ее преимущества.
Проблема #1. Периодически отваливается логистический шлюз, и пользователь получает ошибку при создании заказа в онлайн-магазине одежды. Расскажем, как отвязать логистический шлюз от создания заказа, чтобы они не были связаны напрямую.
Проблема #2. Сервисы обмениваются сообщениями о событиях напрямую, и иногда по вине сети они не доставляются и пропадают. Объясним, что сделать, чтобы ничего не терять.
Проблема #3. Пользователь создал заказ, а магазин отправил его в доставку, упаковал и отгрузил водителю. И только после этого онлайн-магазин узнал, что оплата не прошла. Научим, как совершать все действия в правильном порядке, чтобы заказ не высылался до подтверждения оплаты.
Проблема #2. Сервисы обмениваются сообщениями о событиях напрямую, и иногда по вине сети они не доставляются и пропадают. Объясним, что сделать, чтобы ничего не терять.
Проблема #3. Пользователь создал заказ, а магазин отправил его в доставку, упаковал и отгрузил водителю. И только после этого онлайн-магазин узнал, что оплата не прошла. Научим, как совершать все действия в правильном порядке, чтобы заказ не высылался до подтверждения оплаты.
Бизнес-кейсы, которые будем решать
Каждому продюсеру—по консьюмеру!
После обучения ты:
Почувствуешь, насколько легче работать с микросервисами благодаря Kafka
Овладеешь востребованным на рынке инструментом
Узнаешь про типовые шаблоны проектирования
Сделаешь свои приложения более отказоустойчивыми
Узнаешь о большинстве ошибок, которые совершают начинающие разработчики с Kafka, и не будешь их совершать
Будешь быстрее и эффективнее решать рабочие задачи
Получишь опыт разработки нескольких приложений, использующих Kafka
Курс поможет тебе уменьшить время на рабочие задачи с Кафкой, добавить красивую строчку в резюме и взобраться на следующую ступень карьерной лестницы
Спикеры
- Всеволод СевостьяновEngineering Manager в HelloFresh
- Специализируется на построении high-throughput systems (от 20К запросов в секунду)
- Команда под его руководством поддерживает несколько сотен клиентов, имеющих свои собственные инстансы
- Отвечает за пайплайны и deployment, а также за менторство разработчиков в разрезе CI/CD
- Алексей БурыловSite Reliability Engineer в Qiwi• 15 лет опыта серверной и системной разработки
• 10 лет опыта в распределенных и отказоустойчивых системах
Программа
Начнете безошибочно разбираться в терминологии
2.1. Нода, Датацентр, Кластер
2.2. ZooKeeper
2.3. Консумер, продусер, топик
2.4. Сообщение, ключ, значение
2.5. Партиции
2.1. Нода, Датацентр, Кластер
2.2. ZooKeeper
2.3. Консумер, продусер, топик
2.4. Сообщение, ключ, значение
2.5. Партиции
Научитесь писать простейшие клиенты, будете понимать внутреннюю архитектуру Кафки
3.1. Шардинг (партиционирование)
3.2. Репликация лидер-ведомый
3.3. Концепция указателей (смещений)
3.4. Буферная передача и задержки
3.1. Шардинг (партиционирование)
3.2. Репликация лидер-ведомый
3.3. Концепция указателей (смещений)
3.4. Буферная передача и задержки
Научитесь работать со сложными протоколами и настроить приложение так, чтобы оно не развалилось в проде
4.1. Создание топиков
4.2. Сериализация сообщений
4.3. Настройки продюсера
4.4. Настройка консумера
4.5. Partition key: упорядочивание и чтение на клиенте
4.1. Создание топиков
4.2. Сериализация сообщений
4.3. Настройки продюсера
4.4. Настройка консумера
4.5. Partition key: упорядочивание и чтение на клиенте
Научитесь строить архитектуру между микросервисами
5.1. Асинхронные сообщения
5.2. Подписка на события
5.3. Репликация в микросервисах
5.1. Асинхронные сообщения
5.2. Подписка на события
5.3. Репликация в микросервисах
Научитесь избегать распространенных проблем с данными при построении архитектуры
6.1. Only once и идемпотентность при записи в базу
6.2. Only once при копировании из топика в топик
6.3. Distributed transactions / Sagas
6.1. Only once и идемпотентность при записи в базу
6.2. Only once при копировании из топика в топик
6.3. Distributed transactions / Sagas
Начнете использовать все преимущества Kafka
7.1. Однонаправленная обработка событий
7.2. Вариант применения: event sourсing. Акторы
7.3. Работаем с индексом времени вставки
7.4. Расчет агрегатов на Kafka
7.1. Однонаправленная обработка событий
7.2. Вариант применения: event sourсing. Акторы
7.3. Работаем с индексом времени вставки
7.4. Расчет агрегатов на Kafka
Поймете, как использовать Кафку в качестве СУБД и стоит ли это делать
8.1. Объединение старых значений ключа
8.2. Доступ к сообщениям в случайном порядке
8.3. Делаем fifo очередь
8.4. Очередь, отсортированная по времени получения aka шедуллер
8.1. Объединение старых значений ключа
8.2. Доступ к сообщениям в случайном порядке
8.3. Делаем fifo очередь
8.4. Очередь, отсортированная по времени получения aka шедуллер
Channels
Рекомендованные программы и навыки
Для прохождения интенсива тебе понадобится компьютер, на котором установлена и настроена среда разработки, git и docker. Желательно установить make.
Знание языка Go
Понимание goroutine
CountDownLatch
Знание языка Java
WaitGroup
Понимание модульности
Базовое знание ThreadPool
CompletableFuture
ИЛИ
Как купить курс
не для компаний
Этот курс доступен в рамках подписки
Тариф «База»
Тариф «Мега»
150 000 ₽
200 000 ₽
Видеокурсы
Сертификация
Потоки и интенсивны
Чаты со студентами
Обратная связь
АМА-сессии
Доступ на 3 месяца
Видеокурсы
Сертификация
Потоки и интенсивы
Чаты со студентами
Обратная связь
АМА-сессии
Доступ на 4 месяца
Там, где предусматривают программы курсов
Там, где предусматривают программы курсов
Там, где предусматривают программы курсов
Там, где предусматривают программы курсов
Там, где предусматривают программы курсов
Купить подписку «База»
Отправляя форму, я соглашаюсь с Политикой Конфиденциальности Слёрм и предоставляю Согласие на обработку персональных данных и аудио- и видеорелиз
Купить подписку «Мега»
Отправляя форму, я соглашаюсь с Политикой Конфиденциальности Слёрм и предоставляю Согласие на обработку персональных данных и аудио- и видеорелиз
Рассрочка
Процесс оформления:
1. Оставляете заявку и получаете на почту анкету для оформления рассрочки.
2. Банк принимает решение в течение нескольких минут.
3. Заключаете сделку с банком онлайн.
4. Мы отправляем кассовый чек на эл. почту
и предоставляем доступ к курсу.
Условия рассрочки:
Срок: 4 месяца
Первый платеж: от 0 руб.
Переплата: 0 руб. Вы оплачиваете только стоимость курса, без процентов.
Предоставляется только физическим лицам.
1. Оставляете заявку и получаете на почту анкету для оформления рассрочки.
2. Банк принимает решение в течение нескольких минут.
3. Заключаете сделку с банком онлайн.
4. Мы отправляем кассовый чек на эл. почту
и предоставляем доступ к курсу.
Условия рассрочки:
Срок: 4 месяца
Первый платеж: от 0 руб.
Переплата: 0 руб. Вы оплачиваете только стоимость курса, без процентов.
Предоставляется только физическим лицам.
Цена без подписки
Видеокурс
13 750 ₽/мес.
В рассрочку на 4 месяца. Или 50 000 ₽ единовременно.
28 онлайн-уроков, доступ на 2 года
Практические задания
Стенды для практики
Купить видеокурс
Отправляя форму, я соглашаюсь с Политикой Конфиденциальности Слёрм и предоставляю Согласие на обработку персональных данных и аудио- и видеорелиз
Оплатить как юрлицо видеокурс
Мы свяжемся с вами, ответим на вопросы и отправим счёт
Отправляя форму, я соглашаюсь с Политикой Конфиденциальности Слёрм и предоставляю Согласие на обработку персональных данных и аудио- и видеорелиз
Оставить заявку на оплату с зарубежной карты
Мы свяжемся с вами и вышлем ссылку для оплаты
Отправляя форму, я соглашаюсь с Политикой Конфиденциальности Слёрм и предоставляю Согласие на обработку персональных данных и аудио- и видеорелиз
Поток с 22 ноября
16 250 ₽/мес
Практические задания
28 онлайн-уроков, доступ на 2 года
В рассрочку на 4 месяца. Или 65 000 ₽ единовременно.
Стенды для практики
АMA-сессии со спикерами
Закрытый чат с куратором
Купить обучение в потоке
Отправляя форму, я соглашаюсь с Политикой Конфиденциальности Слёрм и предоставляю Согласие на обработку персональных данных и аудио- и видеорелиз
Оплатить как юрлицо участие в потоке
Мы свяжемся с вами, ответим на вопросы и отправим счёт
Отправляя форму, я соглашаюсь с Политикой Конфиденциальности Слёрм и предоставляю Согласие на обработку персональных данных и аудио- и видеорелиз
Оставить заявку на оплату с зарубежной карты
Мы свяжемся с вами и вышлем ссылку для оплаты
Отправляя форму, я соглашаюсь с Политикой Конфиденциальности Слёрм и предоставляю Согласие на обработку персональных данных и аудио- и видеорелиз
Ответы на вопросы
С каждым годом Кафка все шире распространяется: уже в 2016-м работа с этим инструментом вошла в топ-10 самых востребованных (и хорошо оплачиваемых) навыков на рынке труда в ИТ (согласно исследованию Insider). На hh.ru только за последний месяц можно найти больше 3000 вакансий, где требуется знание Кафки.
Курс Apache Kafka База предназначен для администраторов, которые хотят узнать, как настраивать распределенный отказоустойчивый кластер, отслеживать метрики и равномерно распределять нагрузку. Интенсив по Apache Kafka создавался специально для разработчиков под их задачи, потому что каждому backend-специалисту рано или поздно придется столкнуться с Кафкой. Для devops-инженеров у нас есть выгодный комплект из двух курсов.
Да, у Слёрма есть официальная лицензия, поэтому все участники получат сертификат в конце обучения.
Вы сможете вернуть 9100 руб. (13% от стоимости обучения) за счет государства, если трудоустроены официально. Для этого нужно подать заявление на сайте nalog.ru.
Доступ к курсу, дополнительным материалам и презентациям останется у вас на 2 года.
Да, для этого при оплате выберите «Платить от юридического лица»
Да, на группу от 5 человек — скидка 10%, от 10 человек — 15%, а от 20 человек — 20%. Для получения скидки напиши об этом менеджеру заботы о клиентах — Марине Бородаевой и обсудите с ней условия подробнее.
После оплаты курса тебя автоматически перенаправит в личный кабинет, где будут доступы к вебинарам, все записи и дополнительные материалы. Логин и пароль для входа мы также отправим на электронную почту, указанную при оплате.
Вы можете их задать менеджеру заботы о клиентах Марине Бородаевой с помощью формы
Остались вопросы?
Комплектом дешевле
Купить комплект
Apache Kafka База + Apache Kafka для разработчиков
«Я согласен(на) с Политикой Конфиденциальности Слёрм и предоставляю Согласие на обработку персональных данных»