Расскажем, как работать с Apache Kafka — платформой для передачи и обработки событий в реальном времени. Вы узнаете, как настраивать распределенный отказоустойчивый кластер, отслеживать метрики, равномерно распределять нагрузку, выполните итоговый проект.

Apache Kafka База

Каталог > Apache Kafka
Видеокурс, доступен всегда
5-й поток: с 6 октября
Нельзя просто так взять...
и не использовать Кафку
Серия открытых вебинаров о технологии перед курсом
Обсудим:
• Неправильное использование Кафка
• Отсутствие коммитов в Кафка
• Исчезновение сообщений
• Ваши кейсы о проблемах при работе с Apache Kafka

Спикер: Всеволод Севостьянов, Engineering Manager в HelloFresh
Обкафкился по полной.
Фейлы с Apache Kafka
Извращения с Apache Kafka: забавный кейс из жизни
Обсудим:
• Опыт создания Data Lake на ~80 ТБ с помощью Apache Kafka.
• Особенности эксплуатации kafka с retention в 99999999
• Как жить, если kafka единственный источник данных в информационной системе.

Спикер: Михаил Кобик, руководитель инфраструктурных решений в SMART Technologies SOFT.
Кому подойдет курс?
Освоите новый инструмент для быстрой работы и научитесь решать объемные задачи буквально в несколько кликов.

Также для разработчиков у нас есть отдельный курс, его можно купить как отдельно, так и комплектом с базовым курсом.
Разработчикам
Архитекторам
Поймёте, как эффективно распределить работу внутри команды и решить архитектурные проблемы с минимальными затратами времени


Системным администраторам
Сможете заняться установкой, конфигурацией, настройкой и мониторингом работы Kafka при промышленной эксплуатации
Наш курс — это универсальное введение в Apache Kafka. Его записывали два практика, которые внедряли Kafka с нуля в крупные энтерпрайзы. Их боль, кровь и опыт стали сердцем этого курса.

Наша цель — дать систематизированные знания по использованию Apache Kafka и научить применять их в работе.

Курс сэкономит вам 2-3 месяца интенсивного копания в документации.

По окончанию обучения вы:


узнаете, какое место Apache Kafka занимает в жизни организации;
научитесь выполнять основные команды по настройке и администрированию сервера Apache Kafka;
сможете поддерживать работоспособность кластера и траблшутинга.
поймёте, как создать распределённый отказоустойчивый кластер и распределить нагрузку;
узнаете, как мониторить Apache Kafka и Apache ZooKeeper и какие метрики работоспособности есть;


Спикеры
Всеволод Севостьянов
Engineering Manager
HelloFresh
Ведущий встреч
–Специализируется на построении high-throughput systems (от 20К запросов в секунду)
–Команда под его руководством поддерживает несколько сотен клиентов, имеющих свои собственные инстансы
–Отвечает за пайплайны и deployment, а также за менторство разработчиков в разрезе CI/CD
Александр Миронов
Infrastructure Engineer в Stripe, ex-Booking
Спикер видеокурса
— Занимается развитием системы CI
— Опыт командной разработки в компаниях 2ГИС и Lingualeo
— Создавал мобильную версию сайта Booking.com
— C 2016 по 2020 возглавлял инфраструктурную команду разработки внутренних сервисов стриминга данных в Booking.com
Александр Миронов в подкасте «The Art of Programming»
Анатолий Солдатов
Data Engineer в Unity
Спикер видеокурса
– Работал PostgreSQL DBA/Developer
– Интересуется NoSQL
– Много работает с Kafka, Zookeeper и ClickHouse
– Пишет инфраструктурные сервисы на go, которые добавляют хранилищам новые возможности (например, очереди поверх Kafka)
– Выступает на митапах и конференциях

Программа

Все занятия проходят в Личном кабинете Слёрма.
№1 Введение
Знакомство, описание формата, постановка образовательных целей.
№2: Базовые основы технологии
  • Место Apache Kafka в жизни корпорации.
  • Сравнения с подобными технологиями.
  • Базовые примитивы: брокеры, топики, партиции, оффсеты, retention - обзор экосистемы (коннекторы, фреймворки).
№3: Installation & single broker cluster
  • Запуск Apache Kafka
  • Запись и чтение
  • Topic Retention
№4: Клиентские библиотеки
  • Producer.
  • Consumer и consumer groups.
  • Как (не) потерять данные в Apache Kafka.
  • Транзакции и exactly-once processing.
№5: Отказоустойчивость кластера в рамках одного дата-центра
  • Конфигурация кластера.
  • Отказоустойчивость.
  • Контроллер и его функции.
№6: Работа с распределенным кластером
  • Репликация между кластерами в разных ЦОД.
  • Примеры архитектуры.
№7: Мониторинг
  • Как мониторить Apache Kafka и Apache ZooKeeper?
  • Ключевые метрики работоспособности.
  • SLI & SLO.
№8: Анализ производительности
  • Почему Apache Kafka такая быстрая?
  • Утилиты для бенчмаркинга.
№9: Поддержка работоспособности кластера и траблшутинга
  • Балансировка нагрузки.
  • Обновление версии кластера и клиентов.
  • Утилиты для траблшутинга.
  • Примеры сбоев из жизни
№10: Развертывание кластера в проде
  • Рекомендуемая конфигурация и архитектура.
  • Практики и примеры из жизни.

График онлайн-встреч

6 октября
6 октября
Старт потока.
Встреча 1
Знакомство с курсом и программой, описание формата, постановка образовательных целей.
Доступ к модулям:
1. Введение
2. Базовые основы технологии
3. Установка и работа с кластером из одного брокера

4. Клиентские библиотеки

    20 октября
    19:00–20:00
    МСК
    20 октября
    19:00–20:00
    МСК
    Встреча 2
    Обсуждение прогресса, АМА-сессия, дополнительная практика в режиме онлайн
    Доступ к модулям:
    5. Отказоустойчивость кластера в рамках одного дата-центра
    6. Работа с распределенным кластером
    7. Мониторинг



    3 ноября
    19:00-20:00
    МСК
    3 ноября
    19:00-20:00
    МСК
    Встреча 3
    Обсуждение прогресса, АМА-сессия, дополнительная практика в режиме онлайн
    Доступ к модулям:
    8. Анализ производительности
    9. Поддержка работоспособности кластера и траблшуттинг
    10. Развертывание кластера в проде (итоговый проект)
        17 ноября
        19:00-20:30
        МСК
        17 ноября
        19:00-20:30
        МСК
        Встреча 4
        Обсуждение итогового проекта + подведение итогов

            Необходимые знания
            1. Базовые знания администрирования Linux;
            2. Базовые знания любого языка программирования (часть заданий будет на Java);
            3. Опыт работы с системами передачи сообщений (очередей) желательно, так будет проще.
            Отзывы о курсе
            Никита Галушко, разработчик Online Shop Lamoda
            Поделился своими впечатлениями от курса по Kafka, рассказал, как используют эту технологию и какие проблемы решают в отделе R&D.
            Радик Сейфуллин и Александр Плотников
            Инженеры InDriver
            Пообщались с DevOps-инженерами компании inDriver о Кафке, проблемах, решениях и курсе Слёрм.
            Директор курса Стас Ротмистров и студент Сергей
            О пользе обучения на курсе «Apache Kafka База»
            Урок 1: Введение
            Урок 2: Базовые основы технологии
            Урок 3: Установка Kafka и работа с кластером из одного брокера
            Актуальность
            История создания
            Что такое Apache Kafka
            Примеры использования
            Kafka vs Queues
            Структура данных
            Consumer groups
            Apache Zookeeper
            Введение
            Запуск Kafka
            Запись и чтение
            Topic Retention Часть 1
            Структура Партиции
            Topic Retention Часть 2
            Log Compaction
            ZooKeeper
            Расскажем, откуда произошла технология и в чём её преимущество перед конкурентами. Покажем, как осуществлять первичную настройку и простые действия на начальном этапе.
            Бесплатный мини-курс
            3 видеоурока

            Практические задания
            Стенды для практики


            Встречи группы со спикером
            Работа в группах с куратором

            Сертификация
            Как попасть на курс
            Видеокурс
            12 500 ₽/месяц
            единовременно
            или
            или
            65 000
            50 000
            Видеоуроки, доступ 2 года

            Практические задания
            Стенды для практики


            Встречи группы со спикером
            Работа в группах с куратором

            Сертификация
            Поток с 6 октября
            единовременно
            или
            16 250 ₽/месяц
            80 000
            65 000
            Видеоуроки, доступ 2 года

            Практические задания
            Стенды для практики


            Встречи группы со спикером
            Работа в группах с куратором

            Сертификация
            Комплектом дешевле
            Обычная цена 50 000 ₽
            Обычная цена 65 000 ₽
            Комплект курсов
            Выгода составит 34 500 ₽
            Научитесь настраивать распределенный отказоустойчивый кластер, отслеживать метрики, равномерно распределять нагрузку,
            Apache Kafka База
            RabbitMQ
            Поймёте, как работать с RabbitMQ, чтобы не искать сложных решений там, где достаточно целевого хорошо настроенного инструмента.
            Обычная цена 65 000 ₽
            Обычная цена 40 000 ₽
            Комплект видеокурсов
            Выгода составит 30 000 ₽
            Записи интенсива с практикой на Java или Golang и платформой Spring+Docker+Postgres
            Apache Kafka для разработчиков

            Apache Kafka База

            Учимся настраивать и оптимизировать технологию Apache Kafka