Обсудим: • Неправильное использование Кафка • Отсутствие коммитов в Кафка • Исчезновение сообщений • Ваши кейсы о проблемах при работе с Apache Kafka
Спикер: Всеволод Севостьянов, Engineering Manager в HelloFresh
Обкафкился по полной. Фейлы с Apache Kafka
Извращения с Apache Kafka: забавный кейс из жизни
Обсудим: • Опыт создания Data Lake на ~80 ТБ с помощью Apache Kafka. • Особенности эксплуатации kafka с retention в 99999999 • Как жить, если kafka единственный источник данных в информационной системе.
Спикер: Михаил Кобик, руководитель инфраструктурных решений в SMART Technologies SOFT.
Организация событийной архитектуры, масштабирование потоков данных, балансировка нагрузки баз данных перестанут быть головной болью и отнимать много времени.
Обеспечивает надежность доставляемых данных
Сервисы подписываются только на события, которые им нужны, делая цепочку более надежной. Поэтому Kafka легко масштабируется и не является узким местом системы.
Повышает надежность системы в целом
Мы можем отделить сервисы друг от друга, и в таком случае отказ какого-либо из сервисов в цепочке не приведет к отказу всей системы и ошибкам на стороне пользователя
Щепотка теории
Встречаемся 1 раз в неделю; смотрим видеолекции; задаем вопросы гуру-спикерам по Kafka
Много практики
После каждой темы выполняем практические задания на стендах в личном кабинете и закрепляем материал
Щедрая заправка
Обсуждаем Kafka с другими участниками курса в чате, поднимаем настроение шутками и соревнуемся в создании лучших мемов по теме курса
Как проходит курс
Можно долго читать книги или статьи по Kafka, смотреть обучающие видео или изучать документацию. Потратить на это много времени и все равно не найти всей информации, чтобы стать мастером.
А мы подготовили курс, где ты за несколько дней начнешь разбираться в Kafka, как будто создал её сам.
Спойлер: в курсе будет про архитектуру, этого нигде нет.
Кому подойдет курс?
В 2024 году навыки работы с Apache Kafka требуются более чем для 3000 вакансий (*по данным hh.ru)
Kafka — решение многих архитектурных проблем. Подписка на события и надежная передача запросов между приложениями еще никогда не были такими простыми. После интенсива ты организуешь правильную event-driven архитектуру с помощью Kafka!
Системным администраторам
Архитекторам
Kafka даст понимание, каким образом мы можем организовать работу микросервисов и повысить общую надежность системы. Также мы поможем узнать, чем же Kafka отличается от других подобных систем и в чем ее преимущества.
Проблема #1. Периодически отваливается логистический шлюз, и пользователь получает ошибку при создании заказа в онлайн-магазине одежды. Расскажем, как отвязать логистический шлюз от создания заказа, чтобы они не были связаны напрямую.
Проблема #2. Сервисы обмениваются сообщениями о событиях напрямую, и иногда по вине сети они не доставляются и пропадают. Объясним, что сделать, чтобы ничего не терять.
Проблема #3. Пользователь создал заказ, а магазин отправил его в доставку, упаковал и отгрузил водителю. И только после этого онлайн-магазин узнал, что оплата не прошла. Научим, как совершать все действия в правильном порядке, чтобы заказ не высылался до подтверждения оплаты.
Бизнес-кейсы, которые будем решать
Каждому продюсеру—по консьюмеру!
После обучения ты:
Почувствуешь, насколько легче работать с микросервисами благодаря Kafka
Овладеешь востребованным на рынке инструментом
Сделаешь свои приложения более отказоустойчивыми
Узнаешь о большинстве ошибок, которые совершают начинающие разработчики с Kafka, и не будешь их совершать
Будешь быстрее и эффективнее решать рабочие задачи
Получишь опыт разработки нескольких приложений, использующих Kafka
Курс поможет тебе уменьшить время на рабочие задачи с Кафкой, добавить красивую строчку в резюме и взобраться на следующую ступень карьерной лестницы
Узнаешь про типовые шаблоны проектирования
Спикеры
Всеволод Севостьянов
Staff engineer в Lokalise
Специализируется на построении complex cognitive systems
Команда под его руководством поддерживает multi-tenant клиентский кластер на несколько тысяч компаний
Отвечает за пайплайны и deployment, а также за менторство разработчиков в разрезе CI/CD
Главный виновник расширения зоопарка технологий, а также подхода «Давайте попробуем вон ту штуку»
Алексей Бурылов
Site Reliability Engineer в Qiwi
• 15 лет опыта серверной и системной разработки • 10 лет опыта в распределенных и отказоустойчивых системах
Обсуждение изученных тем, разбор практики, дополнительные материалы
Научитесь работать со сложными протоколами и настроить приложение так, чтобы оно не развалилось в проде
4.1. Создание топиков 4.2. Сериализация сообщений 4.3. Настройки продюсера 4.4. Настройка консумера 4.5. Partition key: упорядочивание и чтение на клиенте
Научитесь строить архитектуру между микросервисами
5.1. Асинхронные сообщения 5.2. Подписка на события 5.3. Репликация в микросервисах
Обсуждение изученных тем, разбор практики, дополнительные материалы
Научитесь избегать распространенных проблем с данными при построении архитектуры
6.1. Only once и идемпотентность при записи в базу 6.2. Only once при копировании из топика в топик 6.3. Distributed transactions / Sagas
Обсуждение изученных тем, разбор практики, дополнительные материалы
Начнете использовать все преимущества Kafka
7.1. Однонаправленная обработка событий 7.2. Вариант применения: event sourсing. Акторы 7.3. Работаем с индексом времени вставки 7.4. Расчет агрегатов на Kafka
Обсуждение изученных тем, разбор практики, дополнительные материалы
Поймете, как использовать Кафку в качестве СУБД и стоит ли это делать
8.1. Объединение старых значений ключа 8.2. Доступ к сообщениям в случайном порядке 8.3. Делаем fifo очередь 8.4. Очередь, отсортированная по времени получения aka шедуллер
Обсуждение изученных тем, разбор практики, подведение итогов курса
Channels
Рекомендованные программы и навыки
Для прохождения интенсива тебе понадобится компьютер, на котором установлена и настроена среда разработки, git и docker. Желательно установить make.
Мы свяжемся с вами, ответим на вопросы и отправим счёт
Оставить заявку на оплату с зарубежной карты
Мы свяжемся с вами и вышлем ссылку для оплаты
Купить обучение в потоке
Оплатить как юрлицо участие в потоке
Мы свяжемся с вами, ответим на вопросы и отправим счёт
Оставить заявку на оплату с зарубежной карты
Мы свяжемся с вами и вышлем ссылку для оплаты
Ответы на вопросы
С каждым годом Кафка все шире распространяется: уже в 2016-м работа с этим инструментом вошла в топ-10 самых востребованных (и хорошо оплачиваемых) навыков на рынке труда в ИТ (согласно исследованию Insider). На hh.ru только за последний месяц можно найти больше 3000 вакансий, где требуется знание Кафки.
Курс Apache Kafka База предназначен для администраторов, которые хотят узнать, как настраивать распределенный отказоустойчивый кластер, отслеживать метрики и равномерно распределять нагрузку. Интенсив по Apache Kafka создавался специально для разработчиков под их задачи, потому что каждому backend-специалисту рано или поздно придется столкнуться с Кафкой. Для devops-инженеров у нас есть выгодный комплект из двух курсов.
Да, у Слёрма есть официальная лицензия, поэтому все участники получат сертификат в конце обучения.
Вы сможете вернуть 9100 руб. (13% от стоимости обучения) за счет государства, если трудоустроены официально. Для этого нужно подать заявление на сайте nalog.ru.
Доступ к курсу, дополнительным материалам и презентациям останется у вас на 2 года.
Да, для этого при оплате выберите «Платить от юридического лица»
Да, на группу от 5 человек — скидка 10%, от 10 человек — 15%, а от 20 человек — 20%. Для получения скидки напиши об этом менеджеру заботы о клиентах — Марине Бородаевой и обсудите с ней условия подробнее.
После оплаты курса тебя автоматически перенаправит в личный кабинет, где будут доступы к вебинарам, все записи и дополнительные материалы. Логин и пароль для входа мы также отправим на электронную почту, указанную при оплате.
Отзывы
Алексей Степаненко
Архитектор 1С
Я — разработчик бизнес-приложений. Да-да тот самый недо-программист (по мнению большого количества программистов на стэках Java, Python, C++ etc)
Однако хочется сказать, что и в нашем мире растет потребность в промышленных системах интеграций. Особенно на гетерогенном IT-ландшафте. Испытывая проблемы при решении вопросов интеграций классическими методами, принятыми в 1С-мире, стал поглядывать на другие инструменты, в частности esb-решения и брокеры. Попробовал и Rabbit MQ и Kafka. В какой-то момент осознал всю мощь Kafka, однако очень не хватало целостной картины по данному инструменту.
Этот курс покорил полнотой информации и методикой преподавания. Темы раскрываются последовательно и последовательно же растет сложность. Очень понравилось раскрытие паттерна saga. Понял, что его мне надо было применить на одном из проектов. Так же рекомендую пройти и курс «Kafka База», хоть он и направлен на инженеров-инфраструктурщиков, однако мне как программисту было интересно узнать некоторые моменты.
Хочется так же добавить ложку дегтя — совсем нет информации про безопасность в кафке, а так же информации про Schema Registry и Kafka Streams Конечно же это шутка (про ложку), это скорее запрос на новые курсы! Жду с нетерпением!