Во время курса вы будете: строить дата-пайплайны, выстраивать эффективную работу дата-архитектуры, разбираться в инструментах для управления данными
поток: старт в 2025 году
Data-инженер
научим вас профессии
Объем программы 120 часов
88 часов практики
Результат
Систематизация знаний и востребованные навыки
5 встреч со спикерами
Онлайн-встречи в формате
«вопрос-ответ»
Сертификация
При выполнении от 80 процентов практических заданий и проекта
32 часа теории
Где нужен дата-инженер?
Транспорт и логистика
Data Engineer помогает в создании систем для сбора и анализа данных о движении транспортных средств, маршрутах, пробках и т. д., что позволяет оптимизировать планирование и управление транспортной логистикой
Здравоохранение
Data Engineer помогает в создании систем для анализа медицинских данных, таких как истории болезни, рентгеновские снимки, генетические данные и т. д., что может привести к более эффективной медицинской диагностике и лечению
Маркетинг и реклама
Data Engineer помогает в создании платформ для сбора, хранения и анализа данных о клиентах и поведении пользователей, позволяя маркетологам принимать более обоснованные решения и оптимизировать свои маркетинговые стратегии
IT и технологии
Data Engineer играет ключевую роль в создании и поддержке инфраструктуры данных, таких как базы данных, хранилища данных, облачные системы хранения и инструменты для обработки и анализа данных
Финансы
Data Engineer помогает в разработке и реализации систем оптимизации и анализа данных для финансовых институтов, позволяя им лучше понимать и управлять своими данными
Это только некоторые примеры областей, где Data Engineer может проявить себя. В конечном счете, их роль в проектировании и управлении данными может быть востребована практически в любой отрасли, где нужно обрабатывать и анализировать большие объемы данных
Data Engineer помогает в создании систем для сбора и анализа данных о движении транспортных средств, маршрутах, пробках и т. д., что позволяет оптимизировать планирование и управление транспортной логистикой
Data Engineer помогает в создании систем для анализа медицинских данных, таких как истории болезни, рентгеновские снимки, генетические данные и т. д., что может привести к более эффективной медицинской диагностике и лечению
Data Engineer помогает в создании платформ для сбора, хранения и анализа данных о клиентах и поведении пользователей, позволяя маркетологам принимать более обоснованные решения и оптимизировать свои маркетинговые стратегии
Data Engineer играет ключевую роль в создании и поддержке инфраструктуры данных, таких как базы данных, хранилища данных, облачные системы хранения и инструменты для обработки и анализа данных
Data Engineer помогает в разработке и реализации систем оптимизации и анализа данных для финансовых институтов, позволяя им лучше понимать и управлять своими данными
Во время обучения вы научитесь
  • Освоите работу с Apache Airflow для автоматизации ETL-задач
Визуализации и отчетности
  • Изучите возможности Metabase для визуализации данных
  • Освоите MapReduce и разложите данные в HDFS c использованием Hadoop или Spark
Обработке и хранению данных
  • Построите витрину данных с агрегатами по основным показателям
  • Научитесь строить витрину в ClickHouse на основе данных из PostgreSQL
  • Познакомитесь с возможностями dbt и создадите полноценный dbt-проект
  • Научитесь выгружать данные из REST API с учетом различных ограничений
Интеграции данных
  • Реализуете обработку потока в NiFi с интеграцией данных из разных источников
  • Научитесь работать с потоками данных в Apache Kafka
Вы освоите эти инструменты
Python
SQL
PostgreSQL
Clickhouse
MongoDB
HDFS
Hadoop
Spark
Kafka
Redis
Airflow
NiFi
dbt
Metabase
Кому будет полезен курс?
На курсе мы рассказываем, как собирать, хранить и обрабатывать большие данные, наглядно показываем, как работают инструменты и технологии для разработки и поддержки систем аналитики и обработки данных
Мы учим профессии
Освоите смежные навыки и начнете управлять данными на новом уровне
Администраторам баз данных
Улучшите навыки по очистке и соединению данных из разных источников и освоите новые инструменты под разные сценарии использования данных
Аналитикам данных
Освоите дополнительную профессию и добавите навыки работы с данными к своему скиллсету
Разработчикам
Начни учиться бесплатно
Познакомьтесь с материалами и спикерами в демо-курсе. Доступ на 3 дня.
Почему наш курс?
После коротких видеоуроков вы решаете практические задания и тесты, чтобы сразу закрепить теорию. В заданиях разворачиваем стенды, и вы мощно отрабатываете учебный материал на практике
Собираем студентов в одном чате в Telegram: здесь будем делиться инсайтами, задавать вопросы кураторам и экспертам курса
Вы можете задать любой вопрос спикерам по учебной программе. Встречи проходят после каждого тематического блока
Его вы можете выполнить как на своих данных, так и на информации из открытых источников. По финальному заданию вы получаете подробную обратную связь от экспертов. Собственным проектом вы усилите свое портфолио
Видеолекции
Работа в групповом чате
Встречи с экспертами
Финальный проект
Практические задания
В личном кабинете есть практические задания, вы сможете запускать учебные стенды. Вы решаете задачи после каждого модуля, а эксперты проводят ревью — проверяют несколько этапов учебного проекта. Целых 88 часов практики
Сертификат
Каждому студенту, который пройдёт 80% курса, вручим свидетельство об окончании. А тот, кто успешно выполнит более 80% практических заданий и защитит итоговый проект — получит номерной сертификат.
Развернутое описание курса, которое можно отправить коллегам или руководителю
Презентация курса
Эксперты курса подготовили для вас подробный роадмап
Какими знаниями должен обладать Data-инженер
Программа
3 встречи со спикерами
5
2
онлайн встреч
недели
1 финальная
на сдачу домашней работы
88 часов практики
120
часов всего
69 часов теории
~7
часов в неделю
1 установочная
Шаг 1
Смотрим видео с теорией
Шаг 2
Шаг 3
Шаг 4
Шаг 5
Делаем практические задания на стендах в личном кабинете
Обсуждаем задания в чате с другими участниками
Встречаемся со спикерами и задаём вопросы
Защищаем итоговый проект
Мягкий онбординг в курс, где мы объясним, как учиться онлайн, как сдавать практические работы, как работать со стендами, а также расскажем, в чем заключается профессия инженера данных.
  • Введение в тему
Практика: реализовать первый этап работы с данными — их выгрузку из источника, представленного в виде API.
  • Инструменты экосистемы Python для работы с данными
  • Параллельность и асинхронность в Python
  • Web серверы, создание API
  • Linux терминал для задач DE
  • Задание по проекту
  • Итоги
Вы узнаете подходы и способы решения ежедневных задач дата-инжиниринга с помощью базовых инструментов в лице Python и утилит командной строки.
На установочной встрече вы познакомитесь с командой спикеров и куратором. Мы расскажем о том, как устроен курс и ответим на вопросы к началу обучения.
  • Введение
  • Экосистема Hadoop — краткий обзор и возможности
  • Технология Map-Reduce
  • Задание по проекту
  • Итоги
Практика: обогатить данные из источника расшифровкой кодов и сгенерировать агрегированное представление.
Вы узнаете подходы и способы решения ежедневных задач дата-инжиниринга с помощью базовых инструментов в лице Python и утилит командной строки.
  • Введение
Практика: построить витрину торговых партнеров как по импорту, так и по экспорту по каждому из представленных в данных временных диапазонов.
  • Что такое Spark и зачем он нужен DE. Введение в Resilient Distributed Datasets
  • Dataframe’ы и преобразования
  • Партицирование, репартицирование Spark Streaming
  • Задание по проекту
  • Итоги
Вы узнаете, как устроен один из самых популярных инструментов для распределенной обработки данных и научитесь его применять как для пакетных, так и для потоковых задач.
Спикер Николай Марков ответит на ваши вопросы по пройденным темам.
  • Введение в тему
Практика: построить витрину данных, представляющую собой набор агрегатов по месяцам на основе лога таможни
  • Реляционные базы данных. Введение
  • SQL. Принципы ACID
  • База данных глазами Data Engineer’а
  • ORM, события и история
  • Задание по проекту
  • Итоги
Вы получите базовое понимание принципов организации данных в реляционных базах данных, а также узнаете пару инструментов и подходов для решения задач DE с применением SQL.
  • Введение
Практика: получить данные из PostgreSQL в Clickhouse и построить витрину данных, представляющую собой набор агрегаций по месяцам.
  • Знакомство с NoSQL. Виды и применение
  • Практика работы с NoSQL — Clickhouse, Neo4j и Mongo
  • Партицирование, репартицирование Spark Streaming
  • Задание по проекту
  • Итоги
Вы увидите отличие NoSQL-баз как вида, так и разных их вариаций для решения соответствующих задач, используете на практическом задании различные базы данных.
  • Введение
  • Процессы ETL и ELT
  • Пайплайны. Оркестрация данных. Обзор ETL-инструментов
  • Итоги
Вы узнаете отличия между ETL и ELT и увидите, какие последствия для инфраструктуры несет внедрение того или иного подхода. Дадим список критериев, по которым можно оценивать то или иное решение для перекладки данных.
  • Введение в тему
Цель: освоить работу с Apache AIrflow для автоматизации задач.ка: построить витрину данных, представляющую собой набор агрегатов по месяцам на основе лога таможни.
  • Airflow — знакомство и практические задачи
  • Создание и работа с DAG
  • Работа с компонентами Airflow
  • Настройка конфигурации оркестратора и мониторинг
  • Задание по проекту
  • Итоги
Вы приобретете опыт работы с Apache AirFlow, изучите сильные стороны инструмента и узнаете, как его конфигурировать. У вас также будет некоторое понимание архитектуры, как устроен Airflow и как настраивать компоненты.
Спикеры Николай Марков и Ася Гайламазян ответят на ваши вопросы по пройденным темам.
  • Введение
Цель: научиться обрабатывать большие файлы в стриминговом потоке Kafka. Задача в загрузке файла для его дальнейшего использования.
  • Примеры задач стриминга
  • Kafka — знакомство и архитектура
  • Практическая работа с Kafka
  • Задание по проекту
  • Итоги
Вы изучите разные способы настройки Kafka для решения задач батчинга и стриминга, поработаете с компонентами.
  • Введение
Цель: получить навык работы со стриминговыми данными в NiFi с использованием распределённого программного брокера сообщений Apache Kafka.
  • Архитектура, термины, интерфейс и базовый функционал
  • Расширенный функционал NiFi
  • Построение потока
  • Итоговый тест по модулю
  • Задание по проекту
Вы поймете, как использовать Apache NiFi для управления и преобразования потоков данных в проектах и задачах обработки информации.
  • Итоги
  • Введение
Практика: познакомиться с возможностями dbt и создать полноценный dbt-проект.
  • Традиционная архитектура хранилищ данных
  • Облачные хранилища, Modern Data Stack
  • Частые проблемы при построении архитектуры и подходы к их решению
  • Задание по проекту
  • Итоги
Вы познакомитесь с современными методиками проектирования хранилищ, узнаете о типичных проблемах и потенциальных решениях, возникающих в процессе эксплуатации инфраструктуры по работе с данными.
  • Введение
Цель: изучить возможности Metabase для визуализации данных.
  • Задачи аналитики
  • BI-инструментарий аналитиков — Apache Superset, Tableau, PowerBI, Looker etc
  • Задание по проекту
  • Итоги
Вы покажете на практике сопровождение данных на всех этапах жизненного цикла, сможете сделать проект на собственных данных. Также затронем вопрос улучшения data quality.
Спикеры Николай Марков, Ася Гайламазян, Николай Акимов ответят на ваши вопросы по пройденным темам.
  • Финальный проект
В конце обучения вас ждет финальный тест, а также работа над собственным проектом, где вы покажете все, чему научились. Вы на практике покажете сопровождение данных на всех этапах жизненного цикла
  • Финальный тест
  • Подводим итоги обучения
За время подготовки проекта вы можете советоваться со спикерами курса и учебной группой. В результате необходимо подготовить презентацию и защитить проект на встрече с командой экспертов.
Важно: к защите финального проекта допускаются студенты, которые успешно прошли не менее 80% курса.
Команда курса
Ася Гайламазян
Data Engineer в Kion
  • В профессиональном IT более 5 лет. Самостоятельно обучилась на разработчика
Ольга Кертлинг
Tech Lead в Kamaz Digital
Более 10 лет в разработке, программирует на Python, Go, JavaScript
Основной стек технологий: Postgres, ClickHouse, Kafka, Redis, NATS
Ревьюер
Участвует в проектировании и реализации облачных сервисов для обработки телеметрии транспортных средств и удаленного обновления ПО на машинах
Постоянно работает над улучшением практик разработки, тестирования и поддержки продуктов
Подробнее о спикере
  • Работала в сферах телекоммуникаций, игровой индустрии, розничных и оптовых продаж в роли разработчика системного обеспечения
Спикер
  • В разных ролях участвовала в крупнейшем проекте «Мегафона»
Подробнее о спикере
Николай Акимов
Инженер по внедрению в ООО «Таскдата»
  • Инженер по внедрению в TaskData
  • В профессиональном IT уже более 20 лет
Спикер
  • Начал свою карьеру в качестве системного администратора
  • Активно участвует в Open Source проектах на Github, поддерживает сообщество NiFi
Подробнее о спикере
Николай Марков
Data Platform Lead в Altenar
  • Занимаюсь профессиональной разработкой и проектированием уже больше 11 лет
  • Работал с сетями, протоколами и различными облаками (AWS, GCP, Azure, OpenStack)
Спикер
  • Писал проекты на Python, а также Golang, C/C++, Scala и Rust
  • Сейчас выстраиваю аналитические архитектуры и Data Governance в разных компаниях
Подробнее о спикере
Николай Марков
Data Platform Lead в Altenar
  • Занимаюсь профессиональной разработкой и проектированием уже больше 11 лет
  • Работал с сетями, протоколами и различными облаками (AWS, GCP, Azure, OpenStack)
  • Писал проекты на Python, а также Golang, C/C++, Scala и Rust
  • Сейчас выстраиваю аналитические архитектуры и Data Governance в разных компаниях
Николай Акимов
Инженер по внедрению в ООО «Таскдата»
  • Инженер по внедрению в TaskData
  • В профессиональном IT уже более 20 лет
  • Начал свою карьеру в качестве системного администратора
  • Активно участвует в Open Source проектах на Github, поддерживает сообщество NiFi
Ася Гайламазян
Data Engineer в Kion
  • В профессиональном IT более 5 лет. Самостоятельно обучилась на разработчика
  • Работала в сферах телекоммуникаций, игровой индустрии, розничных и оптовых продаж в роли разработчика системного обеспечения
  • В разных ролях участвовала в крупнейшем проекте «Мегафона»
Ольга Кертлинг
Tech Lead в Kamaz Digital
Более 10 лет в разработке, программирует на Python, Go, JavaScript
Основной стек технологий: Postgres, ClickHouse, Kafka, Redis, NATS
Ревьюер
Участвует в проектировании и реализации облачных сервисов для обработки телеметрии транспортных средств и удаленного обновления ПО на машинах
Постоянно работает над улучшением практик разработки, тестирования и поддержки продуктов
Познакомьтесь с экспертами курса
Data-инженер — это специалист, который разрабатывает, строит и поддерживает инфраструктуру и системы для сбора, хранения и обработки данных. Чем именно он занимается — рассказываем в видео
  • Вступительный урок
  • Знакомство со спикерами
  • Кто такой дата-инженер
Как купить курс

Data-инженер

Видеоуроки, доступ 2 года
Встречи с экспертами
Сертификат или свидетельство
Чат с наставником
при рассрочке от 4 месяцев или 90 000 ₽ единовременно

22 500 ₽/мес

Стенды для практики
поток: старт в 2025 году

Заявка от юрлица

только для компаний
Спецпредложение для большой команды
90 000 ₽
Договорная
длительность: 4 месяца
Поток
Рассрочка
только для физических лиц
Условия рассрочки:
Процесс оформления:
Реалити-шоу
Если вы сомневаетесь в том, подходит ли вам курс, приглашаем подсмотреть, как его проходят участники нашего реалити
Где Data, Коль?
Первое реалити-шоу про дата-инженеров, которые проходят курс, решают сложные задачи, набирают баллы и нарушают дедлайны
Новости с шоу, а также статьи, кейсы и best practices для того, чтобы стать классным дата-инженером — в канале проекта. Присоединяйтесь!
14 недель
5 участников
1 главный приз
Прошедшие вебинары

В программе
  • Как становятся дата-инженерами?
  • Как правильно показывать свой опыт и потенциал, чтобы получить оффер?
  • Hard и Soft скиллы — что реально важно на собеседованиях?
Вебинар прошел 23.09.24
  • Что делать, если вы практикующий специалист, но развития не хватает?
ИИ и инструментарий Data-специалиста
В программе
  • Как влиться в DE-комьюнити?
  • Нужны ли data-инженеру пет-проекты и участие в хакатонах?
  • Вкатились в data-инжиниринг. Что дальше?
Вебинар прошел 27.05.24
  • Управление знаниями: персональная data-инженерная вики
Карьерный код Data-инженера: ошибки и лайфхаки
Николай поделился секретами успеха и ошибками, которых вы сможете избежать. А Екатерина рассказала, как не сбиться с пути и выстроить эффективный карьерный трек
  • Чат-боты и ChatOps: персональный помощник data-инженера
  • Какие soft skills нужны data-инженеру?
  • Где и как рисовать диаграммы и схемы?
Ответы на вопросы
  • Linux на уровне продвинутого пользователя
  • Базовые навыки работы с SQL
  • Умение писать скрипты на Python
  • Понимание, как работают клиент-серверные приложения
  • Владение принципами проектирования IT-систем
Без этих знаний обучение будет очень сложным, и, возможно, не принесёт пользы
Мы собрали в курсе актуальные темы и поможем вам пройти от азов профессии Data-инженера до уровня начинающего специалиста
Вы можете начать погружение в океан Big Data с вашей базой — Python. Именно с него стартует учебная программа
Мы живем в мире, где объем данных растет день ото дня. Бизнесу и корпорациям будут требоваться люди, которые могут совладать с потоком входящей информации и предлагать решения для развития
Всех студентов мы добавим в чат поддержки. Здесь на вопросы будут отвечать спикеры курса — сам чат будет доступен и после окончания занятий. Также спикеры будут давать обратную связь по некоторым домашним заданиям и итоговому проекту. Вас поддержат на всех этапах изучения профессии
Да, напишите об этом в отдел продаж или на почту ask@slurm.io для обсуждения подробных условий
Доступ к курсу останется у вас на 2 года
Да, для этого выберите вариант «Оставить заявку»
Вы сможете вернуть 13% от стоимости обучения за счет государства, если трудоустроены официально. Для этого нужно подать заявление на сайте nalog.ru
Нужна консультация?
задайте нам свой вопрос