Дата-инженер

Программа курса

Записаться

Получите навыки проектирования хранилищ и работы с инфраструктурой

Сможете претендовать на позицию Дата-инженер

Научитесь собирать и обрабатывать данные

15 уроков в течение
2,5 месяцев

Длительность

Видеоуроки, онлайн-встречи, практические задания

Формат обучения

Портфолио и сертификат о получении профессии

Результат

Закрытый чат с преподавателем и куратором

Поддержка

10 недель

длительность

28 сентября

старт потока

Кому подойдёт курс

Системным и сетевым администраторам

Научитесь проектировать, разрабатывать и поддерживать архитектуру для работы с большими данными. Освоите основные инструменты дата-инженеров и сможете внедрять принятые решения в production.

Backend-
разработчикам

Изучите все этапы работы с данными. Научитесь собирать информацию из разных источников и выполнять интересные задачи. Сможете увеличить доход и повысить свою ценность для компании.

Чтобы пройти обучение, понадобятся

Мы не учим инженеров с нуля

Минимальные требования, чтобы принять участие

Знание Linux на уровне продвинутого пользователя: bash, shell

Знание сетей, понимание модели OSI

Общесистемный бэкграунд

Базовые знания SQL

Понимание принципов проектирования ИТ-систем

Представление о клиент-серверных приложениях

Базовые знания Python на уровне написания скриптов

Почему стоит стать Дата-инженером

Дата-инженер — специалист по Big Data, который организует сбор, очистку и загрузку данных в базы, а также создаёт инфраструктуру для их хранения. Дата-инженер выполняет огромный массив работы, который является базой для любых Big Data-проектов.

По данным hh.ru, для Дата-инженеров открыто более 1500 вакансий и их количество постоянно увеличивается

Востребованная профессия

В среднем зарплата Дата-инженера — от 80 000 до 500 000 рублей в месяц

Высокий доход

В 2021 году спрос на Дата-инженеров в России вырос на 127% и эта динамика будет сохраняться — работа для дата-инженеров найдётся всегда

Большие перспективы

Почему в Слёрм лучший курс по обучению Дата-инженеров

Учим работать, а не писать конспекты

Все изученные технологии и инструменты мы отрабатываем на практике — в Слёрм ученики проходят «боевое крещение» реальными задачами во время обучения, а не после него

Всесторонний подход

Спикер и автор курса имеет многолетний опыт работы как Дата-аналитиком, так и Дата-инженером. Поэтому мы научим работать не только с количеством, но и с качеством данных.

Большие данные, но не большие цены

В Слёрм курс Дата-инженер доступнее, чем во многих онлайн-школах и академиях. У нас можно научиться работать с БОЛЬШИМИ данными за НЕБОЛЬШИЕ деньги.

Максимум знаний

Мы уделяем внимание не только техническим навыкам и сбору данных, но и учим правильно анализировать и интерпретировать данные. Больше знаний — выше ваша ценность для потенциального работодателя.

Инженерия данных

Научим проектировать архитектуру хранилищ данных, поможем освоить инструменты Дата-инженера, расскажем о принципах подготовки проекта к запуску и не только

Что такое инженерия данных, кто такой дата инженер. Какие проблемы решает, роль в команде, почему DSов часто недостаточно для успешного проекта. Обязанности и навыки дата инженера
Обзор экосистемы инженерии данных: типы и структуры данных, форматы файлов, источники данных, используемые языки

Традиционная архитектура хранилищ данных

Облачные хранилища

Озёра данных, витрины данных, хранилища данных - что это и чем отличаются

Что такое ETL, ELT. Обзор ETL-инструментов. Загрузчики данных, шины обмена данными

Реляционная модель данных
Принципы ACID
SQL. Оптимизация запросов для нужд data engineer'а
Индексирование
Партицирование, шардирование. Что это и зачем нужно
Доступ к данным с помощью ORM
Хранимые процедуры, триггеры
Транзакционное логирование: что это и зачем нужно. Механизмы CDC
Способы и инструменты исследования БД

Колоночные хранилища
Графовые базы данных
Документоориентированные хранилища
Хранилища ключ-значения
Time-Series DB"

Hadoop - обзор
Технология Map-Reduce"

NiFi - знакомство и практические задачи

Airflow - знакомство и практические задачи

Kafka - знакомство и практические задачи

Батчинг, стриминг

Что такое Spark и зачем он нужен DE

DataFrames: Spark SQL, Reader & Writer, DataFrame & Column

Преобразования: Aggregations, Datetime, Strings & Collections, Non-Aggregate & Na

Functions, UDF

Партицирование, репартицирование

Spark Streaming

Как провести предпроектное обследование

Типовые вопросы для оценки «информационной зрелости» заказчика

Аналитический модуль

Научим проектировать хранилища данных и оценивать data quality

Поддержка консистентности данных. Жизненный цикл данных

Типы проблем КД, их причины и способы решени

О том, как данные врут и что с этим делать

DE & IoT модуль

Научим организовывать передачу данных от устройств в облако

MQTT и другие IoT-протоколы передачи данных от граничного устройства в облако

Инструменты сбора данных от IoT-устройств: RabbitMQ, mosquitto

Пройдя курс, вы

Научитесь проектировать архитектуру хранилищ данных под разные задачи и условия. Узнаете основные принципы построения систем потоковой аналитики. Получите представление о существующих облачных и on-premise решениях.

Научитесь проводить обследование перед стартом нового проекта и определять «информационную зрелость» заказчика. Поймёте, что нужно знать перед проектированием архитектуры хранилища данных в новом проекте.

Получите базовые знания Apache Spark для Дата-инженера. Научитесь использовать DataFrame API и Spark Streaming API для исследования, извлечения, преобразования и хранения данных.

Научитесь создавать пайплайны обработки данных с использованием opensource ETL-инструментов. Научитесь работать с основными инструментами Дата-инженера.

Узнаете принцип работы технологий, упрощающих жизнь DE при работе с RDBMS. Научитесь оптимизировать запросы под нужды дата-инженера.

Узнаете принципы работы и применимость разных видов NOSQL БД. Научитесь работать с колоночными БД на примере HDFS.

Научитесь проектировать хранилища данных в условиях изменчивости первичных данных

Научитесь оценивать качество данных и узнаете способы устранения проблем с data quality

Научитесь работать с базовыми инструментами получения данных от граничных устройств в облако

Преподаватели курса

Анастасия Сафонова

Более 8 лет в IT
Руководила отделом Data Engineering в компании-разработчике — Платформы анализа Больших Данных
Знает весь путь данных: от сбора до отображения на аналитических витринах
Может извлечь данные откуда угодно:)
Обладает экспертизой в смежных областях: реверс-инжиниринг, embedded и мобильная разработка

Как проходит обучение

Выполняете домашние задания, которые помогут закрепить полученные знания

Практические задания

Создаёте проекты, которые войдут в портфолио и будут отличным аргументом при трудоустройстве

Создание проектов

Участвуете в онлайн-встречах со спикером курса, на которых можете получить ответ на любой вопрос

Онлайн-встречи

Общаетесь со спикером и куратором курса в закрытом Telegram-чате, где всегда можете получить обратную связь и полезные материалы

Закрытый чат для своих

Смотрите видеоуроки на платформе Слёрма, когда вам удобно

Видеокурсы

20 уроков в прямом эфире

Практические задания

Оплатить

Оставить заявку

Закрытый чат для своих

или в рассрочку

10 000 ₽/мес

40 000 ₽

50 000 ₽ с 21 августа

Поток с 28 сентября

Дата-инженер

О Слёрме

Слёрм вырос из внутреннего обучения Southbridge — аутсорсера администрирования нагруженных проектов. В процессе обучения сотрудников появился учебный курс по Kubernetes. Со временем базовый курс дополнился продвинутым и начали появляться курсы DevOps, Docker, Ceph, SRE. Мы учим тому, в чём уверены сами.

У нас преподают признанные эксперты, а лучшие компании доверяют нам обучение своих сотрудников.

Наши ученики получают только актуальные знания и могут сразу их проверить на задачах, приближённых к реальным.

Слёрм — место, где обучение становится увлечением.

На сайте мы используем cookie. Без них несладко.

Хорошо

Обучение ИТ-профессионалов

Инфраструктурный партнёр Слёрм

Корпоративным клиентам

Партнёры

Проект Студенческого координационного совета Общероссийского профсоюза образования.

Инфраструктурный партнёр

•