Kubernetes База для администраторов — старт 1 сентября
Дата-инженер
Получите навыки проектирования хранилищ и работы с инфраструктурой
Сможете претендовать на позицию Дата-инженер
Научитесь собирать и обрабатывать данные
15 уроков в течение
2,5 месяцев
Длительность
Видеоуроки, онлайн-встречи, практические задания
Формат обучения
Портфолио и сертификат о получении профессии
Результат
Закрытый чат с преподавателем и куратором
Поддержка
10 недель
длительность
28 сентября
старт потока
Кому подойдёт курс
Системным и сетевым администраторам
Научитесь проектировать, разрабатывать и поддерживать архитектуру для работы с большими данными. Освоите основные инструменты дата-инженеров и сможете внедрять принятые решения в production.
Backend-
разработчикам
Изучите все этапы работы с данными. Научитесь собирать информацию из разных источников и выполнять интересные задачи. Сможете увеличить доход и повысить свою ценность для компании.
Чтобы пройти обучение, понадобятся
Мы не учим инженеров с нуля
Минимальные требования, чтобы принять участие
Знание Linux на уровне продвинутого пользователя: bash, shell
Знание сетей, понимание модели OSI
Общесистемный бэкграунд
Базовые знания SQL
Понимание принципов проектирования ИТ-систем
Представление о клиент-серверных приложениях
Базовые знания Python на уровне написания скриптов
Почему стоит стать Дата-инженером
Дата-инженер — специалист по Big Data, который организует сбор, очистку и загрузку данных в базы, а также создаёт инфраструктуру для их хранения. Дата-инженер выполняет огромный массив работы, который является базой для любых Big Data-проектов.
По данным hh.ru, для Дата-инженеров открыто более 1500 вакансий и их количество постоянно увеличивается
Востребованная профессия
В среднем зарплата Дата-инженера — от 80 000 до 500 000 рублей в месяц
Высокий доход
В 2021 году спрос на Дата-инженеров в России вырос на 127% и эта динамика будет сохраняться — работа для дата-инженеров найдётся всегда
Большие перспективы
Почему в Слёрм лучший курс по обучению Дата-инженеров
Учим работать, а не писать конспекты
Все изученные технологии и инструменты мы отрабатываем на практике — в Слёрм ученики проходят «боевое крещение» реальными задачами во время обучения, а не после него
Всесторонний подход
Спикер и автор курса имеет многолетний опыт работы как Дата-аналитиком, так и Дата-инженером. Поэтому мы научим работать не только с количеством, но и с качеством данных.
Большие данные, но не большие цены
В Слёрм курс Дата-инженер доступнее, чем во многих онлайн-школах и академиях. У нас можно научиться работать с БОЛЬШИМИ данными за НЕБОЛЬШИЕ деньги.
Максимум знаний
Мы уделяем внимание не только техническим навыкам и сбору данных, но и учим правильно анализировать и интерпретировать данные. Больше знаний — выше ваша ценность для потенциального работодателя.
Инженерия данных
Научим проектировать архитектуру хранилищ данных, поможем освоить инструменты Дата-инженера, расскажем о принципах подготовки проекта к запуску и не только
1 тема: Экосистема и роль инженерии данных
  • Что такое инженерия данных, кто такой дата инженер. Какие проблемы решает, роль в команде, почему DSов часто недостаточно для успешного проекта. Обязанности и навыки дата инженера

  • Обзор экосистемы инженерии данных: типы и структуры данных, форматы файлов, источники данных, используемые языки
2 тема: Архитектура хранилищ данных
  • Традиционная архитектура хранилищ данных

  • Облачные хранилища

  • Озёра данных, витрины данных, хранилища данных - что это и чем отличаются

  • Что такое ETL, ELT. Обзор ETL-инструментов. Загрузчики данных, шины обмена данными
3 тема: Реляционные базы данных
  • Реляционная модель данных

  • Принципы ACID

  • SQL. Оптимизация запросов для нужд data engineer'а

  • Индексирование

  • Партицирование, шардирование. Что это и зачем нужно

  • Доступ к данным с помощью ORM

  • Хранимые процедуры, триггеры

  • Транзакционное логирование: что это и зачем нужно. Механизмы CDC

  • Способы и инструменты исследования БД
4 тема: NOSQL базы данных
  • Колоночные хранилища

  • Графовые базы данных

  • Документоориентированные хранилища

  • Хранилища ключ-значения

  • Time-Series DB"
5 тема: Распределенные файловые системы
  • Hadoop - обзор

  • Технология Map-Reduce"
6 тема: Загрузчики данных
  • NiFi - знакомство и практические задачи
7 тема: Оркестраторы данных
  • Airflow - знакомство и практические задачи
8 тема: Шины данных
  • Kafka - знакомство и практические задачи
9 тема: Принципы построения систем потоковой аналитики
  • Батчинг, стриминг
10 тема: Spark for Data Engineering
  • Что такое Spark и зачем он нужен DE

  • DataFrames: Spark SQL, Reader & Writer, DataFrame & Column

  • Преобразования: Aggregations, Datetime, Strings & Collections, Non-Aggregate & Na

  • Functions, UDF

  • Партицирование, репартицирование

  • Spark Streaming
11 тема: Предпроектное обследование
  • Как провести предпроектное обследование

  • Типовые вопросы для оценки «информационной зрелости» заказчика
Аналитический модуль
Научим проектировать хранилища данных и оценивать data quality
1 тема: Изменчивые данные и как с этим жить
  • Поддержка консистентности данных. Жизненный цикл данных
2 тема: Оценка качества данных
  • Типы проблем КД, их причины и способы решени
    3 тема: «Тёмные» данные
    • О том, как данные врут и что с этим делать
    DE & IoT модуль
    Научим организовывать передачу данных от устройств в облако
    1 тема: Data Engineering и IoT
    • MQTT и другие IoT-протоколы передачи данных от граничного устройства в облако

    • Инструменты сбора данных от IoT-устройств: RabbitMQ, mosquitto
    Пройдя курс, вы
    Научитесь проектировать архитектуру хранилищ данных под разные задачи и условия. Узнаете основные принципы построения систем потоковой аналитики. Получите представление о существующих облачных и on-premise решениях.
    Научитесь проводить обследование перед стартом нового проекта и определять «информационную зрелость» заказчика. Поймёте, что нужно знать перед проектированием архитектуры хранилища данных в новом проекте.
    Получите базовые знания Apache Spark для Дата-инженера. Научитесь использовать DataFrame API и Spark Streaming API для исследования, извлечения, преобразования и хранения данных.
    Научитесь создавать пайплайны обработки данных с использованием opensource ETL-инструментов. Научитесь работать с основными инструментами Дата-инженера.
    Узнаете принцип работы технологий, упрощающих жизнь DE при работе с RDBMS. Научитесь оптимизировать запросы под нужды дата-инженера.
    Узнаете принципы работы и применимость разных видов NOSQL БД. Научитесь работать с колоночными БД на примере HDFS.
    Научитесь проектировать хранилища данных в условиях изменчивости первичных данных
    Научитесь оценивать качество данных и узнаете способы устранения проблем с data quality
    Научитесь работать с базовыми инструментами получения данных от граничных устройств в облако

    Преподаватели курса


    Анастасия Сафонова

    • Более 8 лет в IT
    • Руководила отделом Data Engineering в компании-разработчике — Платформы анализа Больших Данных
    • Знает весь путь данных: от сбора до отображения на аналитических витринах
    • Может извлечь данные откуда угодно:)
    • Обладает экспертизой в смежных областях: реверс-инжиниринг, embedded и мобильная разработка
    Как проходит обучение
    Выполняете домашние задания, которые помогут закрепить полученные знания
    Практические задания
    Создаёте проекты, которые войдут в портфолио и будут отличным аргументом при трудоустройстве
    Создание проектов
    Участвуете в онлайн-встречах со спикером курса, на которых можете получить ответ на любой вопрос
    Онлайн-встречи
    Общаетесь со спикером и куратором курса в закрытом Telegram-чате, где всегда можете получить обратную связь и полезные материалы
    Закрытый чат для своих
    Смотрите видеоуроки на платформе Слёрма, когда вам удобно
    Видеокурсы
    20 уроков в прямом эфире
    Практические задания
    Закрытый чат для своих
    10 000 ₽/мес
    40 000
    50 000 ₽ с 21 августа
    Поток с 28 сентября
    Дата-инженер
    О Слёрме
    Слёрм вырос из внутреннего обучения Southbridge — аутсорсера администрирования нагруженных проектов. В процессе обучения сотрудников появился учебный курс по Kubernetes. Со временем базовый курс дополнился продвинутым и начали появляться курсы DevOps, Docker, Ceph, SRE. Мы учим тому, в чём уверены сами.
    У нас преподают признанные эксперты, а лучшие компании доверяют нам обучение своих сотрудников.
    Наши ученики получают только актуальные знания и могут сразу их проверить на задачах, приближённых к реальным.
    Слёрм — место, где обучение становится увлечением.
    Обучение ИТ-профессионалов
    Инфраструктурный партнёр Слёрм
    Корпоративным клиентам
    © 2018—2022 ООО «Слёрм»
    Партнёры
    Проект Студенческого координационного совета Общероссийского профсоюза образования.
    Инфраструктурный партнёр