Дата-инженер

Войти

Для компаний

Каталог курсов

Для компаний

Метакарман

Обучение
человеков-
айтишников

Все курсы

Потоки

Видеокурсы

Интенсивы

Корпоративное обучение

Организуем обучение для вашей команды или компании

Универсальные доступы

Пакеты по 30 и более билетов. 1 билет = 1 любой курс

Реклама вашей компании

Организуем конференции, митапы и вебинары по ИТ-тематике

Стажировки для девопсов

Обучение вашему продукту

Прокачка и опыт на учебных задачах для девопсов

Продвижение через обучение клиентов

Партнёрские спецпроекты

Полезно студентам, полезно организаторам

Инструкция:
Как купить курс
сотруднику

Корпоративное обучение

Организуем обучение для вашей команды или компании

Универсальные доступы

Пакеты по 30 и более билетов. 1 билет = 1 любой курс

Реклама вашей компании

Организуем конференции, митапы и вебинары по ИТ-тематике

Стажировки для девопсов

Обучение вашему продукту

Прокачка и опыт на учебных задачах для девопсов

Продвижение через обучение клиентов

Партнёрские спецпроекты

Полезно студентам, полезно организаторам

Тест-драйв

Дата-инженер

Программа курса

Тест-драйв

Получите навыки проектирования хранилищ и работы с инфраструктурой

Сможете претендовать на позицию Дата-инженер

Научитесь собирать и обрабатывать данные

15 уроков в течение
2,5 месяцев

Длительность

Вебинары, онлайн-встречи, практические задания

Формат обучения

Портфолио и сертификат о получении профессии

Результат

Закрытый чат с преподавателем и куратором

Поддержка

10 недель

длительность

Кому подойдёт курс

Системным и сетевым администраторам

Научитесь проектировать, разрабатывать и поддерживать архитектуру для работы с большими данными. Освоите основные инструменты дата-инженеров и сможете внедрять принятые решения в production.

Backend-
разработчикам

Изучите все этапы работы с данными. Научитесь собирать информацию из разных источников и выполнять интересные задачи. Сможете увеличить доход и повысить свою ценность для компании.

Чтобы пройти обучение, понадобятся

Мы не учим инженеров с нуля

Минимальные требования, чтобы принять участие

Знание Linux на уровне продвинутого пользователя: bash, shell

Знание сетей, понимание модели OSI

Общесистемный бэкграунд

Базовые знания SQL

Понимание принципов проектирования ИТ-систем

Представление о клиент-серверных приложениях

Базовые знания Python на уровне написания скриптов

Почему стоит стать Дата-инженером

Дата-инженер — специалист по Big Data, который организует сбор, очистку и загрузку данных в базы, а также создаёт инфраструктуру для их хранения. Дата-инженер выполняет огромный массив работы, который является базой для любых Big Data-проектов.

По данным hh.ru, для Дата-инженеров открыто более 1500 вакансий и их количество постоянно увеличивается

Востребованная профессия

В среднем зарплата Дата-инженера — от 80 000 до 500 000 рублей в месяц

Высокий доход

В 2021 году спрос на Дата-инженеров в России вырос на 127% и эта динамика будет сохраняться — работа для дата-инженеров найдётся всегда

Большие перспективы

Почему в Слёрм лучший курс по обучению Дата-инженеров

Учим работать, а не писать конспекты

Все изученные технологии и инструменты мы отрабатываем на практике — в Слёрм ученики проходят «боевое крещение» реальными задачами во время обучения, а не после него

Всесторонний подход

Спикер и автор курса имеет многолетний опыт работы как Дата-аналитиком, так и Дата-инженером. Поэтому мы научим работать не только с количеством, но и с качеством данных.

Большие данные, но не большие цены

В Слёрм курс Дата-инженер доступнее, чем во многих онлайн-школах и академиях. У нас можно научиться работать с БОЛЬШИМИ данными за НЕБОЛЬШИЕ деньги.

Максимум знаний

Мы уделяем внимание не только техническим навыкам и сбору данных, но и учим правильно анализировать и интерпретировать данные. Больше знаний — выше ваша ценность для потенциального работодателя.

Инженерия данных

Научим проектировать архитектуру хранилищ данных, поможем освоить инструменты Дата-инженера, расскажем о принципах подготовки проекта к запуску и не только

Аналитический модуль

Научим проектировать хранилища данных и оценивать data quality

DE & IoT модуль

Научим организовывать передачу данных от устройств в облако

Пройдя курс, вы

Научитесь проектировать архитектуру хранилищ данных под разные задачи и условия. Узнаете основные принципы построения систем потоковой аналитики. Получите представление о существующих облачных и on-premise решениях.

Научитесь проводить обследование перед стартом нового проекта и определять «информационную зрелость» заказчика. Поймёте, что нужно знать перед проектированием архитектуры хранилища данных в новом проекте.

Получите базовые знания Apache Spark для Дата-инженера. Научитесь использовать DataFrame API и Spark Streaming API для исследования, извлечения, преобразования и хранения данных.

Научитесь создавать пайплайны обработки данных с использованием opensource ETL-инструментов. Научитесь работать с основными инструментами Дата-инженера.

Узнаете принцип работы технологий, упрощающих жизнь DE при работе с RDBMS. Научитесь оптимизировать запросы под нужды дата-инженера.

Узнаете принципы работы и применимость разных видов NOSQL БД. Научитесь работать с колоночными БД на примере HDFS.

Научитесь проектировать хранилища данных в условиях изменчивости первичных данных

Научитесь оценивать качество данных и узнаете способы устранения проблем с data quality

Научитесь работать с базовыми инструментами получения данных от граничных устройств в облако

Преподаватели курса

Ася Гайламазян

В профессиональном IT более 5 лет. Опыт работы в текущем стеке уже более 4 лет.
Имея математический бэграунд, самостоятельно обучилась на разработчика.
В разных ролях участвовала в крупнейшем проекте Мегафона.
Работала в сферах телекоммуникаций, игровой индустрии, розничных и оптовых продаж в роли разработчика системного обеспечения.
Активно практикую проведение обучений, менторинга и регулярно делаю свитч из преподавателя в студента и обратно.

Николай Марков

Занимается профессиональной разработкой и проектированием уже больше 11 лет. Начинал программистом на Python, сейчас работает на позиции Principal Architect в компании Aligned Research Group, а также менторит компании в DryLabs.
Писал проекты на Python, а также Golang, C/C++, Scala и Rust.
В разное время работал с сетями, протоколами и различными облаками (AWS, GCP, Azure, OpenStack).
Пишет статьи, читает лекции и выступает на конференциях на русском и английском языках, а также выступает в роли организатора и члена ПК (митапы PyData, Moscow Python Conf++, SmartData, питонозавтраки).
Любит разговоры о системном дизайне, архитектуре и прочей низкоуровневой магии.

Николай Акимов

Профессионально в IT уже более 20 лет
Большой опыт работы с БД Oracle
Проводит тренинги по обучению персонала
Активный участник NiFi сообщества
На данный момент работает в компании TaskData инженером по внедрению

Как проходит обучение

Выполняете домашние задания, которые помогут закрепить полученные знания

Практические задания

Создаёте проекты, которые войдут в портфолио и будут отличным аргументом при трудоустройстве

Создание проектов

Участвуете в онлайн-встречах со спикером курса, на которых можете получить ответ на любой вопрос

Онлайн-встречи

Общаетесь со спикером и куратором курса в закрытом Telegram-чате, где всегда можете получить обратную связь и полезные материалы

Закрытый чат для своих

Смотрите уроки в прямом эфире и в записе на платформе Слёрма

Вебинары

Бесплатный тест-драйв

Активировать

Дорогие слушатели! В рамках тест-драйва вам предлагаются к изучению несколько уроков из разделов курса:

На тест-драйве вы узнаете

На тест-драйве вы научитесь

Активировать тест-драйв

4. Загрузчики данных. NiFi

3. Реляционные базы данных. SQL. PostgreSQL

2. Архитектура хранилищ данных

1. Экосистема и роль инженерии данных

какие объекты есть в базах данных, как ими манипулировать, их создавать, изменять и удалять

что из себя представляют основные процессы инженерии данных: ETL и ELT, их различия и применение, а также в чем суть каждого из этапов E, T и L

как использовать базовые конструкции языка структурных запросов SQL

что из представляют реляционные базы данных, по каким принципам работают и для чего могут использоваться

из чего состоит экосистема инженера данных и какими инструментами и технологиями ему важно владеть

загружать с помощью NiFi таблицы из PostgreSQL в разные форматы: parquet, csv, json

загружать csv файлы в таблицы СУБД PostgreSQL и писать к получившимся таблицам запросы

работать с таблицами PostgreSQL, выполнять выборку и редактирование данных, используя базовые конструкции языка SQL

каковы принципы работы, компоненты и архитектура NiFi

20 уроков в прямом эфире

Практические задания

Оплатить

Оставить заявку

Закрытый чат для своих

или в рассрочку

12 500 ₽/мес

50 000 ₽

Дата-инженер

О Слёрме

Слёрм вырос из внутреннего обучения Southbridge — аутсорсера администрирования нагруженных проектов. В процессе обучения сотрудников появился учебный курс по Kubernetes. Со временем базовый курс дополнился продвинутым и начали появляться курсы DevOps, Docker, Ceph, SRE. Мы учим тому, в чём уверены сами.

У нас преподают признанные эксперты, а лучшие компании доверяют нам обучение своих сотрудников.

Наши ученики получают только актуальные знания и могут сразу их проверить на задачах, приближённых к реальным.

Слёрм — место, где обучение становится увлечением.