ИДЁТ НАБОР

СТАРТ: ноябрь

Spark-инженер

Продвинутый курс по самым мощным инструментам обработки больших данных Big Data и искусственного интеллекта, Artificial Intelligence

Рабочий код и скрипты для deploy

7 модулей
29 занятий

82 часа теории и практики

Диплом о переквалификации

Для кого обучение

Devops

кто хочет решать определенные вопросы в бизнесе: антифрод, оповещения, олап-система, репортинг. И для тех, кто хочет работать в большой компании, увеличивать свою зону ответственности и брать новые задачи.

ETL-инженер

Data Warehouse Engineer

Всем

Backend

Что вы будете уметь после курса

Вы сможете уверенно пользоваться API PySpark и Spark Scala, без предварительных знаний Python Scala. После курса научитесь автоматизировать рутинные задачи, такие как сборка, конфигурация, парсинг и генерация на Scala. На практическом занятии вы сможете осуществить первый deploy приложения на Spark на кластер, который входит в стоимость курса и будет доступен на протяжении всего обучения

Вы сможете уверенно работать с пакетной (batch) и потоковой (streaming) API в Spark для обработки табличных, потоковых, гео-данных и графов

На основе наборов данных объемом от 100 ГБ до 1+ ТБ будут рассмотрены и решены пять основных проблем с производительностью Apache Spark

Кроме того научитесь оркестровать и мониторить Spark-приложения с помощью Airflow, подключать мониторинг и логирование для Spark-приложений, а также строить непрерывную интеграцию и доставку для Spark приложений

Поговорим об отличиях NoSQL-баз как вида, так и разных их вариаций для решения соответствующих задач

Познакомимся с инструментами для представления данных заказчику, начнем говорить с бизнесом на одном языке

Узнаем классические подходы к задачам распределённого вычисления, сможем перечислить преимущества HDFS и начнем решать простые задачи по этому подходу

Определим разные способы настройки Kafka для решения пакетной (batch) и потоковой (streaming) обработки данных

Найдем отличия между ETL и ELT и какие последствия для инфраструктуры несет внедрение того или иного подхода. Вы получите список критериев, по которым можно оценивать то или иное решение для обработки данных

Изучим практики применения Python к задачам по Data engineering

01

03

05

02

04

06

Как будем обучаться

Программа

Спикеры

Применить инструмент Spark к рабочим и учебным задачам по обработке данных.

Получить базовое понимание принципов организации данных в реляционных баз данных, а также узнать инструменты и подходы для решения задач DE с применением SQL.

Увидеть отличие NoSQL-баз как вида, так и разных их вариаций для решения соответствующих задач. Практически использовать разные базы данные.

Понять на практике сопровождение данных на всех этапах жизненного цикла. И сделать проект на собственных данных.

Приобрести полноценный опыт работы с Apache Airflow, изучить сильные стороны этого инструмента, и понять, как его конфигурировать.

Курс помогает

Тариф