EAS-032
Apache AirFlow: эффективная оркестрация задач
Освойте Apache AirFlow для создания и мониторинга сложных ETL-процессов. Улучшите производительность и управление данными в Big Data-проектах.
Удостоверение о прохождении
Смотреть пример
24 академ. часов
Онлайн
Подробнее
Улучшаемые навыки
ETL
Apache Airflow
DAG
Docker
Big Data
Инструменты
Docker
Python
HDFS
SQL
Spark
Clickhouse
Apache Impala
SuperSet
Чему вы научитесь
01
Создавать и настраивать DAG-задания в Apache AirFlow
02
Мониторить и отлаживать выполнение задач
03
Интегрировать AirFlow с Hadoop и другими системами
04
Разрабатывать плагины, нотификации и собственные операторы
05
Тестировать и оптимизировать задания
06
Развертывать AirFlow в Docker и Kubernetes
Программа курса
01
Введение в Apache Airflow
Практика 1. Установка и получение доступа к AirFlow
02
Описание и выполнение заданий в AirFlow
Практика 2.
03
Компоненты AirFlow
Практика 3.
04
Операторы и их композиции
Практика 4.
Практика 5.
05
Условия срабатывания заданий
Практика 6. Задание условий срабатывания заданий.
Практика 7. Установка хуков.
06
Разработка для AirFlow
Практика 8.
07
Лучшие практики использования
Практика 9.
08
Интеграция Airflow с другими системами
Практика 10.
Практика 11.
Практика 12.
09
Промышленное развертывание AirFlow
Практика 13.
10
Итого на курс: 24 академических часа: теория – 4,5 ч (19%), практика – 19,5 ч (81%).
Для кого
Data Engineer
DevOps-инженер
Предварительная подготовка
Специалисты, владеющие Python, SQL и имеющие опыт работы в Hadoop.
Записаться на курс
54 900 ₽
49 410 ₽ — для физ. лиц
Юр. лицо — 54 900 ₽
Физ. лицо — 49 410 ₽
Открытая дата
Наши ученики работают в:
Наши клиенты
Связанные курсы
EAS-015
24 часа
Основы Hadoop
Освойте основы Hadoop и экосистемы Big Data. Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластерети сопутствующими проектами, составляющими экосистему Hadoop: Hive, Spark, HBase.
от Middle
46 200 ₽
EAS-017
26 часов
Основы Apache Spark
Обучайтесь основам Apache Spark и используйте его для эффективной обработки больших данных. В данном курсе вы узнаете все необходимое для работы с фреймворком Apache Spark, включая программирование на Python, создание табличных запросов с помощью Spark SQL и обработку данных с использованием RDD и DataFrame. Уникальное сочетание теории и практики поможет вам быстро освоить все нюансы Spark и применить их на реальных проектах.
от Middle
49 700 ₽
