EAS-032
Apache AirFlow: эффективная оркестрация задач
Освойте Apache AirFlow для создания и мониторинга сложных ETL-процессов. Улучшите производительность и управление данными в Big Data-проектах.
Удостоверение о прохождении
Смотреть пример
24 академ. часов
Онлайн
Подробнее
О чём курс
В ходе курса участники получат знания об областях применения, основных возможностях и ограничениях инструмента Apache AirFlow, а также научатся использовать его возможности при работе в Hadoop.
Темы курса включают: введение в ETL и Apache AirFlow, настройку и установку, изучение абстракций и компонентов, работу с DAG, шедулинг и контроль исполнения процессов, мониторинг и отладку, более продвинутые техники и сценарии использования AirFlow, а также лучшие практики интеграции с другими системами, конфигурирование и масштабирование.
Кроме того, будут рассмотрены вопросы разработки плагинов, нотификаций, собственных сенсоров и операторов, а также способы тестирования и запуск AirFlow в контейнерах Docker.
По окончании курса участники будут уметь эффективно использовать возможности
Apache AirFlow при работе в Hadoop, создавать, выполнять и мониторить потоки заданий по обработке данных.
Темы курса включают: введение в ETL и Apache AirFlow, настройку и установку, изучение абстракций и компонентов, работу с DAG, шедулинг и контроль исполнения процессов, мониторинг и отладку, более продвинутые техники и сценарии использования AirFlow, а также лучшие практики интеграции с другими системами, конфигурирование и масштабирование.
Кроме того, будут рассмотрены вопросы разработки плагинов, нотификаций, собственных сенсоров и операторов, а также способы тестирования и запуск AirFlow в контейнерах Docker.
По окончании курса участники будут уметь эффективно использовать возможности
Apache AirFlow при работе в Hadoop, создавать, выполнять и мониторить потоки заданий по обработке данных.
Цели
Развитие компетенции по созданию, выполнению мониторинга и оркестрации потоков операций по обработке данных.
Целевая аудитория
Инженеры данных
Предварительная подготовка
Специалисты, владеющие Python, SQL и имеющие опыт работы в Hadoop.
Для кого
Data Engineer
DevOps-инженер
Улучшаемые навыки
ETL
Apache Airflow
DAG
Docker
Big Data
Инструменты
Docker
Python
HDFS
SQL
Spark
Clickhouse
Apache Impala
SuperSet
Программа курса
01
Введение в Apache Airflow
Практика 1. Установка и получение доступа к AirFlow
02
Описание и выполнение заданий в AirFlow
Практика 2.
03
Компоненты AirFlow
Практика 3.
04
Операторы и их композиции
Практика 4.
Практика 5.
05
Условия срабатывания заданий
Практика 6. Задание условий срабатывания заданий.
Практика 7. Установка хуков.
06
Разработка для AirFlow
Практика 8.
07
Лучшие практики использования
Практика 9.
08
Интеграция Airflow с другими системами
Практика 10.
Практика 11.
Практика 12.
09
Промышленное развертывание AirFlow
Практика 13.
10
Итого на курс: 24 академических часа: теория – 4,5 ч (19%), практика – 19,5 ч (81%).
Чему вы научитесь
01
Создавать и настраивать DAG-задания в Apache AirFlow
02
Мониторить и отлаживать выполнение задач
03
Интегрировать AirFlow с Hadoop и другими системами
04
Разрабатывать плагины, нотификации и собственные операторы
05
Тестировать и оптимизировать задания
06
Развертывать AirFlow в Docker и Kubernetes
Записаться на курс
52 500 ₽
47 250 ₽ — для физ. лиц
Юр. лицо — 52 500 ₽
Физ. лицо — 47 250 ₽
Открытая дата
Связанные курсы
EAS-015
24 часа
Основы Hadoop
Освойте основы Hadoop и экосистемы Big Data. Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластерети сопутствующими проектами, составляющими экосистему Hadoop: Hive, Spark, HBase.
от Middle
44 000 ₽
EAS-017
26 часов
Основы Apache Spark
Обучайтесь основам Apache Spark и используйте его для эффективной обработки больших данных. В данном курсе вы узнаете все необходимое для работы с фреймворком Apache Spark, включая программирование на Python, создание табличных запросов с помощью Spark SQL и обработку данных с использованием RDD и DataFrame. Уникальное сочетание теории и практики поможет вам быстро освоить все нюансы Spark и применить их на реальных проектах.
от Middle
47 300 ₽
Наши ученики работают в:
Наши клиенты
