Пайплайн горит: как Apache Airflow спасает дата-инженера в 3 ночи

Практический инженерный вебинар о том, почему Apache Airflow-пайплайны «взрываются» ночью и как диагностировать, чинить и проектировать DAG-и так, чтобы инциденты перестали быть сюрпризом.

Разбираем реальный сценарий «горящего» продакшн-пайплайна: от красного DAG посреди ночи до устойчивой архитектуры с DLQ, стратегиями повторов и безопасной обработкой данных.

Вебинар построен вокруг живого инцидента в Airflow: мы берём типичный production DAG, который «работает 99% времени», и разбираем, почему он внезапно превращается в каскад ошибок, пропущенные данные или тихий отказ.

Вы увидите:

как читать логи Airflow как расследование инцидента;

почему «зелёный DAG» не означает корректные данные;

где именно ломаются реальные прод-пайплайны;

как точечными изменениями превратить хрупкий DAG в устойчивую систему.

Фокус не на синтаксисе Airflow, а на инженерии отказоустойчивых систем с конвейерами данных.

Цели вебинара:

Показать реальные причины падений production DAG-ов.

Научить диагностировать инциденты в Apache Airflow за минуты, а не часы.

Дать инженерные паттерны устойчивых пайплайнов.

Разобрать ключевые антипаттерны, приводящие к ночным инцидентам.

Сформировать понимание архитектуры data pipeline как системы отказов.

Предварительная подготовка:

базовое понимание Python (функции, циклы, исключения),

общее представление о DAG-ах,

понимание, что такое ETL/ELT пайплайны.

1. Инцидент в 03:14

 2. Анатомия падения пайплайна

 3. Как ошибка распространяется в DAG

 4. Live-разбор «сломанный DAG»

 5. Рефакторинг в прямом эфире

 6. Архитектура устойчивого DAG

 7. Три типа катастроф в Airflow

 8. Production-паттерны

 9. Финальный разбор