Airflow: как понять, что он вам необходим

Современные системы обработки данных и автоматизации всё чаще упираются не в вычисления, а в управление процессами: зависимости задач, ретраи, мониторинг, оркестрация и масштабирование. На этом этапе возникает вопрос: стоит ли писать свои cron-скрипты дальше или внедрить полноценный оркестратор?

По итогам семинара вы поймёте, нужен ли вам Airflow сейчас, в каких случаях его внедрение действительно окупается и как подойти к внедрению без лишней сложности.

Предварительная подготовка:

Базовое понимание разработки (любой язык, желательно Python).

Понимание клиент-серверной архитектуры.

Опыт работы с задачами автоматизации (cron, очереди, скрипты) — желательно.

Общее представление о работе с данными (ETL будет плюсом, но не обязательно).

Какие реальные проблемы решает Apache Airflow, а какие — нет.

В каких сценариях Airflow является оправданным выбором, а где это избыточное решение.

Как понять, что ваша текущая система (cron, очереди, кастомные пайплайны) перестаёт справляться.

Какие есть альтернативы и как сравнивать их между собой.

Из каких компонентов состоит Airflow и как он работает под капотом (Scheduler, Executor, DAG, Task).

Типичные ошибки внедрения и «антипаттерны», которые приводят к оверхеду и усложнению системы.

Также рассмотрим практические кейсы: ETL/ELT пайплайны, интеграции между сервисами, ML-процессы и batch-задачи, а также автоматизацию бизнес-процессов.