Фреймворк Apache Spark для разработчиков: продвинутый уровень
Длительность
24 ак.ч.
Локация
Онлайн
Код
EAS-024
18.09.2023 - 27.09.2023
41 500 руб.
* Для физических лиц действует скидка 10% Закажите корпоративное обучение с учетом ваших потребностей
Описание
Тренинг даёт подробное представление о внутреннем устройстве и функционировании фреймворка Apache Spark – как Spark Core (RDD), так и Spark SQL, Spark Streaming и Spark Structured Streaming. Рассматриваются механизмы запуска компонентов кластера Spark под управлением разных менеджеров кластеров, управление выделением ресурсов (в первую очередь – памяти), механизмы работы планировщиков. Подробно исследуются преимущества формата внутреннего представления Tungsten и работы оптимизатора Catalyst.
После прохождения курса выдается
удостоверение о повышении квалификации государственного образца
удостоверение о повышении квалификации государственного образца
Цели
- Понимать внутреннее устройство Spark;
- Понимать механизмы запуска и настройки компонентов Spark на разных кластерах (Standalone, YARN, Mesos);
- Научиться оптимизировать программы, обрабатывающие RDD;
- Понимать механизмы оптимизации программ на Spark SQL;
- Понимать механизмы оптимизации программ, обрабатывающих потоковые данные, как в микропакетах, так и в Dataset.
Целевая аудитория
Разработчики, архитекторы
Предварительная подготовка
Опыт разработки на Java или Scala под Apache Spark от 3
месяцев.
Разбираемые темы
-
Внутренняя архитектура Spark, Spark Runtime Environment
-
Настройка Spark Context, SparkConf
-
Внутреннее устройство RDD, логический план
-
Лучшие практики программирования с RDD
-
Физический план: работы, стадии, задачи
-
Планировщики и выполнение физического плана
-
Настройка памяти, сериализация, кеширование, сборка мусора
-
Datasource API, внутреннее представление данных Tungsten, форматы файлов
-
Оптимизатор Catalyst
-
Микропакетный Spark Streaming: получение и выдача данных
-
Structured Streaming: получение и выдача данных
Раcписание курсов
Вид:
Тренеры
Благов Михаил
Эксперт в области обработки данных и Big Data
Кандидат физико-математических наук, Ph.D., тимлид дата инженеров в Билайн. 10 лет в IT, из них 5 в области обработки данных и Big Data (Hadoop, Kafka, Spark). Ассистент Кафедры прикладной кибернетики СПБГУ, уже 4 года приводит студентов в IT и помогает начать карьеру.
Кандидат физико-математических наук, Ph.D., тимлид дата инженеров в Билайн. 10 лет в IT, из них 5 в области обработки данных и Big Data (Hadoop, Kafka, Spark). Ассистент Кафедры прикладной кибернетики СПБГУ, уже 4 года приводит студентов в IT и помогает начать карьеру.
