Фреймворк Apache Spark для разработчиков: продвинутый уровень
Тренинг даёт подробное представление о внутреннем устройстве и функционировании фреймворка Apache Spark – как Spark Core (RDD), так и Spark SQL и Spark Streaming.
24 ак.ч.
Онлайн
EAS-024
Фреймворк Apache Spark для разработчиков: продвинутый уровень
Записаться на курс
Длительность
24 ак.ч.
Локация
Онлайн
Код
EAS-024
Расписание и цены
18.09.2023 - 27.09.2023
41 500 руб.
* Для физических лиц действует скидка 10% Закажите корпоративное обучение с учетом ваших потребностей
Фреймворк Apache Spark для разработчиков: продвинутый уровень
Записаться на курс
Длительность
24 ак.ч.
Локация
Онлайн
Код
EAS-024
Расписание и цены
18.09.2023 - 27.09.2023
41 500 руб.
* Для физических лиц действует скидка 10% Закажите корпоративное обучение с учетом ваших потребностей

Описание

Тренинг даёт подробное представление о внутреннем устройстве и функционировании фреймворка Apache Spark – как Spark Core (RDD), так и Spark SQL, Spark Streaming и Spark Structured Streaming. Рассматриваются механизмы запуска компонентов кластера Spark под управлением разных менеджеров кластеров, управление выделением ресурсов (в первую очередь – памяти), механизмы работы планировщиков. Подробно исследуются преимущества формата внутреннего представления Tungsten и работы оптимизатора Catalyst. 

Цели

  • Понимать внутреннее устройство Spark;
  • Понимать механизмы запуска и настройки компонентов Spark на разных кластерах (Standalone, YARN, Mesos);
  • Научиться оптимизировать программы, обрабатывающие RDD;
  • Понимать механизмы оптимизации программ на Spark SQL;
  • Понимать механизмы оптимизации программ, обрабатывающих потоковые данные, как в микропакетах, так и в Dataset.

Целевая аудитория

Разработчики, архитекторы

Предварительная подготовка

Опыт разработки на Java или Scala под Apache Spark от 3 месяцев. 

Разбираемые темы

  • Внутренняя архитектура Spark, Spark Runtime Environment

  • Настройка Spark Context, SparkConf

  • Внутреннее устройство RDD, логический план

  • Лучшие практики программирования с RDD

  • Физический план: работы, стадии, задачи

  • Планировщики и выполнение физического плана

  • Настройка памяти, сериализация, кеширование, сборка мусора

  • Datasource API, внутреннее представление данных Tungsten, форматы файлов

  • Оптимизатор Catalyst

  • Микропакетный Spark Streaming: получение и выдача данных

  • Structured Streaming: получение и выдача данных

Раcписание курсов
Вид:
18.09.2023 - 27.09.2023
18:00-21:00
Локация:Онлайн
Длительность:24 ак.ч.
Время:18:00-21:00
41 500 руб.
Записаться
Смотреть полное расписание
Тренеры
Благов Михаил
Эксперт в области обработки данных и Big Data
Кандидат физико-математических наук, Ph.D., тимлид дата инженеров в Билайн. 10 лет в IT, из них 5 в области обработки данных и Big Data (Hadoop, Kafka, Spark). Ассистент Кафедры прикладной кибернетики СПБГУ, уже 4 года приводит студентов в IT и помогает начать карьеру.
Ваши преимущества
Экспертность
Тренеры-эксперты из реальных проектов крупнейших компаний, лидеров в своей отрасли
Живое обучение
“Живая” коммуникация с тренером даже в онлайн-формате
Практика
Максимально наполненные практикой занятия, работа в группах, выполнение домашних заданий
Пользователь только что записался на курс ""
Спасибо!
Форма отправлена успешно.