EAS-017
Основы Apache Spark
Обучайтесь основам Apache Spark и используйте его для эффективной обработки больших данных. В данном курсе вы узнаете все необходимое для работы с фреймворком Apache Spark, включая программирование на Python, создание табличных запросов с помощью Spark SQL и обработку данных с использованием RDD и DataFrame. Уникальное сочетание теории и практики поможет вам быстро освоить все нюансы Spark и применить их на реальных проектах.
Удостоверение о прохождении
Смотреть пример
26 академ. часов
Онлайн
Подробнее
Улучшаемые навыки
Big Data
Spark
Spark SQL
DataFrame
RDD
Python
HDFS
Kafka
Cassandra
Data Engineering
Инструменты
Kafka
Python
HDFS
Cassandra
Spark
Чему вы научитесь
01
Создавать и распараллеливать RDD и DataFrame
02
Запускать Spark и управлять кластерами для распределенной обработки данных
03
Читать и записывать данные из внешних хранилищ
04
Оптимизировать производительность Spark-приложений
05
Использовать веб-ноутбуки Jupyter для разработки и тестирования кода
Программа курса
01
Концепции и архитектура Spark
02
Программирование с помощью RDD: трансформации и действия
03
Программирование с помощью DataFrame
04
Загрузка данных с внешних хранилищ и во внешние хранилища
05
Написание логики с использованием Spark DSL
06
Написание логики с использованием Spark SQL
07
Использование функций Window и UDF
08
Типы Spark
09
Примеры оптимизации Spark
10
Запуск Spark в Airflow
11
Всего: теория – 13 ч. (50%), практика и демонстрация – 13 ч. (50%)
Для кого
Разработчик
Архитектор ПО
Big Data Analyst
Предварительная подготовка
Базовые навыки программирования на языке Python. Базовые знания SQL..
Расписание курсов
Курс проводят
Заигрин Вадим
Специалист в области BigData
О тренере
Более 35 лет в ИТ, с 2016 года работает с большими данными как разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах.
В рамках своей профессиональной деятельности :
Практический опыт базируется на знании Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Greenplum, Vertica), фреймворка Spark и платформ Google Cloud Platform и Yandex Cloud.
Образование:
Прикладная математика, Московский институт электроники и математики (МИЭМ)
В рамках своей профессиональной деятельности :
- развивал проекты в банках, в телекоммуникационных и розничных компаниях.
- разработал архитектуру миграции системы Teradata RTCM на Teradata VCX для телекоммуникационной компании.
- разработал архитектура системы обработки данных на базе Hadoop для совместного проекта международной платежной системы и крупного банка.
- разработал систему безопасности Hadoop на основе Atlas и Ranger.
- тестировал системы безопасности Protegrity в Hadoop для крупного банка.
Практический опыт базируется на знании Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Greenplum, Vertica), фреймворка Spark и платформ Google Cloud Platform и Yandex Cloud.
Образование:
Прикладная математика, Московский институт электроники и математики (МИЭМ)
Курсы и сертификаты
Записаться на курс
49 700 ₽
44 730 ₽ — для физ. лиц
Юр. лицо — 49 700 ₽
Физ. лицо — 44 730 ₽
12.11.2025, Онлайн
12.11.2025, Онлайн
Открытая дата
Отзывы о курсе
Отзывы учеников
Спасибо за курс! Мы изучили основы использования одного из самых популярных фреймворков, и я наконец-то понял, как он работает 😊 хорошо, что всю информацию нам «разжёвывали», поэтому все было понятно. Понравился очень глубокий анализ каждого случая, практические примеры обзор Spark, практические упражнения с RDD, DataFrame, DataSet и домашние задания.
Не думал, что изучение BigData может быть таким простым и интересным с одной стороны, и объёмным и информативным с другой. Больше всего понравился широкий обзор ключевых концепций и методов обработки данных с помощью Spark и глубокое объяснение всей экосистемы Spark. Поэтому считаю, что вся информация, которую мы обсудили, была важной и полезной. Курс понравился, рекомендую!
Когда я записывался на курс, то хотел изучить Apache Spark. К моему счастью, моя цель была достигнута. Главные «плюсы» курсы для меня – это материалы об архитектуре, RDD, Spark SQL, DataFrames, Datasets и возможность упражняться. Все задания проверял тренер, он давал рекомендации и помогал выполнить задания, с которыми у нас были трудности. В общем, все супер!
Наши ученики работают в:
Наши клиенты
Связанные курсы
EAS-015
24 часа
Основы Hadoop
Освойте основы Hadoop и экосистемы Big Data. Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластерети сопутствующими проектами, составляющими экосистему Hadoop: Hive, Spark, HBase.
от Middle
46 200 ₽
EAS-024
24 часа
Фреймворк Apache Spark для разработчиков: продвинутый уровень
Глубокое погружение в внутреннее устройство Apache Spark и его компонентов. Этот курс поможет вам понять, как устроены и работают различные модули Spark, такие как Spark Core, Spark SQL, и Spark Streaming. Вы научитесь оптимизировать производительность и эффективно использовать ресурсы кластера.
от Senior
54 500 ₽
