EAS-015
Основы Hadoop
Освойте основы Hadoop и экосистемы Big Data. Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластерети сопутствующими проектами, составляющими экосистему Hadoop: Hive, Spark, HBase.
Удостоверение о прохождении
Смотреть пример
24 академ. часов
Онлайн
Подробнее
О чём курс
Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластерети сопутствующими проектами, составляющими экосистему Hadoop: Hive, Spark, HBase.
Цели
Целевая аудитория
Разработчики, архитекторы, разработчики баз данных, администраторы баз данных.
Предварительная подготовка
Умение работать в командной оболочке Unix/Linux (bash). Опыт работы с базами данных желателен, но не обязателен.
Для кого
Data Engineer
Big Data Analyst
Data Scientist
Улучшаемые навыки
Hadoop
HDFS
YARN
Hive
Spark
HBase
Big Data
Data Engineering
SQL
MapReduce
Инструменты
Apache HBase
HDFS
Spark
YARN
Расписание курсов
Программа курса
01
Основные концепции современной архитектуры данных
⠀
02
HDFS: Hadoop Distributed File System
03
Парадигма MapReduce и ее реализация на Java и в Hadoop Streaming
04
YARN: управление распределенным выполнением приложений
05
Введение в Hive
06
Введение в Spark
07
Введение в потоковую обработку данных
08
Введение в HBase
09
Итого на курс 24 часов: теория – 13 ч ( 54%), практика – 11ч ( 46%)
Чему вы научитесь
01
Понимать ключевые концепции и архитектуру Hadoop;
02
Записывать и читать данные в/из HDFS;
03
Понимать устройство MapReduce-программ;
04
Обращаться к табличным данным с использованием Hive;
05
Обращаться к табличным данным с использованием Spark SQL/DataFrame в пакетном режиме;
06
Обрабатывать потоки данных с использованием Spark Structured Streaming;
07
Использовать HBase для низколатентного сохранения и чтения данных.
Курс проводят
Воронцов Олег
Эксперт в области архитектуры ПО
О тренере
Более 20 в IT от разработки до архитектуры. Более 10 лет работы с Большими Данными в Российских и зарубежных проектах. Олег принимал участие в проектировании и разработке высоконагруженных систем на базе Hadoop технологий, в том числе в проектировании высоконагруженных систем потоковой обработки данных в реальном времени (Kafka, Hadoop, Spark, Scala)
Записаться на курс
44 000 ₽
39 600 ₽ — для физ. лиц
Юр. лицо — 44 000 ₽
Физ. лицо — 39 600 ₽
15.09.2025, Онлайн
15.09.2025, Онлайн
Открытая дата
Отзывы о курсе
Отзывы учеников
Для меня очень полезным было рассмотрение архитектуры технологий, относящихся к Hadoop; понимание плюсов и минусов использования Hadoop, областей применения данных технологий. Очень понравился стиль изложения материала, метод преподавания тренера, эмоциональные ударения, удержание внимания аудитории.
Отличный тренинг. Получил общее понимание Hadoop и приложений из его экосистемы. Узнал цели использования, плюсы, минусы и т.п. Основы Spark и его преимущества/недостатки по сравнению с Hadoop. Спасибо!
Отличный курс: комплексный подход к изложению: доступно, понятно, кратко, с примерами. Общий обзор продуктов, интересные реальные примеры. Особенно описание внутреннего устройства hdfs, Vanilla Hadoop, Apache Spark.
Очень приятные впечатления от курса - от организации до наполнения. Обучение позволило собрать воедино разрозненные обрывки знаний и в дискуссиях с коллегами и тренером - повысить компетенцию.
Насыщенность курса превысила ожидания. Помимо верхнеуровневой архитектуры удалось познакомиться и с более низкоуровневыми особенностями и подходами к реализации и использованию.
Тренингом очень доволен, качественное погружение в интересующие аудиторию детали, алгоритмы. Тренер активно работает с аудиторией, грамотно и доступно преподносит материал.
Для меня это был полезный курс. Я узнал, как устроены компоненты больших данных, и получил практический опыт их использования. В общем, очень понравилась практическая часть – это большой «плюс» тренинга. Отдельно спасибо за блоки с информацией про историю развития Hadoop, общее понимание технологий и экосистемы. Это было интересно, рекомендую.
Хороший курс. Все темы были для меня чем-то новым, но интересным и полезным. В целом было много теории и упор на основные механизмы, но нам дали возможность потренироваться на стендах, выполнить домашние задания и разобрать их вместе с тренером. После курса для меня многое стало понятным, и я вдохновился на дальнейшее самообучение – это главное!
Все хорошо. Самая полезная часть курса – это информация про то, что представляет из себя хауоп, как его установить и конфигурировать, материалы о командах HDFS, вендорах и других составляющих (нам рассказали про Pig, Hive, Sqoop, Flume и др.). Я думаю, что этот курс, подходит для разработчиков или инженеров по обработке данных, которые строят инфраструктуру, поэтому, могу смело рекомендовать им обучение.
Связанные курсы
EAS-016
8 часов
BigData SQL: Hive
В курсе изучаются основы архитектуры Hive , разработка скриптов по загрузке, трансформации и выгрузке данных. Рассматриваются все необходимые технические подробности. Конфигурирование и настройки производительности.
от Middle
15 600 ₽
EAS-017
26 часов
Основы Apache Spark
Обучайтесь основам Apache Spark и используйте его для эффективной обработки больших данных. В данном курсе вы узнаете все необходимое для работы с фреймворком Apache Spark, включая программирование на Python, создание табличных запросов с помощью Spark SQL и обработку данных с использованием RDD и DataFrame. Уникальное сочетание теории и практики поможет вам быстро освоить все нюансы Spark и применить их на реальных проектах.
от Middle
47 300 ₽
EAS-024
24 часа
Фреймворк Apache Spark для разработчиков: продвинутый уровень
Глубокое погружение в внутреннее устройство Apache Spark и его компонентов. Этот курс поможет вам понять, как устроены и работают различные модули Spark, такие как Spark Core, Spark SQL, и Spark Streaming. Вы научитесь оптимизировать производительность и эффективно использовать ресурсы кластера.
от Senior
51 900 ₽
Наши ученики работают в:
Наши клиенты
