Описание

удостоверение о повышении квалификации государственного образца
Цели
- Понимать ключевые концепции и архитектуру Hadoop;
- Получить представление об экосистеме, сложившейся вокруг Hadoop, и ее ключевых компонентах;
- Уметь записывать и читать данные в/из HDFS;
- Понимать устройство MapReduce-программ;
- Уметь обращаться к табличным данным с использованием Hive;
- Уметь обращаться к табличным данным с использованием Spark SQL/DataFrame в пакетном режиме;
- Уметь обрабатывать потоки данных с использованием Spark Structured Streaming;
- Уметь использовать HBase для низколатентного сохранения и чтения данных.
Целевая аудитория
Предварительная подготовка
Разбираемые темы
-
1. Основные концепции современной архитектуры данных (теория 1 ч)
- Архитектура, репликация, чтение и запись данных, команды HDFS;
- Практика: подключение к кластеру, работа с файловой системой из shell и Hue.
-
2. HDFS: Hadoop Distributed File System (теория 2 ч, практика 1 ч)
- Практика: запуск приложений.
-
3. Парадигма MapReduce и ее реализация на Java и в Hadoop Streaming (теория 2 ч, практика 1 ч)
- Архитектура YARN, запуск приложений в YARN;
- Практика: запуск приложений и наблюдение за кластером через UI.
-
4. YARN: управление распределенным выполнением приложений (теория 1 ч, практика 1 ч)
- Архитектура, метаданные таблиц, форматы файлов, язык запросов HiveQL;
- Практика (Hue, hive, beeline, Tez UI): создание таблиц, чтение и запись CSV, Parquet, ORC, партиционирование, SQL-запросы с агрегацией и соединениями.
-
5. Введение в Hive (теория 2 ч, практика 3 ч)
- DataFrame/SQL, метаданные, форматы файлов, источники данных, RDD;
- Практика (Zeppelin, Spark UI): чтение и запись из БД (JDBC), CSV, Parquet, партиционирование, SQL-запросы с агрегацией и соединениями, планы выполнения запросов, мониторинг.
-
6. Введение в Spark (теория 2 ч, практика 3 ч)
- Spark Streaming, Spark Structured Streaming, Flink;
- Практика: чтение/обработка/запись потоков между Kafka, реляционной БД и файловой системой.
-
7. Введение в потоковую обработку данных (теория 2 ч, практика 1 ч)
- Архитектура, язык запросов;
- Практика (HBase shell): запись и чтение данных.
-
8. Введение в HBase (теория 1 ч, практика 1 ч)

С 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой программного обеспечения.
С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.
О проектах:
Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.
Среди его кейсов работа в ЗАО «ТИТАН МЕТА», Московском государственном университете приборостроения и информатики, Национальном исследовательском университете «Высшая школа экономики» и Luxoft Training.
Курсы, сертификаты, членство в профессиональных организациях:
2009 г. — повышение квалификации в Московском государственном университете приборостроения и информатики по программе «Информационная компетентность в профессиональной деятельности преподавателя вуза».
2011 г. — повышение квалификации в Информационно-Вычислительном Центре Московского энергетического института (технического университета) по программе «Современные технологии построения баз данных на примере Microsoft SQL Server 2008. Web-приложения и современные средства разработки. Современные технологии построения компьютерных сетей с использованием Microsoft Windows Server 2008 R2».
Александр является членом организаций:
-
IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
-
ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).