О чём курс
В рамках курса вы познакомитесь с основными понятиями и задачами, возникающими при создании хранилищ данных. Поймете, как цели влияют на выбор архитектуры и к каким последствиям может привести недостаточное внимание к компонентам. Составите представление о ролях и влиянии участников команды на результат.
В программе курса будут описаны практические подходы к проектированию и внедрению хранилищ данных и его компонент. Вы рассмотрите управление жизненным циклом, включая вывод из эксплуатации и миграцию на новые системы, затронете темы управления данными и построения приложений на их основе.
В практической части слушатели разработают концептуальную и физическую ER-диаграммы хранилища на основании бизнес-требований.Цели
- Получить представление о роли и задачах хранилища данных в ИТ ландшафте предприятия.
- Освоить все этапы жизненного цикла DWH от проектирования к внедрению, эксплуатации и выведению из сопровождения.
- Научиться избегать типовые ошибки при создании хранилищ и освоить методы и практики для успешного сопровождения хранилищ данных.
- Научиться принимать архитектурные решения на этапе проектирования хранилища.
- Научиться самостоятельно разрабатывать концептуальную и физическую ER-диаграммы хранилища.
Целевая аудитория
Тренинг предназначен для:
Также может быть интересным:
- архитекторов;
- технических лидеров и ведущих разработчиков;
- системных аналитиков и проектировщиков;
- владельцев продукта (DWH);
- менеджеров проектов (DWH);
- руководителей отделов (DWH).
Также может быть интересным:
- инженерам по качеству данных (DQ);
- BI-специалистам (BI).
Темы курса
01
1. Введение (теория - 2 ч., практика - 0,4 ч.)
- Понятие «хранилище данных». Его возможности и ограничения.
- Зачем создается DWH, какую бизнес-задачу оно решает.
02
2. Компоненты и архитектура (теория - 2,6 ч., практика - 0,5 ч.)
- Классические подходы к проектированию хранилищ данных.
- Типовые компоненты и протекающие процессы.
- Концепции Инмона, Кимбалла и DataVault.
- Обзор основных компонентов (stage, ods, dds, datamart, bi, metadata) и процессов (ETL, ELT, DQ, lineage).
03
3. Управление данными - Data Governance (теория 1,7 - ч., практика - 0,3 ч.)
- Общие и частные вопросы управления данными предприятия.
- Информация рассматривается как актив, приносящий ценность и имеющий затраты на получение.
- Концепция «мастер-данные» и системы по их управлению – MDM.
04
4. Методики проектирования хранилищ (теория 4 - ч., практика 0,8 ч.)
- Шаги проектирования хранилища.
- Типовые приемы и инструментарий при создании.
- Экспертиза участников и инфраструктуры.
05
5. Область хранения исходных данных - Stage (теория - 2,3 ч., практика - 0,5 ч.)
- Потребность в хранении исходных данных из системы источника.
- Типичные ошибки при организации данной области и ее отличие от «озера данных».
06
6. Области постоянного хранения - ODS и DDS (теория 2,6 - ч., практика 0,5 ч.)
- Слои операционного и многомерного хранения данных.
- Процессы извлечения, очистки, контроля и сохранения - ETL\ELT.
- Трансформация в целевую схему хранения.
07
7. Системы-потребители данных хранилища (теория 3 - ч., практика 0,6 - ч.)
- Типовые сценарии использования данных из хранилищ.
- Основные потребители - системы бизнес-аналитики «BI».
- Устройство типовой БИ системы и причины их большого разнообразия.
08
8. Новые вызовы в развитии хранилищ данных (теория 1,8 - ч., практика - 0,4 ч.)
- Обзор основных проблем, с которыми сталкиваются хранилища при росте.
- Новые вызовы в области машинного обучения.
- Концепция Data Mesh как альтернатива дальнейшего развития.
Ведущий курса
Паршуков Сергей
Специалист в области разработки ПО и баз данных
Записаться на курс
44 900 ₽
40 410 ₽ — для физ. лиц
Юр. лицо — 44 900 ₽
Физ. лицо — 40 410 ₽
03.03.2025, Онлайн
03.03.2025, Онлайн
Открытая дата
Отзывы о курсе
Отзывы учеников
Очень полезный тренинг. Участвую в проекте смежном с разработкой хранилищ данных уже 2 года. Многие вещи я уже знала, но тренинг позволил мне систематизировать имеющиеся знания, понять структуру подобных проектов - как они должны быть организованы. Самым полезным были ссылки на источники информации по теме и другие полезные материалы, которые можно использовать в работе. Спасибо!
Тренинг понравился. Материал подан доходчиво и понятно. Были, конечно, моменты, когда тренер уходил в технические детали, и мне становилось сложно следить за ходом мысли. Но, думаю, причиной этому была собравшаяся аудитория – технические специалисты. Манера чтения тренинга очень понравилась: видно, что тренер сам увлечен темой, имеет богатый опыт, занимается любимым делом.
Больше всего понравились материалы про эволюцию хранилищ данных, BI, а также преимущества и недостатки этого инструмента. Ещё один плюс – информация о различных аспектах архитектуры хранилища данных, которую тренер представил нам на практических примерах и упражнениях, это очень полезно для начинающих специалистов.
Понравилось всё, поскольку были пробелы в данной области. Новые вещи - BI, особенный подход к анализу проблемы - понравилось, что как таковых требований по новой сфере - медицина - не было и необходимо было в моменте продумывать подходы по ХД для нашего «заказчика». Понравилась высокая прикладная полезность. Есть то, чего раньше не знала и узнала первый раз именно на курсе. Спасибо!
Отличный курс для тех, кто хочет погрузиться в основы хранилищ данных. Материал был хороший и интересный, много примеров, которые помогли мне лучше понять различные концепции. Отдельное спасибо хочется сказать тренеру. После обучения мне захотелось сузить направление своей работы – сконцентрироваться в области хранилищ данных. Настолько заразительно и интересно нам рассказывали этот курс.
Больше всего порадовал объем информации, интересные кейсы, структурированная подача, полезный верхнеуровневый обзор тематики, интересный инструмент для ER диаграммы в домашнем задании, информация об общей архитектуре DWH, подходах и нюансах проектирования и высокая квалификация тренера. Полезным было повышение экспертизы в связанных с профессиональной деятельностью вопросах. В общем –понятно, доступно и по теме.
Впечатления положительные. Наиболее полезное: четкое понимание возможных подходов к построению систем; архитектура решений; методология процессов внедрения.
Все понравилось. Отличный тренинг. Компетентный тренер. Полученная информация позволит более полно проявить свои профессиональные качества для целей отдела и в целом компании.
Общее впечатление исключительно положительное. Основы терминологии в области КХДб подходы и организации процесса реализации данного проекта.
Связанные курсы
EAS-011
16 часов
Современные подходы к управлению данными
Этот курс представляет обзор современных способов хранения данных, в том числе хранилищ ключ-значение, документно-ориентированных и потоковых систем управления базами данных, систем распределенного хранения и обработки данных.
от Junior
29 900 ₽
EAS-015
24 часа
Основы Hadoop
Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластере и сопутствующими проектами, входящими в экосистему Hadoop: Hive, Spark, HBase.
от Middle
41 900 ₽
EAS-016
8 часов
BigData SQL: Hive
В курсе изучаются основы архитектуры Hive , разработка скриптов по загрузке, трансформации и выгрузке данных. Рассматриваются все необходимые технические подробности. Конфигурирование и настройки производительности.
от Middle
14 900 ₽
EAS-026
24 часа
Основы Kafka
Вводный тренинг по Apache Kafka – платформе распределенной потоковой передачи событий с открытым исходным кодом. Рассматриваются архитектурные особенности Kafka, обеспечивающие высокопроизводительную доставку данных.
от Middle
44 500 ₽
Наши ученики работают в:
Наши клиенты
