Основы хранилищ данных
Длительность
24 ак.ч.
Локация
Онлайн
Код
EAS-004
03.12.2024 - 12.12.2024
03.03.2025 - 05.03.2025
44 900 руб.
* Для физических лиц действует скидка 10% Закажите корпоративное обучение с учетом ваших потребностей
Описание
В рамках курса вы познакомитесь с основными понятиями и задачами, возникающими при создании хранилищ данных. Поймете, как цели влияют на выбор архитектуры и к каким последствиям может привести недостаточное внимание к компонентам. Составите представление о ролях и влиянии участников команды на результат.
В программе курса будут описаны практические подходы к проектированию и внедрению хранилищ данных и его компонент. Вы рассмотрите управление жизненным циклом, включая вывод из эксплуатации и миграцию на новые системы, затронете темы управления данными и построения приложений на их основе.
В практической части слушатели разработают концептуальную и физическую ER-диаграммы хранилища на основании бизнес-требований.
После прохождения курса выдается
удостоверение о повышении квалификации государственного образца
удостоверение о повышении квалификации государственного образца
Цели
- Получить представление о роли и задачах хранилища данных в ИТ ландшафте предприятия.
- Освоить все этапы жизненного цикла DWH от проектирования к внедрению, эксплуатации и выведению из сопровождения.
- Научиться избегать типовые ошибки при создании хранилищ и освоить методы и практики для успешного сопровождения хранилищ данных.
- Научиться принимать архитектурные решения на этапе проектирования хранилища.
- Научиться самостоятельно разрабатывать концептуальную и физическую ER-диаграммы хранилища.
Целевая аудитория
Тренинг предназначен для:
Также может быть интересным:
- архитекторов;
- технических лидеров и ведущих разработчиков;
- системных аналитиков и проектировщиков;
- владельцев продукта (DWH);
- менеджеров проектов (DWH);
- руководителей отделов (DWH).
Также может быть интересным:
- инженерам по качеству данных (DQ);
- BI-специалистам (BI).
Разбираемые темы
-
1. Введение (теория - 2 ч., практика - 0,4 ч.)
- Понятие «хранилище данных». Его возможности и ограничения.
- Зачем создается DWH, какую бизнес-задачу оно решает.
-
2. Компоненты и архитектура (теория - 2,6 ч., практика - 0,5 ч.)
- Классические подходы к проектированию хранилищ данных.
- Типовые компоненты и протекающие процессы.
- Концепции Инмона, Кимбалла и DataVault.
- Обзор основных компонентов (stage, ods, dds, datamart, bi, metadata) и процессов (ETL, ELT, DQ, lineage).
-
3. Управление данными - Data Governance (теория 1,7 - ч., практика - 0,3 ч.)
- Общие и частные вопросы управления данными предприятия.
- Информация рассматривается как актив, приносящий ценность и имеющий затраты на получение.
- Концепция «мастер-данные» и системы по их управлению – MDM.
-
4. Методики проектирования хранилищ (теория 4 - ч., практика 0,8 ч.)
- Шаги проектирования хранилища.
- Типовые приемы и инструментарий при создании.
- Экспертиза участников и инфраструктуры.
-
5. Область хранения исходных данных - Stage (теория - 2,3 ч., практика - 0,5 ч.)
- Потребность в хранении исходных данных из системы источника.
- Типичные ошибки при организации данной области и ее отличие от «озера данных».
-
6. Области постоянного хранения - ODS и DDS (теория 2,6 - ч., практика 0,5 ч.)
- Слои операционного и многомерного хранения данных.
- Процессы извлечения, очистки, контроля и сохранения - ETL\ELT.
- Трансформация в целевую схему хранения.
-
7. Системы-потребители данных хранилища (теория 3 - ч., практика 0,6 - ч.)
- Типовые сценарии использования данных из хранилищ.
- Основные потребители - системы бизнес-аналитики «BI».
- Устройство типовой БИ системы и причины их большого разнообразия.
-
8. Новые вызовы в развитии хранилищ данных (теория 1,8 - ч., практика - 0,4 ч.)
- Обзор основных проблем, с которыми сталкиваются хранилища при росте.
- Новые вызовы в области машинного обучения.
- Концепция Data Mesh как альтернатива дальнейшего развития.
Раcписание курсов
Вид:
03.12.2024 -
12.12.2024
9:00-12:00
Локация:Онлайн
Длительность:24 ак.ч.
Время: 9:00-12:00
Тренер:
Филин Виталий
Тренер
Филин Виталий
44 900 руб.
Тренеры
Паршуков Сергей
Специалист в области разработки ПО и баз данных
Руководитель проектов в ИТ области по разработке сервисов на основе BigData. Эксперт в области построения хранилищ данных. Разработчик для СУБД ORACLE. Участвовал во внедрении системы клиент-банк в ВТБ. Создал и эксплуатировал DWH в филиале ПАО МегаФон. Занимался задачами системного анализа и проектирования архитектуры при миграции локальных хранилищ в единое корпоративное хранилище. Нацелен на достижение результата с развитием долговременных отношений в команде.
Руководитель проектов в ИТ области по разработке сервисов на основе BigData. Эксперт в области построения хранилищ данных. Разработчик для СУБД ORACLE. Участвовал во внедрении системы клиент-банк в ВТБ. Создал и эксплуатировал DWH в филиале ПАО МегаФон. Занимался задачами системного анализа и проектирования архитектуры при миграции локальных хранилищ в единое корпоративное хранилище. Нацелен на достижение результата с развитием долговременных отношений в команде.
Отзывы (9)
Очень полезный тренинг. Участвую в проекте смежном с разработкой хранилищ данных уже 2 года. Многие вещи я уже знала, но тренинг позволил мне систематизировать имеющиеся знания, понять структуру подобных проектов - как они должны быть организованы. Самым полезным были ссылки на источники информации по теме и другие полезные материалы, которые можно использовать в работе. Спасибо!
Тренинг понравился. Материал подан доходчиво и понятно. Были, конечно, моменты, когда тренер уходил в технические детали, и мне становилось сложно следить за ходом мысли. Но, думаю, причиной этому была собравшаяся аудитория – технические специалисты. Манера чтения тренинга очень понравилась: видно, что тренер сам увлечен темой, имеет богатый опыт, занимается любимым делом.
Больше всего понравились материалы про эволюцию хранилищ данных, BI, а также преимущества и недостатки этого инструмента. Ещё один плюс – информация о различных аспектах архитектуры хранилища данных, которую тренер представил нам на практических примерах и упражнениях, это очень полезно для начинающих специалистов.
Понравилось всё, поскольку были пробелы в данной области. Новые вещи - BI, особенный подход к анализу проблемы - понравилось, что как таковых требований по новой сфере - медицина - не было и необходимо было в моменте продумывать подходы по ХД для нашего «заказчика». Понравилась высокая прикладная полезность. Есть то, чего раньше не знала и узнала первый раз именно на курсе. Спасибо!
Отличный курс для тех, кто хочет погрузиться в основы хранилищ данных. Материал был хороший и интересный, много примеров, которые помогли мне лучше понять различные концепции. Отдельное спасибо хочется сказать тренеру. После обучения мне захотелось сузить направление своей работы – сконцентрироваться в области хранилищ данных. Настолько заразительно и интересно нам рассказывали этот курс.
Больше всего порадовал объем информации, интересные кейсы, структурированная подача, полезный верхнеуровневый обзор тематики, интересный инструмент для ER диаграммы в домашнем задании, информация об общей архитектуре DWH, подходах и нюансах проектирования и высокая квалификация тренера. Полезным было повышение экспертизы в связанных с профессиональной деятельностью вопросах. В общем –понятно, доступно и по теме.
Впечатления положительные. Наиболее полезное: четкое понимание возможных подходов к построению систем; архитектура решений; методология процессов внедрения.
Все понравилось. Отличный тренинг. Компетентный тренер. Полученная информация позволит более полно проявить свои профессиональные качества для целей отдела и в целом компании.
Общее впечатление исключительно положительное. Основы терминологии в области КХДб подходы и организации процесса реализации данного проекта.
Связанные курсы
Современные подходы к управлению данными
Этот курс представляет обзор современных способов хранения данных, в том числе хранилищ ключ-значение, документно-ориентированных и потоковых систем управления базами данных, систем распределенного хранения и обработки данных.
Онлайн:
03.02.2025 - 06.02.2025
Основы Hadoop
Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластере и сопутствующими проектами, входящими в экосистему Hadoop: Hive, Spark, HBase.
Онлайн:
09.12.2024 - 13.12.2024
Онлайн:
23.12.2024 - 25.12.2024
BigData SQL: Hive
В курсе изучаются основы архитектуры Hive , разработка скриптов по загрузке, трансформации и выгрузке данных. Рассматриваются все необходимые технические подробности. Конфигурирование и настройки производительности.
Онлайн:
16.12.2024 - 17.12.2024
Основы Kafka
Вводный тренинг по Apache Kafka – платформе распределенной потоковой передачи событий с открытым исходным кодом. Рассматриваются архитектурные особенности Kafka, обеспечивающие высокопроизводительную доставку данных.
Онлайн:
11.03.2025 - 27.03.2025
