Современные подходы к управлению данными
Длительность
16 ак.ч.
Локация
Онлайн
Код
EAS-011
23.10.2023 - 26.10.2023
27 900 руб.
* Для физических лиц действует скидка 10% Закажите корпоративное обучение с учетом ваших потребностей
Описание
При проектировании приложений одним из важных решений является выбор способа хранения данных. Несколько десятилетий реляционные СУБД были первым и единственным вариантом, проекты отличались только степенью нормализации, местом размещения бизнес логики и т.д. Последние же десять-пятнадцать лет бурно расцвели альтернативные системы – от объектно-ориентированных и документно-ориентированных СУБД до распределенных файловых систем и систем обработки потоков данных. В курсе рассматривается спектр современных решений, позволяющих долгосрочно надежно хранить данные, причины возникновения решений разных классов, их достоинства, недостатки и предпочтительные способы использования.
После прохождения курса выдается
удостоверение о повышении квалификации государственного образца
удостоверение о повышении квалификации государственного образца
Цели
После завершения обучения слушатели смогут:
- понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными;
- знать возможности и ограничения современных реляционных и нереляционных систем управления данными;
- уметь анализировать требования при выборе систем управления данными.
Целевая аудитория
Архитекторы, разработчики приложений, аналитики, администраторы баз данных.
Разбираемые темы
-
1. Эволюция подходов к хранению данных (теория – 2 ч)
- Базы данных, хранилища данных, машины баз данных, массово-параллельные архитектуры, гиперконвергенция.
-
2. Реляционная модель (теория – 2 ч)
- Какие проблемы решает, за счет чего.
- Репликация, шардинг, распределенные транзакции.
-
3. Минимальная модель "Ключ-значение" (теория – 1 ч, практика – 1 ч)
- Варианты структуры ключа, варианты структуры значения, программные интерфейсы.
- Эффективность применения нереляционных баз данных: необходимые и достаточные условия [Cassandra, HBase].
-
4. Документно-ориентированная модель [MongoDB] (теория – 0,5 ч, практика – 0,5 ч)
- Варианты архитектур, форматы файлов, ограничения, транзакции [Hive, Spark, Spark SQL, Parquet, ORC].
-
5. Распределенные файловые системы вместо моделей данных: архитектура кластера [HDFS] (теория – 1 ч, практика – 1 ч)
- Hazelcast, Ignite, Tarantool.
-
6. SQL поверх распределенных файловых систем (теория – 1 ч, практика – 2 ч)
-
7. Распределенные системы хранения данных в оперативной памяти (теория – 1 ч)
-
8. Распределенные OLAP-системы [Clickhouse, Druid] (теория – 1 ч)
-
9. Обработка потоков данных [Spark Streaming] (теория – 1 ч)
-
10. Самонастраиваемые и автономные базы данных (теория – 1 ч)
Раcписание курсов
Вид:
Тренеры
Брейман Александр
Эксперт в области разработки и архитектуры ПО
С 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой программного обеспечения.
С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.
Александр – кандидат технических наук, доцент. С 1991 г. занимается разработкой информационных и коммуникационных систем, за это время прошел путь от программиста до начальника отдела информационных систем.
С 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой программного обеспечения.
С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.
О проектах:
Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.
Среди его кейсов работа в ЗАО «ТИТАН МЕТА», Московском государственном университете приборостроения и информатики, Национальном исследовательском университете «Высшая школа экономики» и Luxoft Training.
Курсы, сертификаты, членство в профессиональных организациях:
2009 г. — повышение квалификации в Московском государственном университете приборостроения и информатики по программе «Информационная компетентность в профессиональной деятельности преподавателя вуза».
2011 г. — повышение квалификации в Информационно-Вычислительном Центре Московского энергетического института (технического университета) по программе «Современные технологии построения баз данных на примере Microsoft SQL Server 2008. Web-приложения и современные средства разработки. Современные технологии построения компьютерных сетей с использованием Microsoft Windows Server 2008 R2».
Александр является членом организаций:
-
IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
-
ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).
Отзывы (6)
У меня осталось очень хорошее впечатление от курса. Хороший обзор современных средств данной области. Великолепная подача материала. Наиболее полезным и интересным для меня оказалась информация о BI-системах и таких направлениях, как DW, DataMining и Machine Learning.
Впечатление положительное. Понравилась хорошая организация курса, что тренер сразу же отвечал на параллельно возникающие вопросы. Упор сделан не на математику, а на готовые программные библиотеки. Наиболее полезными оказались практические примеры. Емкий обзор актуального технического стека. Реальные примеры использования технологий и личный опыт лектора. Спасибо.
Очень интересный курс. Много полезной информации. Спасибо тренеру за полноту и точность информации. Появилось больше понимания построения распределительных систем: как оно "внутри" работает. Map reduce!
Очень интересное содержание курса, актуальные темы. Отличная подача материала, с примерами из жизни. Компетентный и увлеченный преподаватель. Особенно полезно: NoSQL, Hadoop.
В ходе данного тренинга для меня оказались полезны все темы. Тренер качественно и понятно разложил и систематизировал информацию об управлении данными, привел понятные use cases. Интересно было и обсуждение кейсов из опыта тренера и коллег.
Неплохой курс, могу его рекомендовать. Больше всего понравились материалы, в частности о том, как БД произошли друг от друга, но наиболее полезными для меня оказались инструменты для потокового анализа данных.
Связанные курсы
Основы Hadoop
Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластере и сопутствующими проектами, входящими в экосистему Hadoop: Hive, Spark, HBase.
Онлайн:
16.10.2023 - 20.10.2023
Основы Apache Spark
Этот тренинг дает представление об основных понятиях фреймворка Apache Spark и методах его использования для разработки приложений, обрабатывающих данные. Мы рассмотрим применение этого фреймворка для автоматической генерации кода и его распределенного выполнения. Слушатели научатся работать с файлами данных в различных форматах (CSV, Json, Avro, Parquet) в приложениях на Spark, используя SQL и DataFrame. Кроме того, речь пойдет о загрузке данных с внешних хранилищ и во внешние хранилища, такие как Cassandra, Kafka, Postgres и S3. Практические упражнения выполняются на языке Python с использованием веб-ноутбуков Jupyter.
MongoDB для программистов
Курс дает представление об основах СУБД MongoDB и методах разработки приложений, хранящих и обрабатывающих данные на его основе. Рассматриваются базовые возможности сохранения, извлечения и поиска документов (CRUD), способы формирования поисковых запросов, в том числе с использованием конвейеров Aggregation Framework и Map/Reduce.
