Современные подходы к управлению данными
Длительность
16 ак.ч.
Локация
Онлайн
Код
EAS-011
03.02.2025 - 06.02.2025
29 900 руб.
* Для физических лиц действует скидка 10% Закажите корпоративное обучение с учетом ваших потребностей
Описание
При проектировании приложений одним из важных решений является выбор способа хранения данных. Несколько десятилетий реляционные СУБД были первым и единственным вариантом, проекты отличались только степенью нормализации, местом размещения бизнес логики и т.д. Последние же десять-пятнадцать лет бурно расцвели альтернативные системы – от объектно-ориентированных и документно-ориентированных СУБД до распределенных файловых систем и систем обработки потоков данных. В курсе рассматривается спектр современных решений, позволяющих долгосрочно надежно хранить данные, причины возникновения решений разных классов, их достоинства, недостатки и предпочтительные способы использования.
После прохождения курса выдается
удостоверение о повышении квалификации государственного образца
удостоверение о повышении квалификации государственного образца
Цели
После завершения обучения слушатели смогут:
- понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными;
- знать возможности и ограничения современных реляционных и нереляционных систем управления данными;
- уметь анализировать требования при выборе систем управления данными.
Целевая аудитория
Архитекторы, разработчики приложений, аналитики, администраторы баз данных.
Разбираемые темы
-
Тема 1. Эволюция подходов к хранению данных: базы данных, хранилища данных, машины баз данных, массово-параллельные архитектуры, гиперконвергенция (теория – 2 ч.)
-
Тема 2. Реляционная модель: какие проблемы решает, за счет чего; репликация, шардинг, распределенные транзакции (теория – 2 ч.)
-
Тема 3. Минимальная модель "Ключ-значение": варианты структуры ключа, варианты структуры значения, программные интерфейсы. Эффективность применения нереляционных баз данных: необходимые и достаточные условия [Cassandra, HBase] (теория – 1 ч., практика – 1 ч.)
-
Тема 4. Документно-ориентированная модель [MongoDB] (теория – 0,5 ч., практика – 0,5 ч.)
-
Тема 5. Распределенные файловые системы вместо моделей данных: архитектура кластера.[HDFS] (теория – 1 ч., практика – 1 ч.)
-
Тема 6. SQL поверх распределенных файловых систем: варианты архитектур, форматы файлов, ограничения, транзакции [Hive, Spark, Spark SQL, Parquet, ORC] (теория – 1 ч., практика – 2 ч.)
-
Тема 7. Распределенные системы хранения данных в оперативной памяти [Hazelcast, Ignite, Tarantool] (теория – 1 ч.)
-
Тема 8. Распределенные OLAP-системы [Clickhouse, Druid] (теория – 1 ч.)
-
Тема 9. Обработка потоков данных [Spark Streaming] (теория – 1 ч.)
-
Тема 10. Самонастраиваемые и автономные базы данных (теория – 1 ч.)
-
Теория – 11,5 ч. (72%), практика – 4,5 ч. (28%)
Раcписание курсов
Вид:
Тренеры
Брейман Александр
Эксперт в области разработки и архитектуры ПО
С 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой программного обеспечения.
С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.
Александр – кандидат технических наук, доцент. С 1991 г. занимается разработкой информационных и коммуникационных систем, за это время прошел путь от программиста до начальника отдела информационных систем.
С 1994 г. преподает дисциплины, связанные с управлением данными, проектированием информационных систем и разработкой программного обеспечения.
С 2014 г. Александр является штатным экспертом Luxoft Training по направлению «Разработка и архитектура ПО, СУБД Oracle», где занимается проведением тренингов, разработкой тренинговых программ и развитием данного направления.
О проектах:
Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.
Среди его кейсов работа в ЗАО «ТИТАН МЕТА», Московском государственном университете приборостроения и информатики, Национальном исследовательском университете «Высшая школа экономики» и Luxoft Training.
Курсы, сертификаты, членство в профессиональных организациях:
2009 г. — повышение квалификации в Московском государственном университете приборостроения и информатики по программе «Информационная компетентность в профессиональной деятельности преподавателя вуза».
2011 г. — повышение квалификации в Информационно-Вычислительном Центре Московского энергетического института (технического университета) по программе «Современные технологии построения баз данных на примере Microsoft SQL Server 2008. Web-приложения и современные средства разработки. Современные технологии построения компьютерных сетей с использованием Microsoft Windows Server 2008 R2».
2024 г. — Сертифицированный тренер PostgreSQL по курсу DBA1 «Администрирование PostgreSQL 13. Базовый уровень».
Александр является членом организаций:
-
IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
-
ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).
Отзывы (6)
У меня осталось очень хорошее впечатление от курса. Хороший обзор современных средств данной области. Великолепная подача материала. Наиболее полезным и интересным для меня оказалась информация о BI-системах и таких направлениях, как DW, DataMining и Machine Learning.
Впечатление положительное. Понравилась хорошая организация курса, что тренер сразу же отвечал на параллельно возникающие вопросы. Упор сделан не на математику, а на готовые программные библиотеки. Наиболее полезными оказались практические примеры. Емкий обзор актуального технического стека. Реальные примеры использования технологий и личный опыт лектора. Спасибо.
Очень интересный курс. Много полезной информации. Спасибо тренеру за полноту и точность информации. Появилось больше понимания построения распределительных систем: как оно "внутри" работает. Map reduce!
Очень интересное содержание курса, актуальные темы. Отличная подача материала, с примерами из жизни. Компетентный и увлеченный преподаватель. Особенно полезно: NoSQL, Hadoop.
В ходе данного тренинга для меня оказались полезны все темы. Тренер качественно и понятно разложил и систематизировал информацию об управлении данными, привел понятные use cases. Интересно было и обсуждение кейсов из опыта тренера и коллег.
Неплохой курс, могу его рекомендовать. Больше всего понравились материалы, в частности о том, как БД произошли друг от друга, но наиболее полезными для меня оказались инструменты для потокового анализа данных.
Связанные курсы
Основы Hadoop
Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластере и сопутствующими проектами, входящими в экосистему Hadoop: Hive, Spark, HBase.
Онлайн:
09.12.2024 - 13.12.2024
Онлайн:
23.12.2024 - 25.12.2024
BigData SQL: Hive
В курсе изучаются основы архитектуры Hive , разработка скриптов по загрузке, трансформации и выгрузке данных. Рассматриваются все необходимые технические подробности. Конфигурирование и настройки производительности.
Онлайн:
16.12.2024 - 17.12.2024
Основы Apache Spark
Этот тренинг дает представление об основных понятиях фреймворка Apache Spark и методах его использования для разработки приложений, обрабатывающих данные. Мы рассмотрим применение этого фреймворка для автоматической генерации кода и его распределенного выполнения. Слушатели научатся работать с файлами данных в различных форматах (CSV, Json, Avro, Parquet) в приложениях на Spark, используя SQL и DataFrame. Кроме того, речь пойдет о загрузке данных с внешних хранилищ и во внешние хранилища, такие как Cassandra, Kafka, Postgres и S3. Практические упражнения выполняются на языке Python с использованием веб-ноутбуков Jupyter.
Онлайн:
17.03.2025 - 19.03.2025
MongoDB для программистов
Курс дает представление об основах СУБД MongoDB и методах разработки приложений, хранящих и обрабатывающих данные на его основе. Рассматриваются базовые возможности сохранения, извлечения и поиска документов (CRUD), способы формирования поисковых запросов, в том числе с использованием конвейеров Aggregation Framework и Map/Reduce.
Онлайн:
10.03.2025 - 14.03.2025
