Современные подходы к управлению данными
Длительность
16 ак.ч.
Локация
Онлайн
Код
EAS-011
05.08.2024 - 14.08.2024
29 900 руб.
* Для физических лиц действует скидка 10% Закажите корпоративное обучение с учетом ваших потребностей
Описание
При проектировании приложений одним из важных решений является выбор способа хранения данных. Несколько десятилетий реляционные СУБД были первым и единственным вариантом, проекты отличались только степенью нормализации, местом размещения бизнес логики и т.д. Последние же десять-пятнадцать лет бурно расцвели альтернативные системы – от объектно-ориентированных и документно-ориентированных СУБД до распределенных файловых систем и систем обработки потоков данных. В курсе рассматривается спектр современных решений, позволяющих долгосрочно надежно хранить данные, причины возникновения решений разных классов, их достоинства, недостатки и предпочтительные способы использования.
После прохождения курса выдается
удостоверение о повышении квалификации государственного образца
удостоверение о повышении квалификации государственного образца
Цели
После завершения обучения слушатели смогут:
- понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными;
- знать возможности и ограничения современных реляционных и нереляционных систем управления данными;
- уметь анализировать требования при выборе систем управления данными.
Целевая аудитория
Архитекторы, разработчики приложений, аналитики, администраторы баз данных.
Разбираемые темы
-
Тема 1. Эволюция подходов к хранению данных: базы данных, хранилища данных, машины баз данных, массово-параллельные архитектуры, гиперконвергенция (теория – 2 ч.)
-
Тема 2. Реляционная модель: какие проблемы решает, за счет чего; репликация, шардинг, распределенные транзакции (теория – 2 ч.)
-
Тема 3. Минимальная модель "Ключ-значение": варианты структуры ключа, варианты структуры значения, программные интерфейсы. Эффективность применения нереляционных баз данных: необходимые и достаточные условия [Cassandra, HBase] (теория – 1 ч., практика – 1 ч.)
-
Тема 4. Документно-ориентированная модель [MongoDB] (теория – 0,5 ч., практика – 0,5 ч.)
-
Тема 5. Распределенные файловые системы вместо моделей данных: архитектура кластера.[HDFS] (теория – 1 ч., практика – 1 ч.)
-
Тема 6. SQL поверх распределенных файловых систем: варианты архитектур, форматы файлов, ограничения, транзакции [Hive, Spark, Spark SQL, Parquet, ORC] (теория – 1 ч., практика – 2 ч.)
-
Тема 7. Распределенные системы хранения данных в оперативной памяти [Hazelcast, Ignite, Tarantool] (теория – 1 ч.)
-
Тема 8. Распределенные OLAP-системы [Clickhouse, Druid] (теория – 1 ч.)
-
Тема 9. Обработка потоков данных [Spark Streaming] (теория – 1 ч.)
-
Тема 10. Самонастраиваемые и автономные базы данных (теория – 1 ч.)
-
Теория – 11,5 ч. (72%), практика – 4,5 ч. (28%)
Раcписание курсов
Вид:
Тренеры
Заигрин Вадим
Специалист в области BigData
О проектах
В рамках своей профессиональной деятельности занимался:- развертыванием, управлением и программированием Apache Hadoop, Spark, Kafka и Greenplum;
- разработкой моделей машинного обучения в Spark и внедрение их в производство;
- разработкой интеграции Apache Hadoop с СУБД и СХД;
- разработкой и программированием решений на Google Cloud Platform и Яндекс.Облаке;
- разработкой информационной безопасности для Apache Hadoop с Ranger и Atlas;
- программированием на Scala, Java, Python, R, SQL, Go, C и Lisp.
Отзывы (6)
У меня осталось очень хорошее впечатление от курса. Хороший обзор современных средств данной области. Великолепная подача материала. Наиболее полезным и интересным для меня оказалась информация о BI-системах и таких направлениях, как DW, DataMining и Machine Learning.
Впечатление положительное. Понравилась хорошая организация курса, что тренер сразу же отвечал на параллельно возникающие вопросы. Упор сделан не на математику, а на готовые программные библиотеки. Наиболее полезными оказались практические примеры. Емкий обзор актуального технического стека. Реальные примеры использования технологий и личный опыт лектора. Спасибо.
Очень интересный курс. Много полезной информации. Спасибо тренеру за полноту и точность информации. Появилось больше понимания построения распределительных систем: как оно "внутри" работает. Map reduce!
Очень интересное содержание курса, актуальные темы. Отличная подача материала, с примерами из жизни. Компетентный и увлеченный преподаватель. Особенно полезно: NoSQL, Hadoop.
В ходе данного тренинга для меня оказались полезны все темы. Тренер качественно и понятно разложил и систематизировал информацию об управлении данными, привел понятные use cases. Интересно было и обсуждение кейсов из опыта тренера и коллег.
Неплохой курс, могу его рекомендовать. Больше всего понравились материалы, в частности о том, как БД произошли друг от друга, но наиболее полезными для меня оказались инструменты для потокового анализа данных.
Связанные курсы
Основы Hadoop
Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластере и сопутствующими проектами, входящими в экосистему Hadoop: Hive, Spark, HBase.
Основы Apache Spark
Этот тренинг дает представление об основных понятиях фреймворка Apache Spark и методах его использования для разработки приложений, обрабатывающих данные. Мы рассмотрим применение этого фреймворка для автоматической генерации кода и его распределенного выполнения. Слушатели научатся работать с файлами данных в различных форматах (CSV, Json, Avro, Parquet) в приложениях на Spark, используя SQL и DataFrame. Кроме того, речь пойдет о загрузке данных с внешних хранилищ и во внешние хранилища, такие как Cassandra, Kafka, Postgres и S3. Практические упражнения выполняются на языке Python с использованием веб-ноутбуков Jupyter.
MongoDB для программистов
Курс дает представление об основах СУБД MongoDB и методах разработки приложений, хранящих и обрабатывающих данные на его основе. Рассматриваются базовые возможности сохранения, извлечения и поиска документов (CRUD), способы формирования поисковых запросов, в том числе с использованием конвейеров Aggregation Framework и Map/Reduce.
