О чём курс
При проектировании приложений одним из важных решений является выбор способа хранения данных. Несколько десятилетий реляционные СУБД были первым и единственным вариантом, проекты отличались только степенью нормализации, местом размещения бизнес логики и т.д. Последние же десять-пятнадцать лет бурно расцвели альтернативные системы – от объектно-ориентированных и документно-ориентированных СУБД до распределенных файловых систем и систем обработки потоков данных. В курсе рассматривается спектр современных решений, позволяющих долгосрочно надежно хранить данные, причины возникновения решений разных классов, их достоинства, недостатки и предпочтительные способы использования.
Цели
После завершения обучения слушатели смогут:
- понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными;
- знать возможности и ограничения современных реляционных и нереляционных систем управления данными;
- уметь анализировать требования при выборе систем управления данными.
Целевая аудитория
Архитекторы, разработчики приложений, аналитики, администраторы баз данных.
Темы курса
01
Тема 1. Эволюция подходов к хранению данных: базы данных, хранилища данных, машины баз данных, массово-параллельные архитектуры, гиперконвергенция (теория – 2 ч.)
02
Тема 2. Реляционная модель: какие проблемы решает, за счет чего; репликация, шардинг, распределенные транзакции (теория – 2 ч.)
03
Тема 3. Минимальная модель "Ключ-значение": варианты структуры ключа, варианты структуры значения, программные интерфейсы. Эффективность применения нереляционных баз данных: необходимые и достаточные условия [Cassandra, HBase] (теория – 1 ч., практика – 1 ч.)
04
Тема 4. Документно-ориентированная модель [MongoDB] (теория – 0,5 ч., практика – 0,5 ч.)
05
Тема 5. Распределенные файловые системы вместо моделей данных: архитектура кластера.[HDFS] (теория – 1 ч., практика – 1 ч.)
06
Тема 6. SQL поверх распределенных файловых систем: варианты архитектур, форматы файлов, ограничения, транзакции [Hive, Spark, Spark SQL, Parquet, ORC] (теория – 1 ч., практика – 2 ч.)
07
Тема 7. Распределенные системы хранения данных в оперативной памяти [Hazelcast, Ignite, Tarantool] (теория – 1 ч.)
08
Тема 8. Распределенные OLAP-системы [Clickhouse, Druid] (теория – 1 ч.)
09
Тема 9. Обработка потоков данных [Spark Streaming] (теория – 1 ч.)
10
Тема 10. Самонастраиваемые и автономные базы данных (теория – 1 ч.)
11
Теория – 11,5 ч. (72%), практика – 4,5 ч. (28%)
Ведущий курса
Брейман Александр
Эксперт в области разработки и архитектуры ПО
Middle
О проектах
Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.
Среди его кейсов работа в ЗАО «ТИТАН МЕТА», Московском государственном университете приборостроения и информатики, Национальном исследовательском университете «Высшая школа экономики» и Luxoft Training.
Курсы и сертификаты
Александр является членом организаций:
- IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
- ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).
Записаться на курс
31 400 ₽
28 260 ₽ — для физ. лиц
Юр. лицо — 31 400 ₽
Физ. лицо — 28 260 ₽
03.02.2025, Онлайн
03.02.2025, Онлайн
Открытая дата
Отзывы о курсе
Отзывы учеников
У меня осталось очень хорошее впечатление от курса. Хороший обзор современных средств данной области. Великолепная подача материала. Наиболее полезным и интересным для меня оказалась информация о BI-системах и таких направлениях, как DW, DataMining и Machine Learning.
Впечатление положительное. Понравилась хорошая организация курса, что тренер сразу же отвечал на параллельно возникающие вопросы. Упор сделан не на математику, а на готовые программные библиотеки. Наиболее полезными оказались практические примеры. Емкий обзор актуального технического стека. Реальные примеры использования технологий и личный опыт лектора. Спасибо.
Очень интересный курс. Много полезной информации. Спасибо тренеру за полноту и точность информации. Появилось больше понимания построения распределительных систем: как оно "внутри" работает. Map reduce!
Очень интересное содержание курса, актуальные темы. Отличная подача материала, с примерами из жизни. Компетентный и увлеченный преподаватель. Особенно полезно: NoSQL, Hadoop.
В ходе данного тренинга для меня оказались полезны все темы. Тренер качественно и понятно разложил и систематизировал информацию об управлении данными, привел понятные use cases. Интересно было и обсуждение кейсов из опыта тренера и коллег.
Неплохой курс, могу его рекомендовать. Больше всего понравились материалы, в частности о том, как БД произошли друг от друга, но наиболее полезными для меня оказались инструменты для потокового анализа данных.
Связанные курсы
EAS-015
24 часа
Основы Hadoop
Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластере и сопутствующими проектами, входящими в экосистему Hadoop: Hive, Spark, HBase.
от Middle
44 000 ₽
EAS-016
8 часов
BigData SQL: Hive
В курсе изучаются основы архитектуры Hive , разработка скриптов по загрузке, трансформации и выгрузке данных. Рассматриваются все необходимые технические подробности. Конфигурирование и настройки производительности.
от Middle
15 600 ₽
EAS-017
26 часов
Основы Apache Spark
Этот тренинг дает представление об основных понятиях фреймворка Apache Spark и методах его использования для разработки приложений, обрабатывающих данные. Мы рассмотрим применение этого фреймворка для автоматической генерации кода и его распределенного выполнения. Слушатели научатся работать с файлами данных в различных форматах (CSV, Json, Avro, Parquet) в приложениях на Spark, используя SQL и DataFrame. Кроме того, речь пойдет о загрузке данных с внешних хранилищ и во внешние хранилища, такие как Cassandra, Kafka, Postgres и S3. Практические упражнения выполняются на языке Python с использованием веб-ноутбуков Jupyter.
от Middle
47 300 ₽
EAS-018
24 часа
MongoDB для программистов
Курс дает представление об основах СУБД MongoDB и методах разработки приложений, хранящих и обрабатывающих данные на его основе. Рассматриваются базовые возможности сохранения, извлечения и поиска документов (CRUD), способы формирования поисковых запросов, в том числе с использованием конвейеров Aggregation Framework и Map/Reduce.
от Middle
48 000 ₽
Наши ученики работают в:
Наши клиенты
