Популярные курсы по направлению Современные методы управления данными
Big Data – «новая нефть» или головная боль копаний, не готовых работать с большими объемами данных. Обработка, анализ терабайтов данных и автоматизирование инструментов для их управления, требует от архитекторов и разработчиков определенный пул умений. Мы проанализировали самые популярные курсы по направлению «Современные методы управления данными» и составили топ, который поможет вам стать гуру Dig Data.
1. Основы Apache Spark (EAS-017) – 26 ак. ч.
Apache Spark – популярный фреймворк с открытым исходным кодом, созданный для сложных вычислений и обработки большого количества данных. Его использование позволяет написать логику обработки данных на SQL без использования кода или запустить приложение, работающие с терабайтами данных. Но для использования преимуществ Spark недостаточно развернуть кластер и написать запросы для SQL. Разработчики должны понимать, что происходит во внутренней структуре, иначе возникнут проблемы с производительностью системы.Чтобы было проще погрузиться в Apache Spark, мы создали курс, ориентированный на разработчиков и аналитиков, которые только начинают знакомство с фреймворком Spark, но не ограничивается базовыми понятиями.
В рамках курса слушатели:
-
познакомятся с основными концепциями и архитектурой Spark;
-
научатся создавать табличные запросы, используя Spark SQL и DataFrame Python API;
-
начнут разрабатывать программы обработки данных как последовательности преобразований RDD
- научатся загружать данные для обработки Spark из систем JDBC, Kafka, Cassandra и сохранять полученные результаты во внешних хранилищах данных.

2. Основы хранилищ данных (EAS-004) – 24 ак. ч.
Получите представление о роли хранилища данных и научитесь самостоятельно разрабатывать концептуальную и физическую ER-диаграмму на курсе «Основы хранилищ данных».
Хранилище данных (Data Warehouse) – это система, в которой собрана информация о компании, используемая для принятия управленческих решений. Базы данных постоянно совершенствуются и меняются, поэтому аналитики данных и инженеры не работают с СУДБ с нуля, а используют готовые решения, ускоряющие процессы. Для специалистов это значит, что им не нужно глубоко погружаться в программирование, а для компании – это отличная возможность избежать тяжело масштабируемые решения. Но прежде чем начать работать с базами данных, нужно изучить основы этой темы.
В рамках курса вы:
-
познакомитесь с основными понятиями и задачами, возникающими при создании хранилищ данных;
-
поймете, как цели влияют на выбор архитектуры и к каким последствиям может привести недостаточное внимание к компонентам;
-
составите представление о ролях и влиянии участников команды на результат;
-
освоите все этапы жизненного цикла DWH от проектирования к внедрению, эксплуатации и выведению из сопровождения;
-
научитесь избегать типовые ошибки при создании хранилищ и освоить методы и практики для успешного сопровождения хранилищ данных;
-
научитесь принимать архитектурные решения на этапе проектирования хранилища;
-
научитесь самостоятельно разрабатывать концептуальную и физическую ER-диаграммы хранилища.
3. Современные подходы к управлению данными (EAS-011) – 16 ак. ч.
Для принятия корпоративных решений большое значение имеет управление данными. Управление данными – это сложный процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением и поиском данных. Существует несколько подходов к управлению данными, но не все из них актуальны в наши дни.
Команда IBS Training Center подготовила обзор современных способов хранения данных, в том числе хранилищ ключ-значение, документно-ориентированных и потоковых систем управления базами данных, систем распределенного хранения и обработки данных.
После завершения обучения слушатели:
-
начнут понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными;
-
узнают возможности и ограничения современных реляционных и нереляционных систем управления данными;
-
научатся анализировать требования при выборе систем управления данными.

4. Основы Hadoop (EAS-015) – 24 ак. ч.
Чем больше бизнес, тем больше информации нужно для его функционирования. Информация о клиентах, сотрудниках, финансах, транзакциях – все это часть жизни крупных компаний. Эти данные нужно не только хранить и обрабатывать, но и анализировать. Справится с этой непростой задачей поможет Apache Hadoop. Это открытый набор утилит, библиотек и фреймворк для разработки и развертывания программ, работающих с большим количеством данных. Другими словами, это технология хранения и обработки для Big Data. Несмотря на популярность, Hadoop нередко отпугивает новичков своим сложным интерфейсом и кривой обучения.
Тренинг, о котором пойдет речь дальше, дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластере и сопутствующими проектами, входящими в экосистему Hadoop: Hive, Spark, HBase.
В рамках обучения будут разобраны и другие темы:
-
основные концепции современной архитектуры данных;
-
как подключиться к кластеру;
-
как работать с файловой системой из shell и Hue;
-
что такое парадигма MapReduce и как реализовать ее на Java и в Hadoop Streaming;
-
как запустить приложения и наблюдение за кластером через UI;
-
что такое потоковая обработка данных и др.
Работа с Hadoop невозможна без практики, поэтому, мы подготовили для участников упражнения, тесты и кейсы, которые помогут быстрее освоить этот инструмент.

5. MongoDB для программистов (EAS-018) – 24 ак. ч.
MongoDB – NoSQL-система, написанная на языке C++. Прозрачность, высокий уровень масштабируемости и сегментированность, официальные драйвера для разных языков, поддержка шардирования, репликации, ad-hoc-запросов, индексов – вот ключевые преимущества MongoDB. Благодаря им MongoDB подходит для множества задач: хранения информации о событиях, работы с документами и данными мониторинга, разработки приложений и игр. Хотите узнать, как используют базы данных NoSQL, в чем они превосходят SQL СУБД и какие еще задачи решает MongoDB? Регистрируйтесь!
Курс «MongoDB для программистов» дает представление об основах СУБД MongoDB и методах разработки приложений, хранящих и обрабатывающих данные на его основе. Рассматриваются базовые возможности сохранения, извлечения и поиска документов (CRUD), способы формирования поисковых запросов, в том числе с использованием конвейеров Aggregation Framework и Map/Reduce.
Под руководством опытного тренера вы:
-
изучите ключевые концепции и архитектуру MongoDB;
-
научитесь сохранять данные в виде коллекций документов;
-
научитесь искать документы в коллекциях, в том числе с использованием Aggregation Framework и Map/Reduce;
-
поймете специфику моделирования данных для MongoDB;
-
научитесь создавать и использовать индексы;
-
изучите принципы репликации и шардирования;
-
познакомитесь с принципами разграничения доступа.

6. Основы Kafka (EAS-026) – 24 ак. ч.
Apache Kafka – платформа распределенной потоковой передачи событий с открытым исходным кодом. Kafka позволяет хранить, обрабатывать и доставлять большие объемы данных в режиме реального времени.
В рамках практического курса от IBS Training Center вы:
-
научитесь отправлять и получать сообщения из Java- и REST-клиентов;
-
узнаете, какие варианты конфигураций нужны для достижения требуемых характеристик доставки сообщений;
-
рассмотрите настройку нескольких кластеров для одного приложения;
-
узнаете, как Kafka Connect позволяет решать общие задачи копирования данных между Kafka и внешними системами;
-
поймете, почему во многих случаях хорошим способом создания быстрых и устойчивых решений для потоковой обработки является Kafka Streams.
Расскажи друзьям: