Big Data – «новая нефть» или головная боль копаний, не готовых работать с большими объемами данных. Обработка, анализ терабайтов данных и автоматизирование инструментов для их управления, требует от архитекторов и разработчиков определенный пул умений. Мы проанализировали самые популярные курсы по направлению «Современные методы управления данными» и составили топ, который поможет вам стать гуру Dig Data.

1. Основы Apache Spark (EAS-017) – 26 ак. ч.

Apache Spark – популярный фреймворк с открытым исходным кодом, созданный для сложных вычислений и обработки большого количества данных. Его использование позволяет написать логику обработки данных на SQL без использования кода или запустить приложение, работающие с терабайтами данных. Но для использования преимуществ Spark недостаточно развернуть кластер и написать запросы для SQL. Разработчики должны понимать, что происходит во внутренней структуре, иначе возникнут проблемы с производительностью системы.

Чтобы было проще погрузиться в Apache Spark, мы создали курс, ориентированный на разработчиков и аналитиков, которые только начинают знакомство с фреймворком Spark, но не ограничивается базовыми понятиями.

В рамках курса слушатели:

• познакомятся с основными концепциями и архитектурой Spark;

• научатся создавать табличные запросы, используя Spark SQL и DataFrame Python API;

• начнут разрабатывать программы обработки данных как последовательности преобразований RDD

• научатся загружать данные для обработки Spark из систем JDBC, Kafka, Cassandra и сохранять полученные результаты во внешних хранилищах данных.
  

2. Основы хранилищ данных (EAS-004) – 24 ак. ч.

Получите представление о роли хранилища данных и научитесь самостоятельно разрабатывать концептуальную и физическую ER-диаграмму на курсе «Основы хранилищ данных».

Хранилище данных (Data Warehouse) – это система, в которой собрана информация о компании, используемая для принятия управленческих решений. Базы данных постоянно совершенствуются и меняются, поэтому аналитики данных и инженеры не работают с СУДБ с нуля, а используют готовые решения, ускоряющие процессы. Для специалистов это значит, что им не нужно глубоко погружаться в программирование, а для компании – это отличная возможность избежать тяжело масштабируемые решения. Но прежде чем начать работать с базами данных, нужно изучить основы этой темы.

В рамках курса вы:

• познакомитесь с основными понятиями и задачами, возникающими при создании хранилищ данных;

• поймете, как цели влияют на выбор архитектуры и к каким последствиям может привести недостаточное внимание к компонентам;

• составите представление о ролях и влиянии участников команды на результат;

• освоите все этапы жизненного цикла DWH от проектирования к внедрению, эксплуатации и выведению из сопровождения;

• научитесь избегать типовые ошибки при создании хранилищ и освоить методы и практики для успешного сопровождения хранилищ данных;

• научитесь принимать архитектурные решения на этапе проектирования хранилища;

• научитесь самостоятельно разрабатывать концептуальную и физическую ER-диаграммы хранилища.

3. Современные подходы к управлению данными (EAS-011) – 16 ак. ч.

Для принятия корпоративных решений большое значение имеет управление данными. Управление данными – это сложный процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением и поиском данных. Существует несколько подходов к управлению данными, но не все из них актуальны в наши дни.

Команда IBS Training Center подготовила обзор современных способов хранения данных, в том числе хранилищ ключ-значение, документно-ориентированных и потоковых систем управления базами данных, систем распределенного хранения и обработки данных.

После завершения обучения слушатели:

• начнут понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными;

• узнают возможности и ограничения современных реляционных и нереляционных систем управления данными;

• научатся анализировать требования при выборе систем управления данными.

4. Основы Hadoop (EAS-015) – 24 ак. ч.

Чем больше бизнес, тем больше информации нужно для его функционирования. Информация о клиентах, сотрудниках, финансах, транзакциях – все это часть жизни крупных компаний. Эти данные нужно не только хранить и обрабатывать, но и анализировать. Справится с этой непростой задачей поможет Apache Hadoop. Это открытый набор утилит, библиотек и фреймворк для разработки и развертывания программ, работающих с большим количеством данных. Другими словами, это технология хранения и обработки для Big Data. Несмотря на популярность, Hadoop нередко отпугивает новичков своим сложным интерфейсом и кривой обучения.

Тренинг, о котором пойдет речь дальше, дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластере и сопутствующими проектами, входящими в экосистему Hadoop: Hive, Spark, HBase.

В рамках обучения будут разобраны и другие темы:

• основные концепции современной архитектуры данных;

• как подключиться к кластеру;

• как работать с файловой системой из shell и Hue;

• что такое парадигма MapReduce и как реализовать ее на Java и в Hadoop Streaming;

• как запустить приложения и наблюдение за кластером через UI;

• что такое потоковая обработка данных и др.

Работа с Hadoop невозможна без практики, поэтому, мы подготовили для участников упражнения, тесты и кейсы, которые помогут быстрее освоить этот инструмент.

5. MongoDB для программистов (EAS-018) – 24 ак. ч.

MongoDB – NoSQL-система, написанная на языке C++. Прозрачность, высокий уровень масштабируемости и сегментированность, официальные драйвера для разных языков, поддержка шардирования, репликации, ad-hoc-запросов, индексов – вот ключевые преимущества MongoDB. Благодаря им MongoDB подходит для множества задач: хранения информации о событиях, работы с документами и данными мониторинга, разработки приложений и игр. Хотите узнать, как используют базы данных NoSQL, в чем они превосходят SQL СУБД и какие еще задачи решает MongoDB? Регистрируйтесь!

Курс «MongoDB для программистов» дает представление об основах СУБД MongoDB и методах разработки приложений, хранящих и обрабатывающих данные на его основе. Рассматриваются базовые возможности сохранения, извлечения и поиска документов (CRUD), способы формирования поисковых запросов, в том числе с использованием конвейеров Aggregation Framework и Map/Reduce.

Под руководством опытного тренера вы:

• изучите ключевые концепции и архитектуру MongoDB;

• научитесь сохранять данные в виде коллекций документов;

• научитесь искать документы в коллекциях, в том числе с использованием Aggregation Framework и Map/Reduce;

• поймете специфику моделирования данных для MongoDB;

• научитесь создавать и использовать индексы;

• изучите принципы репликации и шардирования;

• познакомитесь с принципами разграничения доступа.

6. Основы Kafka (EAS-026) – 24 ак. ч.

Apache Kafka – платформа распределенной потоковой передачи событий с открытым исходным кодом. Kafka позволяет хранить, обрабатывать и доставлять большие объемы данных в режиме реального времени.

В рамках практического курса от IBS Training Center вы:

• научитесь отправлять и получать сообщения из Java- и REST-клиентов;

• узнаете, какие варианты конфигураций нужны для достижения требуемых характеристик доставки сообщений;

• рассмотрите настройку нескольких кластеров для одного приложения;

• узнаете, как Kafka Connect позволяет решать общие задачи копирования данных между Kafka и внешними системами;

• поймете, почему во многих случаях хорошим способом создания быстрых и устойчивых решений для потоковой обработки является Kafka Streams.