Популярные курсы по направлению Современные методы управления данными

26.08.2022 180
IBS Training Center Telegram
Подписывайтесь на наш канал в Telegram:
больше материалов экспертов, анонсы бесплатных вебинаров и задачки для IT-специалистов
Подписаться

Big Data – «новая нефть» или головная боль копаний, не готовых работать с большими объемами данных. Обработка, анализ терабайтов данных и автоматизирование инструментов для их управления, требует от архитекторов и разработчиков определенный пул умений. Мы проанализировали самые популярные курсы по направлению «Современные методы управления данными» и составили топ, который поможет вам стать гуру Dig Data.

Основы Apache Spark.png

1. Основы Apache Spark (EAS-017) – 26 ак. ч.

Apache Spark – популярный фреймворк с открытым исходным кодом, созданный для сложных вычислений и обработки большого количества данных. Его использование позволяет написать логику обработки данных на SQL без использования кода или запустить приложение, работающие с терабайтами данных. Но для использования преимуществ Spark недостаточно развернуть кластер и написать запросы для SQL. Разработчики должны понимать, что происходит во внутренней структуре, иначе возникнут проблемы с производительностью системы.

Чтобы было проще погрузиться в Apache Spark, мы создали курс, ориентированный на разработчиков и аналитиков, которые только начинают знакомство с фреймворком Spark, но не ограничивается базовыми понятиями.

В рамках курса слушатели:

  • познакомятся с основными концепциями и архитектурой Spark;

  • научатся создавать табличные запросы, используя Spark SQL и DataFrame Python API;

  • начнут разрабатывать программы обработки данных как последовательности преобразований RDD

  • научатся загружать данные для обработки Spark из систем JDBC, Kafka, Cassandra и сохранять полученные результаты во внешних хранилищах данных.

Основы хранилищ данных.png

2. Основы хранилищ данных (EAS-004) – 24 ак. ч.

Получите представление о роли хранилища данных и научитесь самостоятельно разрабатывать концептуальную и физическую ER-диаграмму на курсе «Основы хранилищ данных».

Хранилище данных (Data Warehouse) – это система, в которой собрана информация о компании, используемая для принятия управленческих решений. Базы данных постоянно совершенствуются и меняются, поэтому аналитики данных и инженеры не работают с СУДБ с нуля, а используют готовые решения, ускоряющие процессы. Для специалистов это значит, что им не нужно глубоко погружаться в программирование, а для компании – это отличная возможность избежать тяжело масштабируемые решения. Но прежде чем начать работать с базами данных, нужно изучить основы этой темы.

В рамках курса вы:

  • познакомитесь с основными понятиями и задачами, возникающими при создании хранилищ данных;

  • поймете, как цели влияют на выбор архитектуры и к каким последствиям может привести недостаточное внимание к компонентам;

  • составите представление о ролях и влиянии участников команды на результат;

  • освоите все этапы жизненного цикла DWH от проектирования к внедрению, эксплуатации и выведению из сопровождения;

  • научитесь избегать типовые ошибки при создании хранилищ и освоить методы и практики для успешного сопровождения хранилищ данных;

  • научитесь принимать архитектурные решения на этапе проектирования хранилища;

  • научитесь самостоятельно разрабатывать концептуальную и физическую ER-диаграммы хранилища.


Современные подходы к управлению данными.png


3. Современные подходы к управлению данными (EAS-011) – 16 ак. ч.

Для принятия корпоративных решений большое значение имеет управление данными. Управление данными – это сложный процесс, связанный с накоплением, организацией, запоминанием, обновлением, хранением и поиском данных. Существует несколько подходов к управлению данными, но не все из них актуальны в наши дни.

Команда IBS Training Center подготовила обзор современных способов хранения данных, в том числе хранилищ ключ-значение, документно-ориентированных и потоковых систем управления базами данных, систем распределенного хранения и обработки данных.

После завершения обучения слушатели:

  • начнут понимать, какие характеристики данных и запросов необходимо учитывать на этапе анализа требований и выбора систем управления данными;

  • узнают возможности и ограничения современных реляционных и нереляционных систем управления данными;

  • научатся анализировать требования при выборе систем управления данными.


Основы Hadoop.png

4. Основы Hadoop (EAS-015) – 24 ак. ч.

Чем больше бизнес, тем больше информации нужно для его функционирования. Информация о клиентах, сотрудниках, финансах, транзакциях – все это часть жизни крупных компаний. Эти данные нужно не только хранить и обрабатывать, но и анализировать. Справится с этой непростой задачей поможет Apache Hadoop. Это открытый набор утилит, библиотек и фреймворк для разработки и развертывания программ, работающих с большим количеством данных. Другими словами, это технология хранения и обработки для Big Data. Несмотря на популярность, Hadoop нередко отпугивает новичков своим сложным интерфейсом и кривой обучения.

Тренинг, о котором пойдет речь дальше, дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластере и сопутствующими проектами, входящими в экосистему Hadoop: Hive, Spark, HBase.

В рамках обучения будут разобраны и другие темы:

  • основные концепции современной архитектуры данных;

  • как подключиться к кластеру;

  • как работать с файловой системой из shell и Hue;

  • что такое парадигма MapReduce и как реализовать ее на Java и в Hadoop Streaming;

  • как запустить приложения и наблюдение за кластером через UI;

  • что такое потоковая обработка данных и др.

Работа с Hadoop невозможна без практики, поэтому, мы подготовили для участников упражнения, тесты и кейсы, которые помогут быстрее освоить этот инструмент.


MongoDB для программистов .png

5. MongoDB для программистов (EAS-018) – 24 ак. ч.

MongoDB – NoSQL-система, написанная на языке C++. Прозрачность, высокий уровень масштабируемости и сегментированность, официальные драйвера для разных языков, поддержка шардирования, репликации, ad-hoc-запросов, индексов – вот ключевые преимущества MongoDB. Благодаря им MongoDB подходит для множества задач: хранения информации о событиях, работы с документами и данными мониторинга, разработки приложений и игр. Хотите узнать, как используют базы данных NoSQL, в чем они превосходят SQL СУБД и какие еще задачи решает MongoDB? Регистрируйтесь!

Курс «MongoDB для программистов» дает представление об основах СУБД MongoDB и методах разработки приложений, хранящих и обрабатывающих данные на его основе. Рассматриваются базовые возможности сохранения, извлечения и поиска документов (CRUD), способы формирования поисковых запросов, в том числе с использованием конвейеров Aggregation Framework и Map/Reduce.

Под руководством опытного тренера вы:

  • изучите ключевые концепции и архитектуру MongoDB;

  • научитесь сохранять данные в виде коллекций документов;

  • научитесь искать документы в коллекциях, в том числе с использованием Aggregation Framework и Map/Reduce;

  • поймете специфику моделирования данных для MongoDB;

  • научитесь создавать и использовать индексы;

  • изучите принципы репликации и шардирования;

  • познакомитесь с принципами разграничения доступа.


Основы Kafka.png

6. Основы Kafka (EAS-026) – 24 ак. ч.

Apache Kafka – платформа распределенной потоковой передачи событий с открытым исходным кодом. Kafka позволяет хранить, обрабатывать и доставлять большие объемы данных в режиме реального времени.

В рамках практического курса от IBS Training Center вы:

  • научитесь отправлять и получать сообщения из Java- и REST-клиентов;

  • узнаете, какие варианты конфигураций нужны для достижения требуемых характеристик доставки сообщений;

  • рассмотрите настройку нескольких кластеров для одного приложения;

  • узнаете, как Kafka Connect позволяет решать общие задачи копирования данных между Kafka и внешними системами;

  • поймете, почему во многих случаях хорошим способом создания быстрых и устойчивых решений для потоковой обработки является Kafka Streams.

Хотите по-новому взглянуть на Dig Data и научиться работать с большим объемом данных? Присоединяйтесь к нашим курсам!


Расскажи друзьям:

Комментировать
Как не пропустить самое интересное?
Подписывайтесь на наш ежемесячный дайджест!
Спасибо.
Вы подписаны на ежемесячный дайджест.
Пользователь только что записался на курс ""
Спасибо!
Форма отправлена успешно.