Современные методы управления данными (BigData, ML)

В курсе рассматриваются особенности создания и изменения отчетов путем подготовки и визуализации информации для бизнес-пользователей.

Тренинг по основам работы с Business Intelligence (BI) платформой Tableau поможет развить базовые навыки анализа и визуализации данных для слушателей с начальным уровнем аналитической подготовки. Главная отличительная особенность Tableau – интуитивность, а также отсутствие строгих требований к техническому опыту перед началом работы, и начинать знакомство можно практически с нуля. Анализ данных уже, пожалуй, невозможен без правильных инструментов. Tableau – одно из лучших решений в этой области, признанный лидер в теме информационного дизайна и автоматизации отчётности. В ходе тренинга слушатели познакомятся с теоретическими основами анализа данных и BI, а также на практике научатся работать с различными источниками данных, включая MS Excel, анализировать пригодность данных для работы, строить выгружаемые отчёты, отдельные визуализации и аналитические дашборды – интерактивные информационные дашборды для автоматизации рутинных рабочих задач.

Тренинг для продолжающих работы в области с Business Intelligence (BI) платформой Tableau нацелен на развитие продвинутых навыков анализа и визуализации данных, а также автоматизации отчётности и построения компактных, понятных и интерактивных дашбордов, представляющих информацию дозированно и красиво. Во время тренинга слушатели познакомятся с расширенным инструментарием для аналитической работы в Tableau, узнают о секретных техниках и лайфхаках, попробуют свои силы в разработке дашбордов со сложной логикой под капотом, научатся обходить ограничения источников данных и подробнее познакомятся с тем, как Tableau работает с точки зрения производительности и скорости. Тема продвинутого информационного дизайна также занимает отдельное место в структуре курса, и ей будет отдано особое внимание.

Курс дает представление о подходах к проектированию хранилищ данных и их использованию в гетерогенных информационных системах предприятий. Вы рассмотрите вопросы выбора архитектуры, методов внедрения и сопровождения хранилищ данных.

Этот курс представляет обзор современных способов хранения данных, в том числе хранилищ ключ-значение, документно-ориентированных и потоковых систем управления базами данных, систем распределенного хранения и обработки данных.

В курсе изучаются основы архитектуры Cassandra 4-x, разработка концептуальных, логических и физических моделей данных. Рассматриваются все необходимые технические подробности для использования Cassandra для масштабируемого хранения данных в проектах на Java, а также для мониторинга, конфигурирования и настройки производительности.

Этот тренинг дает представление об устройстве Apache Hadoop и методах разработки приложений, обрабатывающих данные на его основе. Участники познакомятся с HDFS – стандартом де-факто для долговременного надежного хранения больших объемов данных фреймворком YARN, управляющим параллельным выполнением приложений на кластере и сопутствующими проектами, входящими в экосистему Hadoop: Hive, Spark, HBase.

В курсе изучаются основы архитектуры Hive , разработка скриптов по загрузке, трансформации и выгрузке данных. Рассматриваются все необходимые технические подробности. Конфигурирование и настройки производительности.

Этот тренинг дает представление об основных понятиях фреймворка Apache Spark и методах его использования для разработки приложений, обрабатывающих данные. Мы рассмотрим применение этого фреймворка для автоматической генерации кода и его распределенного выполнения. Слушатели научатся работать с файлами данных в различных форматах (CSV, Json, Avro, Parquet) в приложениях на Spark, используя SQL и DataFrame. Кроме того, речь пойдет о загрузке данных с внешних хранилищ и во внешние хранилища, такие как Cassandra, Kafka, Postgres и S3. Практические упражнения выполняются на языке Python с использованием веб-ноутбуков Jupyter.

Курс дает представление об основах СУБД MongoDB и методах разработки приложений, хранящих и обрабатывающих данные на его основе. Рассматриваются базовые возможности сохранения, извлечения и поиска документов (CRUD), способы формирования поисковых запросов, в том числе с использованием конвейеров Aggregation Framework и Map/Reduce.

В ходе курса вы получите глубокое понимание Apache Impala и его возможностей для обработки и анализа данных. Вы изучите роль и компоненты кластера Impala, типы данных, запросы на выборку, загрузку данных и пользовательские функции UDF, а также сравнение Impala и Hive.

Этот тренинг дает представление об основных группах методов машинного обучения: классификация, регрессия, кластеризация, ансамбли, нейронные сети. Участники узнают, как решать распространенные задачи анализа текстов, прогнозирования цены, выдачи рекомендаций и другие. В практических заданиях много времени уделяется работе с признаками, перебору параметров моделей и построению ансамблей.

Курс дает представление об основах колоночной системы управления базами данных Apache HBase и методах разработки приложений, обрабатывающих данные на ее основе.

Тренинг даёт подробное представление о внутреннем устройстве и функционировании фреймворка Apache Spark – как Spark Core (RDD), так и Spark SQL и Spark Streaming.

Вводный практический курс по машинному обучению. Рассматривается полный цикл построения решения: от выделения исходных данных («.xlsx файл») через построение модели и до объяснения конечному заказчику особенностей данных и специфики полученного результата. Теоретические разделы - классификация, регрессия, предсказания, ансамбли – даются в обзорном режиме, в объёме, необходимом для корректного построения и понимания разбираемых примеров.

Вводный тренинг по Apache Kafka – платформе распределенной потоковой передачи событий с открытым исходным кодом. Рассматриваются архитектурные особенности Kafka, обеспечивающие высокопроизводительную доставку данных.

В этом курсе дается общий обзор метода обучения с подкреплением (Reinforcement Learning, RL). Мы начнем с необходимой математики, рассмотрим базовые алгоритмы RL и поговорим о глубоком обучении с подкреплением (Deep RL), а также о новейших методах машинного обучения, используемых в настоящее время. Мы подробно рассмотрим некоторые применения и расскажем о важнейших достижениях в этой области.

Практический курс по обработке текстов методами машинного обучения. Участники узнают и разберутся с тем, для каких задач применяется машинное обучение, как правильно ставить задачи, собирать и готовить данные, как работать с признаками, как оценивать качество результата. В курсе рассмотрены различные методы предобработки текстов, векторные представления слов и их использование для классификации и других задач. Участники изучат методы разметки текстов, извлечения именованных сущностей и снижения размерности. Отдельное внимание будет уделено предобученным языковым моделям, таким как BERT и GPT, и их применению для работы с текстовыми данными.

Курс предназначен для приобретения знаний и навыков в области глубокого обучения для работы с нейросетями. Курс детально разбирает нейросетевые архитектуры и практические способы создания моделей для классификации, обнаружения, сегментации и локализации объектов, генерации изображений и текстов, в т.ч. с применением предобученных сетей с их последующим дообучением и тонкой настройкой под конкретные предметные области.

На тренинге вы углубите свои базовые знания об Apache Kafka: узнаете архитектуру Kafka, устройство Producer и Consumer, надежную доставку сообщений, использование Kafka Connect, Kafka Streams и ksqlDB. Помимо теоретических знаний вы получите практические навыки, которые помогут применить полученные знания в своей работе.

Курс направлен на развитие компетенций по созданию, выполнению, мониторингу и оркестрации потоков операций по обработке данных с использованием Apache AirFlow.

Эффективное применение ClickHouse для обработки большого количества данных.