RT-002

Эксплуатация RT.Streaming

Освойте потоковую обработку данных с RT.Streaming на основе Apache Kafka и Apache NiFi. Курс учит развертывать, настраивать и безопасно эксплуатировать кластеры Kafka и NiFi, использовать RT.ClusterManager для мониторинга и управления. В программе — практические кейсы по горизонтальному масштабированию, настройке топиков, потребителей и потоков данных, а также обеспечение отказоустойчивости и устойчивой эксплуатации в продакшене.

По окончании курса вы получите два документа: удостоверение о повышении квалификации от УЦ IBS и сертификат вендора, подтверждающий профессиональный уровень полученных знаний и навыков, от TData.

Удостоверение о прохождении

Смотреть пример

46 академ. часов

Онлайн

Подробнее

Улучшаемые навыки

Потоковая обработка данных

Apache Kafka

Apache NiFi

Kafka Connect

ZooKeeper

Мониторинг

Горизонтальное масштабирование

Инструменты

Kafka

Zookeeper

Apache NiFi

RT.ClusterManager

RT.Streaming

Чему вы научитесь

01 Развертывать и настраивать кластеры RT.Streaming Kafka и RT.Streaming NiFi с RT.ClusterManager.

02 Управлять топиками, разделами и потребителями в Kafka.

03 Создавать и масштабировать потоки данных в NiFi.

04 Использовать Kafka Connect для передачи данных между системами.

Программа курса

01 Подготовка окружения и установка RT.Streaming: RT.Streaming Kafka, RT.Streaming NiFi

Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.

Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.

Введение в RT.ClusterManager: основные понятия, компоненты и возможности, развертывание.

Установка и настройка RT.Streaming: планирование и первичная конфигурация кластера, мониторинг, установка RT.Streaming.

Мониторинг RT.Streaming: архитектура кластера мониторинга. Мониторинг RT.Streaming: Kafka, NiFi. Встроенный мониторинг NiFi. Мониторинг в интерфейсе RT.ClusterManager

02 Архитектура и инструменты Apache Kafka

Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.

Topics Kafka.

Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension).

Гарантии надежности Kafka (доставка/потребление).

Producers Kafka.

Запись сообщений в Kafka, console Producer.

Настройка Producers.

Consumers Kafka.

Сonsumer groups, ребалансировка разделов.

Настройка Consumers.

Изменение параметров Topics, consumer groups, Partitions.

03 Kafka Connect

Основные понятия и инструменты.

FileStream Connectors.

Kafka Connectors.

04 Kafka REST Proxy

Основные возможности и примеры использования.

05 Архитектура и инструменты Apache NiFi

Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.

Создание, настройка и управление процессорами, процессорными группами.

Flow Files и атрибуты.

Подключение источников (File, Apache Kafka, СУБД (RT.Warehouse)).

FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.

06 Администрирование и эксплуатация Apache NiFi

Инструменты мониторинга и администрирования.

Горизонтальное масштабирование и отказоустойчивость NiFi.

Управление репликацией и балансировкой нагрузки.

Apache NiFi Registry версионность и поддержка production deployment (CI/CD).

07 Итого на курс 46 часов: теория – 22 ч ( 48 %), практика – 24ч ( 52%)

96 000 ₽

86 400 ₽ — для физ. лиц

Записаться на курс

Для кого

Data Engineer

DevOps-инженер

Системный администратор

Предварительная подготовка

Знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);

Опыт работы с SQL.

96 000 ₽

86 400 ₽ — для физ. лиц

Записаться на курс

96 000 ₽

86 400 ₽ — для физ. лиц

Юр. лицо — 96 000 ₽

Физ. лицо — 86 400 ₽

Открытая дата

Ознакомлен с политикой обработки персональных данных

Cоглашаюсь с условиями обработки персональных данных

Наши ученики работают в:

Наши клиенты

Связанные курсы

EAS-026

24 часа

Основы Kafka

Введение в Apache Kafka: стриминговая платформа для обработки данных в реальном времени. Освоите основы Apache Kafka и научитесь разрабатывать распределенные стриминговые приложения. Получите практический опыт работы с экосистемой Kafka, включая настройку кластеров, разработку клиентских приложений и использование KSQL.

от Middle

52 400 ₽

Ознакомлен с политикой обработки персональных данных

Cоглашаюсь с условиями обработки персональных данных

Эксплуатация RT.Streaming

96 000 ₽

Улучшаемые навыки

Инструменты

Чему вы научитесь

Программа курса

96 000 ₽

Для кого

Предварительная подготовка

96 000 ₽

Записаться на курс

Наши ученики работают в:

Наши клиенты

Связанные курсы

Не нашли, что искали? — Просто напишите, и мы поможем