RT-002

Эксплуатация RT.Streaming

Освойте потоковую обработку данных с RT.Streaming на основе Apache Kafka и Apache NiFi. Курс учит развертывать, настраивать и безопасно эксплуатировать кластеры Kafka и NiFi, использовать RT.ClusterManager для мониторинга и управления. В программе — практические кейсы по горизонтальному масштабированию, настройке топиков, потребителей и потоков данных, а также обеспечение отказоустойчивости и устойчивой эксплуатации в продакшене.

Удостоверение о прохождении

Смотреть пример

46 академ. часов

Онлайн

Подробнее

Предварительная подготовка

Знания и навыки работы с командами и сервисами Linux-систем (командная строка, файловая система, текстовые редакторы vi, vim, nano и др.);

Опыт работы с SQL.

Для кого

Data Engineer

DevOps-инженер

Системный администратор

Улучшаемые навыки

Потоковая обработка данных

Apache Kafka

Apache NiFi

Kafka Connect

ZooKeeper

Мониторинг

Горизонтальное масштабирование

Инструменты

Kafka

Zookeeper

Apache NiFi

Программа курса

01 Подготовка окружения и установка RT.Streaming: ZooKeeper, Apache Kafka, Apache NiFi

Планирование кластера: типы узлов, профили нагрузки, аппаратное обеспечение, примеры кластеров.

Настройка параметров окружения: подготовка к установке, настройка сети и DNS, монтирование и настройка файловой системы.

Введение в RT.ClusterManager: основные понятия, компоненты и возможности, развертывание.

Установка и настройка RT.Streaming: планирование и первичная конфигурация кластера, мониторинг, установка RT.Streaming.

Мониторинг RT.Streaming: архитектура кластера мониторинга. Мониторинг RT.Streaming: Kafka, NiFi. Встроенный мониторинг NiFi. Мониторинг в интерфейсе RT.ClusterManager

02 Архитектура и инструменты Apache Kafka

Базовые концепции и объекты Kafka: Consumers, Producers, Topics, Partitions, Segments, Replication, Offset, Messages, consumer groups, Brokers, Schemas.

Topics Kafka.

Основные операции (создание, управление, мониторинг, console CLI, partitions, replication, compaction, retension).

Гарантии надежности Kafka (доставка/потребление).

Producers Kafka.

Запись сообщений в Kafka, console Producer.

Настройка Producers.

Consumers Kafka.

Сonsumer groups, ребалансировка разделов.

Настройка Consumers.

Изменение параметров Topics, consumer groups, Partitions.

03 Kafka Connect

Основные понятия и инструменты.

FileStream Connectors.

Kafka Connectors.

04 Kafka REST Proxy

Основные возможности и примеры использования.

05 Архитектура и инструменты Apache NiFi

Обзор Apache NiFi: Графический интерфейс пользователя. Управление потоковой обработкой данных. Процессоры и их назначение.

Создание, настройка и управление процессорами, процессорными группами.

Flow Files и атрибуты.

Подключение источников (File, Apache Kafka, СУБД (RT.Warehouse)).

FlowFile Repository, Content Repository, Provenance Repository: детальное изучение.

06 Администрирование и эксплуатация Apache NiFi

Инструменты мониторинга и администрирования.

Горизонтальное масштабирование и отказоустойчивость NiFi.

Управление репликацией и балансировкой нагрузки.

Apache NiFi Registry версионность и поддержка production deployment (CI/CD).

07 Итого на курс 46 часов: теория – 22 ч ( 48 %), практика – 24ч ( 52%)

96 000 ₽

86 400 ₽ — для физ. лиц

Записаться на курс

Чему вы научитесь

01 Развертывать и настраивать кластеры Kafka и NiFi с RT.ClusterManager.

02 Управлять топиками, разделами и потребителями в Kafka.

03 Создавать и масштабировать потоки данных в NiFi.

04 Использовать Kafka Connect для передачи данных между системами.

96 000 ₽

86 400 ₽ — для физ. лиц

Записаться на курс

96 000 ₽

86 400 ₽ — для физ. лиц

Юр. лицо — 96 000 ₽

Физ. лицо — 86 400 ₽

Открытая дата

Ознакомлен с политикой обработки персональных данных

Cоглашаюсь с условиями обработки персональных данных

Связанные курсы

EAS-026

24 часа

Основы Kafka

Введение в Apache Kafka: стриминговая платформа для обработки данных в реальном времени. Освоите основы Apache Kafka и научитесь разрабатывать распределенные стриминговые приложения. Получите практический опыт работы с экосистемой Kafka, включая настройку кластеров, разработку клиентских приложений и использование KSQL.

от Middle

49 900 ₽

Наши ученики работают в:

Наши клиенты

Ознакомлен с политикой обработки персональных данных

Cоглашаюсь с условиями обработки персональных данных

Эксплуатация RT.Streaming

96 000 ₽

Предварительная подготовка

Для кого

Улучшаемые навыки

Инструменты

Программа курса

96 000 ₽

Чему вы научитесь

96 000 ₽

Записаться на курс

Связанные курсы

Наши ученики работают в:

Наши клиенты

Не нашли, что искали? — Просто напишите, и мы поможем