Описание
Этот тренинг будет полезен слушателям, которые работают с Apache Kafka и хотят углубить свои знания и навыки в этой области.
В рамках данного тренинга вы изучите различные аспекты Kafka, начиная с архитектуры и основных компонентов, таких как кластеры, брокеры и клиенты. Вы освоите концепцию топиков и разделов, а также настройку параметры производительности Kafka.
Тренинг также включает модуль, посвященный устройству Producer и Consumer. Вы освоите внутреннее устройство Kafka Producer и Consumer, включая потоки, буферы и таймауты, а также узнаете о смещениях, группах получателей и методах сохранения смещений.
В следующем модуле рассматривается надежная доставка сообщений. Вы ознакомитесь с различными гарантиями порядка сообщений и доставки, включая гарантии "at least once" и "exactly once", а также узнаете о транзакциях, обработке ошибок и повторной передаче сообщений.
Вы изучите Kafka Connect, инструмент для создания конвейеров данных, рассмотрите внутреннее устройство Kafka Connect, настройку и преобразованиях данных, примеры коннекторов.
Другой важный модуль тренинга посвящен Kafka Streams – библиотеке для обработки и анализа данных в реальном времени. Вы изучите такие концепции, как сериализация, окна, агрегирование и сохранение состояния, познакомитесь с Processor API и научитесь использовать Kafka Streams для создания потоковых приложений.
Тренинг завершается изучением ksqlDB – расширения Kafka, предоставляющего SQL-подобный интерфейс для работы с данными. В рамках данного модуля вы узнаете о потоках, таблицах, преобразованиях и непрерывных запросах в ksqlDB, а также ознакомитесь с методами развертывания кластера ksqlDB.
В каждом модуле тренинга предусмотрено выполнение практических заданий, которые помогут освоить знания и решать реальные задачи, связанные с обработкой данных в реальном времени.
удостоверение о повышении квалификации государственного образца
Цели
- Углубить понимание архитектуры и функциональности Kafka;
- Овладеть навыками разработки с использованием Kafka, включая настройку Producer и Consumer, обработку ошибок, настройку параметров производительности и использование инструментов Kafka Connect, Kafka Streams и ksqlDB;
- Понять принципы надежной доставки сообщений и научиться их применять на практике.
Целевая аудитория
Предварительная подготовка
- опыт работы с Kafka;
- базовое знание Java \Scala.
Разбираемые темы
-
Модуль 1. Архитектура Kafka (2 часа теории, 2 часа практики)
- Кластер, брокеры, клиенты
- Топики и разделы
- Очистка сегментов (retention, compaction)
- Репликация, лидеры и следующие, ISR
- Контроллеры, KRaft
- Настройка производительности
-
Модуль 2. Устройство Producer и Consumer (1,5 часа теории, 1,5 часа практики)
- Внутреннее устройство: потоки, буферы, таймауты
- Смещения, группы получателей
- Автоматическое и ручное сохранение смещений
- Перебалансировка группы
-
Модуль 3. Надежная доставка (1,5 часа теории, 1,5 часа практики)
- Гарантии порядка сообщений
- Гарантии доставки at least once, exactly once
- Транзакции
- Обработка ошибок и повторная передача
- Сбои сети, брокеров и клиентов
-
Модуль 4. Kafka Connect (4 часа теории, 4 часа практики)
- Конвейеры данных
- Обзор Kafka Connect
- Внутреннее устройство
- Преобразования
- Запуск Kafka Connect
- Примеры коннекторов
- Разработка коннекторов
-
Модуль 5. Kafka Streams (4 часа теории, 4 часа практики)
- Источники и приемники
- Сериализация, SerDe, схемы сообщений
- Окна
- Преобразования
- Агрегирование
- Сохранение состояния
- Транзакции
- Processor API
-
Модуль 6. ksqlDB (2 часа теории, 2 часа практики)
- Источники и приемники
- Потоки и таблицы
- Преобразования
- Непрерывные запросы
- Окна
- Агрегирование
- Транзакции
- Развертывание кластера ksqlDB
-
Всего: теория – 15 ч. (50%), практика – 15 ч. (50%)
О проектах
В рамках своей профессиональной деятельности занимался:- развертыванием, управлением и программированием Apache Hadoop, Spark, Kafka и Greenplum;
- разработкой моделей машинного обучения в Spark и внедрение их в производство;
- разработкой интеграции Apache Hadoop с СУБД и СХД;
- разработкой и программированием решений на Google Cloud Platform и Яндекс.Облаке;
- разработкой информационной безопасности для Apache Hadoop с Ranger и Atlas;
- программированием на Scala, Java, Python, R, SQL, Go, C и Lisp.
