О чём курс

Этот тренинг поможет вам получить представление об архитектуре и функционировании Apache Kafka – платформы распределенной потоковой передачи событий с открытым исходным кодом. Вместе с тренером вы будете отправлять и получать сообщения из Java- и REST-клиентов, обсудите варианты конфигураций кластера и клиентов для достижения требуемых характеристик доставки сообщений (латентности, пропускной способности, сохранности и доступности). 

Вы также рассмотрите настройку нескольких кластеров для одного приложения, поскольку это жизненно важно для достижения отказоустойчивости и повышения масштабируемости. Рассмотрите, как Kafka Connect позволяет решать общие задачи копирования данных между Kafka и внешними системами (СУБД, файловая система и др.). Узнаете, почему во многих случаях хорошим способом создания быстрых и устойчивых решений для потоковой обработки является Kafka Streams.

Цели

Во время обучения вы научитесь:
  • Понимать архитектуру Kafka.
  • Разбираться в развертывании и настройке Kafka.
  • Использовать REST-доступ к Kafka.
  • Разрабатывать Java-клиентов для Kafka.
  • Проектировать архитектуры из нескольких кластеров.
  • Использовать инструменты Kafka Connect.
  • Создавать приложения Kafka Streams.
  • Целевая аудитория

    Разработчики, архитекторы, дата-инженеры.

    Предварительная подготовка

    Опыт разработки на Java от 3 месяцев.

    Для кого

    Разработчик Разработчик
    Архитектор ПО Архитектор ПО
    Data Scientist Data Scientist

    Улучшаемые навыки

    Понимание архитектуры Kafka
    Создание и управление темами
    Работа с производителями и потребителями
    Обработка потоковых данных
    Мониторинг и управление производительностью

    Расписание курсов

    07.04.2025 - 11.04.2025

    10:00-15:00
    Дата и время:
    07.04.2025-11.04.2025
    10:00-15:00

    Middle 24 часа

    49 900 ₽

    44 910 ₽ — для физ. лиц

    10.06.2025 - 27.06.2025

    18:00-21:00
    Дата и время:
    10.06.2025-27.06.2025
    18:00-21:00

    Middle 24 часа

    49 900 ₽

    44 910 ₽ — для физ. лиц

    Программа курса

    01 Обзор – теория (2 ч.)
  • Что такое Kafka.
  • Примеры удачного и неудачного использования Kafka.
  • Kafka и база данных: сходства и различия.
  • Kafka и прямые конкуренты.
  • Kafka и Apache Pulsar.
  • Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
  • Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
  • Клиенты и API.
  • 02 Настройка Кластера (практика – 1 ч)
  • Практика 2.1: запуск кластера Kafka с помощью Docker.
  • Установка Zookeeper.
  • Установка брокеров Kafka.
  • 03 Инструменты Kafka и управление данными – теория и демо (1 ч.)
  • Самые популярные инструменты Kafka.
  • Демо 3.1: Инструменты Kafka.
  • Практики KafkaOps.
  • 04 Разработка приложений на Java – теория (2 ч.), практика (1 ч.)
  • Kafka Producer API: основы.
  • Практика 4.1: Отправка одного сообщения.
  • Kafka Consumer API: основы, группы потребителей.
  • Практика 4.2: Один получатель.
  • Практика 4.3: Несколько получателей в одной группе.
  • Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
  • Практика 4.4: Транзакционный Отправитель.
  • Практика 4.5: Отправка и получение в транзакции.
  • Практика 4.6: Замороженный потребитель.
  • Практика 4.7: Медленный потребитель.
  • 05 Внешний доступ к кластеру Kafka – теория (2 ч.), практика (2 ч.)
  • Безопасность: SSL, SASL, Kerberos.
  • REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
  • Практика 5.1: доступ через REST Proxy.
  • Schema Registry: реестр схем.
  • Практика 5.2: Schema Registry.
  • 06 Kafka Streams и KSQL – теория (2 ч.), практика (2 ч.)
  • Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
  • Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
  • Практика 6.1: Реализация потоков без сохранения состояния.
  • Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний.
  • Практика 6.2: Агрегация в Kafka Streams.
  • KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация.
  • Окна в потоках: метки времени, плавающие, прыгающие, сеансовые.
  • Соединение: поток с потоком, KTable с KTable, поток с KTable.
  • Практика 6.3: Соединение потоков и таблиц.
  • KSQL: Потоки без программирования.
  • KSQL Серверная архитектура.
  • Практика 6.4: Реализация потоков без сохранения состояния в KSQL.
  • Практика 6.5: Агрегация в KSQL.
  • Практика 6.6: Соединение в KSQL.
  • 07 Kafka Connect – теория (2 ч.), практика (2 ч.)
  • Архитектура Kafka Connect.
  • Источники Kafka Connect.
  • Практика 7.1: JDBC Source Connector (postgres).
  • Практика 7.2: JDBC Source Connector (postgres) с ключами.
  • Kafka Connect Sinks.
  • Практика 7.3: JDBC Sink Connector (postgres).
  • Практика 7.4: JDBC Sink Connector (postgres) с ключами.
  • 08 Эксплуатация и мониторинг – теория (1 ч.), практика (1 ч.)
  • Цели по производительности и режимы выполнения.
  • Zookeeper: конфигурация, автономный режим и режим кворума, CLI.
  • Управление и мониторинг кластера.
  • Практика 8.1: Мониторинг кластера Kafka с помощью Prometheus.
  • Практика 8.2: Измерение производительности.
  • 09 Мульти-кластеры – теория (1 ч.), практика (1 ч.)
  • Различные мультикластреные архитектуры MirrorMaker.
  • Практика 9.1: Использование MirrorMaker для синхронизации кластеров.
  • Confluence Replicator.
  • 10 Итого: теория – 14 ч. (58%), практика – 10 ч. (42%)

    49 900 ₽

    44 910 ₽ — для физ. лиц

    Записаться на курс

    Чему вы научитесь

    01 Научитесь основным компонентам архитектуры Kafka, включая брокеры, темы, партиции и консумеры
    02 Освоите методы создания и настройки тем в Kafka, включая управление партициями и репликацией
    03 Научитесь создавать производителей (producers) и потребителей (consumers) сообщений в Kafka
    04 Освоите методы обработки потоковых данных с использованием Kafka Streams
    05 Научитесь использовать инструменты мониторинга

    Курс проводят

    Александр

    Брейман Александр

    Эксперт в области разработки и архитектуры ПО

    Middle

    О тренере

    Александр занимается разработкой учебных программ, чтением лекций, проведением семинаров, практических и лабораторных работ. Под его руководством уже не один десяток специалистов успешно защитили выпускные квалификационные работы бакалавра и магистерские диссертации.

    Среди его кейсов работа в ЗАО «ТИТАН МЕТА», Московском государственном университете приборостроения и информатики, Национальном исследовательском университете «Высшая школа экономики» и Luxoft Training.

    Курсы и сертификаты

    Александр является членом организаций:

    • IEEE, IEEE Computer Society (Institute of Electrical and Electronics Engineers / Институт инженеров электротехники и электроники).
    • ACM, ACM SIGMOD (Association for Computing Machinery / Ассоциация вычислительной техники).

    49 900 ₽

    44 910 ₽ — для физ. лиц

    Записаться на курс

    Записаться на курс

    49 900 ₽

    44 910 ₽ — для физ. лиц

    Юр. лицо — 49 900 ₽
    Физ. лицо — 44 910 ₽
    07.04.2025, Онлайн
    07.04.2025, Онлайн
    10.06.2025, Онлайн
    Открытая дата

    Отзывы о курсе

    Повысьте квалификацию И получите диплом
    Отзывы учеников
    В целом хорошо, наиболее полезным курс будет для тех, кто хочет получить общие знания о Kafka (что это такое, как с ним работать), основных концепциях, вариантах использования и инструментах. Тренинг разделен на два части: теоретическую и практическую. Практические задания очень понравились, особенно задания на разработку Java-клиентов для Kafka. Спасибо!
    Замечательный курс, суперполезный материал и высококвалифицированный, терпеливый и опытный тренер! Я получила ответы на все интересующие вопросы и узнала о многих нюансах использования Kafka. Отдельное спасибо за новые подходы к Kafka Streams и K-SQL. Хороший курс, порекомендую всем своим коллегам 😊
    Мне очень понравился курс и тренер. Он рассказал нам много интересных деталей и ответил на вопросы. Больше всего понравилась практика и материалы, которые можно использовать в работе. Я думаю, тренинг полезен для тех, кто хочет получить хорошее представление об основах Кафки.
    В целом содержание тренинга меня устроило. У меня есть некоторый опыт работы с Kafka, но этот ОЧЕНЬ ОБЪЁМНЫЙ тренинг может взорвать мозг новичкам 😊 наиболее полезным для меня была практика в Kafka и Java. Порадовало, что тренер поделился всеми теоретическими и практическими материалами (планирую использовать их в работе).
    Спасибо за обучение! Тренер рассказал об основах Кафки коротко и по делу, с хорошими практическими примерами. Поскольку я разработчик системы T24 Core Banking, скорее всего, в будущем я столкнусь с интерфейсами, которые могут потребовать использования Kafka. Самой полезной для меня была тема «Kafka Streams API», потому что я могу использовать полученные знания в своей повседневной работе.

    Наши ученики работают в:

    Наши клиенты

    Mail.ru
    Альфа-Банк, банковская группа
    Лаборатория Касперского
    Магнит, розничная сеть
    Спортмастер, сеть спортивных магазинов
    ПСБ
    Сбертех
    Дзен
    IT One
    Ростелеком
    Мегафон
    Nexign
    Ozon
    Декатлон
    X5 Group
    Технониколь
    Росатом
    Газпром
    Нлмк
    ВСК
    Синимекс

    Не нашли, что искали? — Просто напишите, и мы поможем

    Корпоративное обучение Оценка персонала Сертификация О нас Стань тренером Блог
    Пользователь только что записался на курс ""
    Спасибо!
    Форма отправлена успешно.