Основы Kafka
Вводный тренинг по Apache Kafka – платформе распределенной потоковой передачи событий с открытым исходным кодом. Рассматриваются архитектурные особенности Kafka, обеспечивающие высокопроизводительную доставку данных.
24 ак.ч.
Онлайн
EAS-026
Основы Kafka
Записаться на курс
Длительность
24 ак.ч.
Локация
Онлайн
Код
EAS-026
Расписание и цены
11.11.2024 - 27.11.2024
11.03.2025 - 27.03.2025
44 500 руб.
* Для физических лиц действует скидка 10% Закажите корпоративное обучение с учетом ваших потребностей
Основы Kafka
Записаться на курс
Длительность
24 ак.ч.
Локация
Онлайн
Код
EAS-026
Расписание и цены
11.11.2024 - 27.11.2024
11.03.2025 - 27.03.2025
44 500 руб.
* Для физических лиц действует скидка 10% Закажите корпоративное обучение с учетом ваших потребностей

Описание

Этот тренинг поможет вам получить представление об архитектуре и функционировании Apache Kafka – платформы распределенной потоковой передачи событий с открытым исходным кодом. Вместе с тренером вы будете отправлять и получать сообщения из Java- и REST-клиентов, обсудите варианты конфигураций кластера и клиентов для достижения требуемых характеристик доставки сообщений (латентности, пропускной способности, сохранности и доступности). Вы также рассмотрите настройку нескольких кластеров для одного приложения, поскольку это жизненно важно для достижения отказоустойчивости и повышения масштабируемости. Рассмотрите, как Kafka Connect позволяет решать общие задачи копирования данных между Kafka и внешними системами (СУБД, файловая система и др.). Узнаете, почему во многих случаях хорошим способом создания быстрых и устойчивых решений для потоковой обработки является Kafka Streams.

Цели

Во время обучения вы научитесь:
  • Понимать архитектуру Kafka.
  • Разбираться в развертывании и настройке Kafka.
  • Использовать REST-доступ к Kafka.
  • Разрабатывать Java-клиентов для Kafka.
  • Проектировать архитектуры из нескольких кластеров.
  • Использовать инструменты Kafka Connect.
  • Создавать приложения Kafka Streams.

Целевая аудитория

Разработчики, архитекторы, дата-инженеры.

Предварительная подготовка

Опыт разработки на Java от 3 месяцев.

Разбираемые темы

  • 1. Обзор – теория (2 ч.)

    • Что такое Kafka.
    • Примеры удачного и неудачного использования Kafka.
    • Kafka и база данных: сходства и различия.
    • Kafka и прямые конкуренты.
    • Kafka и Apache Pulsar.
    • Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
    • Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
    • Клиенты и API.
  • 2. Настройка Кластера (практика – 1 ч)

    • Практика 2.1: запуск кластера Kafka с помощью Docker.
    • Установка Zookeeper.
    • Установка брокеров Kafka.
  • 3. Инструменты Kafka и управление данными – теория и демо (1 ч.)

    • Самые популярные инструменты Kafka.
    • Демо 3.1: Инструменты Kafka.
    • Практики KafkaOps.
  • 4. Разработка приложений на Java – теория (2 ч.), практика (1 ч.)

    • Kafka Producer API: основы.
    • Практика 4.1: Отправка одного сообщения.
    • Kafka Consumer API: основы, группы потребителей.
    • Практика 4.2: Один получатель.
    • Практика 4.3: Несколько получателей в одной группе.
    • Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
    • Практика 4.4: Транзакционный Отправитель.
    • Практика 4.5: Отправка и получение в транзакции.
    • Практика 4.6: Замороженный потребитель.
    • Практика 4.7: Медленный потребитель.
  • 5. Внешний доступ к кластеру Kafka – теория (2 ч.), практика (2 ч.)

    • Безопасность: SSL, SASL, Kerberos.
    • REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
    • Практика 5.1: доступ через REST Proxy.
    • Schema Registry: реестр схем.
    • Практика 5.2: Schema Registry.
  • 6. Kafka Streams и KSQL – теория (2 ч.), практика (2 ч.)

    • Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
    • Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
    • Практика 6.1: Реализация потоков без сохранения состояния.
    • Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний.
    • Практика 6.2: Агрегация в Kafka Streams.
    • KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация.
    • Окна в потоках: метки времени, плавающие, прыгающие, сеансовые.
    • Соединение: поток с потоком, KTable с KTable, поток с KTable.
    • Практика 6.3: Соединение потоков и таблиц.
    • KSQL: Потоки без программирования.
    • KSQL Серверная архитектура.
    • Практика 6.4: Реализация потоков без сохранения состояния в KSQL.
    • Практика 6.5: Агрегация в KSQL.
    • Практика 6.6: Соединение в KSQL.
  • 7. Kafka Connect – теория (2 ч.), практика (2 ч.)

    • Архитектура Kafka Connect.
    • Источники Kafka Connect.
    • Практика 7.1: JDBC Source Connector (postgres).
    • Практика 7.2: JDBC Source Connector (postgres) с ключами.
    • Kafka Connect Sinks.
    • Практика 7.3: JDBC Sink Connector (postgres).
    • Практика 7.4: JDBC Sink Connector (postgres) с ключами.
  • 8. Эксплуатация и мониторинг – теория (1 ч.), практика (1 ч.)

    • Цели по производительности и режимы выполнения.
    • Zookeeper: конфигурация, автономный режим и режим кворума, CLI.
    • Управление и мониторинг кластера.
    • Практика 8.1: Мониторинг кластера Kafka с помощью Prometheus.
    • Практика 8.2: Измерение производительности.
  • 9. Мульти-кластеры – теория (1 ч.), практика (1 ч.)

    • Различные мультикластреные архитектуры MirrorMaker.
    • Практика 9.1: Использование MirrorMaker для синхронизации кластеров.
    • Confluence Replicator.
  • Итого: теория – 14 ч. (58%), практика – 10 ч. (42%)

  • Развернуть программу
Раcписание курсов
Вид:
11.11.2024 - 27.11.2024
18:00-21:00
Локация:Онлайн
Длительность:24 ак.ч.
Время:18:00-21:00
44 500 руб.
Записаться
11.03.2025 - 27.03.2025
18:00-21:00
Локация:Онлайн
Длительность:24 ак.ч.
Время:18:00-21:00
44 500 руб.
Записаться
Смотреть полное расписание
Тренеры
Воронцов Олег
Эксперт в области архитектуры ПО

Более 20 в IT от разработки до архитектуры. Более 10 лет работы с Большими Данными в Российских и зарубежных проектах.

Специалист в области архитектуры больших данных и высоконагруженных систем обработки данных.
Кутчер Сергей
Эксперт сопровождения и развития высоконагруженных систем
Последние 6 лет занимается поддержкой и развитием высоконагруженных систем. Из них 4 года посвящены Kafka и интеграции с ней. На данный момент занимает должность ведущего инженера в крупной российской телекоммуникационной компании. Основной фронт работы — это Kafka в k8s и интеграция ИС с месседжингом. Ведущий инженер в МТС Диджитал. Основной профиль — поддержка k8s-инфраструктуры и Managed сервисов.

Сертификаты:

  • Java Programming: Arrays, Lists and Structured Data

  • Solving Problems with Software

  • DevOps практики и инструменты



Отзывы (5)
В целом хорошо, наиболее полезным курс будит для тех, кто хочет получить общие знания о Kafka (что это такое, как с ним работать), основных концепциях, вариантах использования и инструментах. Тренинг разделен на два части: теоретическую и практическую. Практические задания очень понравились, особенно задания на разработку Java-клиентов для Kafka. Спасибо!
Участник тренинга
Замечательный курс, суперполезный материал и высококвалифицированный, терпеливый и опытный тренер! Я получила ответы на все интересующие вопросы и узнала о многих нюансах использования Kafka. Отдельное спасибо за новые подходы к Kafka Streams и K-SQL. Хороший курс, порекомендую всем своим коллегам 😊
Участник тренинга
Мне очень понравился курс и тренер. Он рассказал нам много интересных деталей и ответил на вопросы. Больше всего понравилась практика и материалы, которые можно использовать в работе. Я думаю, тренинг полезен для тех, кто хочет получить хорошее представление об основах Кафки.
Участник тренинга
В целом содержание тренинга меня устроило. У меня есть некоторый опыт работы с Kafka, но этот ОЧЕНЬ ОБЪЁМНЫЙ тренинг может взорвать мозг новичкам 😊 наиболее полезным для меня была практика в Kafka и Java. Порадовало, что тренер поделился всеми теоретическими и практическими материалами (планирую использовать их в работе).
Участник тренинга
Спасибо за обучение! Тренер рассказал об основах Кафки коротко и по делу, с хорошими практическими примерами. Поскольку я разработчик системы T24 Core Banking, скорее всего, в будущем я столкнусь с интерфейсами, которые могут потребовать использования Kafka. Самой полезной для меня была тема «Kafka Streams API», потому что я могу использовать полученные знания в своей повседневной работе.
Участник тренинга
Показать все отзывы
Ваши преимущества
Экспертность
Тренеры-эксперты из реальных проектов крупнейших компаний, лидеров в своей отрасли
Живое обучение
“Живая” коммуникация с тренером даже в онлайн-формате
Практика
Максимально наполненные практикой занятия, работа в группах, выполнение домашних заданий
Пользователь только что записался на курс ""
Спасибо!
Форма отправлена успешно.