Улучшаемые навыки

Kafka
Kafka Connect
Kafka Streams
ksqlDB
Big Data
CI/CD
Реальное время
Обработка данных
Архитектура
Производительность

Инструменты

Docker Docker
Kafka Kafka
Java Java

Чему вы научитесь

01 Углубить понимание архитектуры Kafka
02 Настроить и оптимизировать производительность Kafka
03 Создавать надежные приложения с использованием Kafka Connect и Kafka Streams
04 Развертывать и управлять кластерами ksqlDB
05 Применять концепции окон, агрегирования и непрерывных запросов в ksqlDB

Программа курса

01 Архитектура Kafka
  • Кластер, брокеры, клиенты
  • Топики и разделы
  • Очистка сегментов (retention, compaction)
  • Репликация, лидеры и следующие, ISR
  • Контроллеры, KRaft
  • Настройка производительности

  • Практика:
     запуск кластера, запись в и чтение сообщений из тем, работа с темами (вывод списка и описаний), работа с разделами (увеличиваем количество), изменение параметров тем, работа с сегментами (просмотр информации о сегментах, смещениях, записях), работа с репликами (проверка поведения при отказе брокера), тестирование производительности кластера.
    02 Устройство Producer и Consumer
  • Внутреннее устройство: потоки, буферы, таймауты
  • Смещения, группы получателей
  • Автоматическое и ручное сохранение смещений
  • Перебалансировка группы

  • Практика:
    изучение влияния параметров производителя на производительность при отправке сообщений, проверяем влияние параметров потребителя на производительность при чтении сообщений.
    03 Надежная доставка
  • Гарантии порядка сообщений
  • Гарантии доставки at least once, exactly once
  • Транзакции
  • Обработка ошибок и повторная передача
  • Сбои сети, брокеров и клиентов

  • Практика:
     разработка приложений, которые используют транзакции.
    04 Kafka Connect
  • Конвейеры данных
  • Обзор Kafka Connect
  • Внутреннее устройство
  • Преобразования
  • Запуск Kafka Connect
  • Примеры коннекторов
  • Разработка коннекторов

  • Практика:
     работа с Kafka Connect — запуск разных сценариев интеграции с внешними системами.
    05 Kafka Streams
  • Источники и приемники
  • Сериализация, SerDe, схемы сообщений
  • Окна
  • Преобразования
  • Агрегирование
  • Сохранение состояния
  • Транзакции
  • Processor API

  • Практика:
     разработка приложений Kafka Streams с использованием разных API.
    06 ksqlDB
  • Источники и приемники
  • Потоки и таблицы
  • Преобразования
  • Непрерывные запросы
  • Окна
  • Агрегирование
  • Транзакции
  • Развертывание кластера ksqlDB

  • Практика:
     работа с ksqlDB — интеграция с Kafka Connect, преобразования сообщений, непрерывные запросы.
    07 Итого на курс 30 часов: теория – 15 ч ( 50%), практика – 15 ч ( 50%)

    57 600 ₽

    51 840 ₽ — для физ. лиц

    Записаться на курс

    Для кого

    Разработчик Разработчик
    Data Engineer Data Engineer
    DevOps-инженер DevOps-инженер
    Тестировщик Тестировщик

    Предварительная подготовка

    Обязательно:
  • опыт работы с Kafka;
  • базовое знание Java \Scala.
  • желателен опыт работы с Docker, Linux
  • 57 600 ₽

    51 840 ₽ — для физ. лиц

    Записаться на курс

    Записаться на курс

    57 600 ₽

    51 840 ₽ — для физ. лиц

    Юр. лицо — 57 600 ₽
    Физ. лицо — 51 840 ₽
    Открытая дата

    Наши ученики работают в:

    Наши клиенты

    Mail.ru
    Альфа-Банк, банковская группа
    Лаборатория Касперского
    Магнит, розничная сеть
    Спортмастер, сеть спортивных магазинов
    ПСБ
    Сбертех
    Дзен
    IT One
    Ростелеком
    Мегафон
    Nexign
    Ozon
    Декатлон
    X5 Group
    Технониколь
    Росатом
    Газпром
    Нлмк
    ВСК
    Синимекс

    Связанные курсы

    EAS-026
    24 часа

    Основы Kafka

    Введение в Apache Kafka: стриминговая платформа для обработки данных в реальном времени. Освоите основы Apache Kafka и научитесь разрабатывать распределенные стриминговые приложения. Получите практический опыт работы с экосистемой Kafka, включая настройку кластеров, разработку клиентских приложений и использование KSQL.

    от Middle

    52 400 ₽

    Инструкция по установке Kafka

    Не нашли, что искали? — Просто напишите, и мы поможем

    Корпоративное обучение Оценка персонала Сертификация О нас Стань тренером Блог
    Пользователь только что записался на курс ""
    Спасибо!
    Форма отправлена успешно.