Улучшаемые навыки

Apache Kafka
Event Streaming
распределенная стриминговая платформа
Java
REST
KSQL
Kafka Connect
Kafka Streams
Docker
Zookeeper
SSL
SASL
Kerberos

Инструменты

Docker Docker
Kafka Kafka
PostgreSQL PostgreSQL
Prometheus Prometheus
Zookeeper Zookeeper
KSQL KSQL

Чему вы научитесь

01 Запускать и настраивать кластер Kafka с тремя узлами
02 Разрабатывать Java-клиентов для Kafka
03 Использовать KSQL для создания потоков без программирования
04 Конфигурировать Kafka Connect для интеграции с внешними системами
05 Мониторить и оптимизировать производительность кластера Kafka
06 Создавать транзакционные приложения с использованием Kafka

Программа курса

01 Обзор
  • Что такое Kafka.
  • Примеры удачного и неудачного использования Kafka.
  • Kafka и база данных: сходства и различия.
  • Kafka и прямые конкуренты.
  • Kafka и Apache Pulsar.
  • Архитектура хранилища Kafka: Брокеры, Темы, Разделы, Сегменты, Реплики.
  • Архитектура кластера Kafka: Zookeeper, партиционирование, главные и ведомые узлы репликации, ISR.
  • Клиенты и API.
    • 02 Настройка Кластера
  • Практика 2.1: запуск кластера Kafka с помощью Docker.
  • Установка Zookeeper.
  • Установка брокеров Kafka.
    • 03 Инструменты Kafka и управление данными
  • Самые популярные инструменты Kafka.
  • Демо 3.1: Инструменты Kafka.
  • Практики KafkaOps.
    • 04 Разработка приложений на Java
  • Kafka Producer API: основы.
  • Практика 4.1: Отправка одного сообщения.
  • Kafka Consumer API: основы, группы потребителей.
  • Практика 4.2: Один получатель.
  • Практика 4.3: Несколько получателей в одной группе.
  • Дополнительные возможности: Пакеты, Повторы, Идемпотентность, Транзакции, Перебалансировка Групп Потребителей.
  • Практика 4.4: Транзакционный Отправитель.
  • Практика 4.5: Отправка и получение в транзакции.
  • Практика 4.6: Замороженный потребитель.
  • Практика 4.7: Медленный потребитель.
    • 05 Внешний доступ к кластеру Kafka
  • Безопасность: SSL, SASL, Kerberos.
  • REST Proxy: отправка и получение сообщений в форматах JSON, бинарные и Авро файлы.
  • Практика 5.1: доступ через REST Proxy.
  • Schema Registry: реестр схем.
  • Практика 5.2: Schema Registry.
    • 06 Kafka Streams и KSQL
  • Kafka Streams: DSL, API, StreamBuilder, создание и реализация топологии.
  • Устройство Kafka Streams: многопоточность, несколько экземпляров и задач.
  • Практика 6.1: Реализация потоков без сохранения состояния.
  • Обработка с сохранением состояния: хранилище состояний, отказоустойчивость для хранилищ состояний.
  • Практика 6.2: Агрегация в Kafka Streams.
  • KTable: Потоки обновления данных, кэширование, скорость выдачи, агрегация.
  • Окна в потоках: метки времени, плавающие, прыгающие, сеансовые.
  • Соединение: поток с потоком, KTable с KTable, поток с KTable.
  • Практика 6.3: Соединение потоков и таблиц.
  • KSQL: Потоки без программирования.
  • KSQL Серверная архитектура.
  • Практика 6.4: Реализация потоков без сохранения состояния в KSQL.
  • Практика 6.5: Агрегация в KSQL.
  • Практика 6.6: Соединение в KSQL.
    • 07 Kafka Connect
  • Архитектура Kafka Connect.
  • Источники Kafka Connect.
  • Практика 7.1: JDBC Source Connector (postgres).
  • Практика 7.2: JDBC Source Connector (postgres) с ключами.
  • Kafka Connect Sinks.
  • Практика 7.3: JDBC Sink Connector (postgres).
  • Практика 7.4: JDBC Sink Connector (postgres) с ключами.
    • 08 Эксплуатация и мониторинг
  • Цели по производительности и режимы выполнения.
  • Zookeeper: конфигурация, автономный режим и режим кворума, CLI.
  • Управление и мониторинг кластера.
  • Практика 8.1: Мониторинг кластера Kafka с помощью Prometheus.
  • Практика 8.2: Измерение производительности.
    • 09 Мульти-кластеры
  • Различные мультикластреные архитектуры MirrorMaker.
  • Практика 9.1: Использование MirrorMaker для синхронизации кластеров.
  • Confluence Replicator.
    • 10 Итого на курс 24 часов: теория – 14ч ( 58%), практика 10– ч ( 42%)

    52 400 ₽

    47 160 ₽ — для физ. лиц

    Записаться на курс

    Для кого

    Разработчик Разработчик
    Архитектор ПО Архитектор ПО
    Data Engineer Data Engineer

    Предварительная подготовка

    Опыт разработки на Java от 3 месяцев.

    52 400 ₽

    47 160 ₽ — для физ. лиц

    Записаться на курс

    Записаться на курс

    52 400 ₽

    47 160 ₽ — для физ. лиц

    Юр. лицо — 52 400 ₽
    Физ. лицо — 47 160 ₽
    Открытая дата
    Ознакомлен с политикой обработки персональных данных
    Cоглашаюсь с условиями обработки персональных данных
    Отзывы и кейсы
    Отзывы учеников
    Читать все отзывы
    Курс: Основы Kafka
    Сергей отвечает на все вопросы и всегда спрашивает появились ли вопросы.
    Курс: Основы Kafka
    Спасибо за обучение! Тренер рассказал об основах Кафки коротко и по делу, с хорошими практическими примерами. Поскольку я разработчик системы T24 Core Banking, скорее всего, в будущем я столкнусь с интерфейсами, которые могут потребовать использования Kafka. Самой полезной для меня была тема «Kafka Streams API», потому что я могу использовать полученные знания в своей повседневной работе.
    Курс: Основы Kafka
    В целом содержание тренинга меня устроило. У меня есть некоторый опыт работы с Kafka, но этот ОЧЕНЬ ОБЪЁМНЫЙ тренинг может взорвать мозг новичкам
    Курс: Основы Kafka
    Мне очень понравился курс и тренер. Он рассказал нам много интересных деталей и ответил на вопросы. Больше всего понравилась практика и материалы, которые можно использовать в работе. Я думаю, тренинг полезен для тех, кто хочет получить хорошее представление об основах Кафки.
    Курс: Основы Kafka
    Замечательный курс, суперполезный материал и высококвалифицированный, терпеливый и опытный тренер! Я получила ответы на все интересующие вопросы и узнала о многих нюансах использования Kafka. Отдельное спасибо за новые подходы к Kafka Streams и K-SQL. Хороший курс, порекомендую всем своим коллегам
    Курс: Основы Kafka
    В целом хорошо, наиболее полезным курс будет для тех, кто хочет получить общие знания о Kafka (что это такое, как с ним работать), основных концепциях, вариантах использования и инструментах. Тренинг разделен на два части: теоретическую и практическую. Практические задания очень понравились, особенно задания на разработку Java-клиентов для Kafka. Спасибо!

    Наши ученики работают в:

    Наши клиенты

    Mail.ru
    Альфа-Банк, банковская группа
    Лаборатория Касперского
    Магнит, розничная сеть
    Спортмастер, сеть спортивных магазинов
    ПСБ
    Сбертех
    Дзен
    IT One
    Ростелеком
    Мегафон
    Nexign
    Ozon
    Декатлон
    X5 Group
    Технониколь
    Росатом
    Газпром
    Нлмк
    ВСК
    Синимекс

    Инструкция по установке Kafka

    Ознакомлен с политикой обработки персональных данных
    Cоглашаюсь с условиями обработки персональных данных

    Нужна помощь? Оставьте заявку, и мы свяжемся с вами в ближайшее время

    Ознакомлен с политикой обработки персональных данных
    Cоглашаюсь с условиями обработки персональных данных
    Согласен получать на e-mail информационные рассылки о новостях компании IBS Training
    Главная
    Все курсы
    Расписание
    Еще
    Корпоративное обучение Оценка персонала Сертификация О нас Стань тренером Блог Личный кабинет
    Пользователь только что записался на курс ""

    Файлы куки — это как ваши любимые библиотеки и фреймворки: они помогают нам обеспечить лучший опыт для вас. Подтвердите согласие с политикой конфиденциальности, нажав «Принимаю условия», чтобы продолжить.

    Развернуть

    Спасибо!
    Форма отправлена успешно.