EAS-030
Kafka Advanced
Глубокое погружение в Apache Kafka: архитектура, производительность, инструменты и практика. Узнайте, как создавать надежные и эффективные системы обработки данных в реальном времени с помощью Kafka, Kafka Connect, Kafka Streams и ksqlDB.
Удостоверение о прохождении
Смотреть пример
30 академ. часов
Онлайн
Подробнее
О чём курс
Этот тренинг будет полезен слушателям, которые работают с Apache Kafka и хотят углубить свои знания и навыки в этой области.
В рамках данного тренинга вы изучите различные аспекты Kafka, начиная с архитектуры и основных компонентов, таких как кластеры, брокеры и клиенты. Вы освоите концепцию топиков и разделов, а также настройку параметры производительности Kafka.
Тренинг также включает модуль, посвященный устройству Producer и Consumer. Вы освоите внутреннее устройство Kafka Producer и Consumer, включая потоки, буферы и таймауты, а также узнаете о смещениях, группах получателей и методах сохранения смещений.
В следующем модуле рассматривается надежная доставка сообщений. Вы ознакомитесь с различными гарантиями порядка сообщений и доставки, включая гарантии "at least once" и "exactly once", а также узнаете о транзакциях, обработке ошибок и повторной передаче сообщений.
Вы изучите Kafka Connect, инструмент для создания конвейеров данных, рассмотрите внутреннее устройство Kafka Connect, настройку и преобразованиях данных, примеры коннекторов.
Другой важный модуль тренинга посвящен Kafka Streams – библиотеке для обработки и анализа данных в реальном времени. Вы изучите такие концепции, как сериализация, окна, агрегирование и сохранение состояния, познакомитесь с Processor API и научитесь использовать Kafka Streams для создания потоковых приложений.
Тренинг завершается изучением ksqlDB расширения Kafka, предоставляющего SQL-подобный интерфейс для работы с данными. В рамках данного модуля вы узнаете о потоках, таблицах, преобразованиях и непрерывных запросах в ksqlDB, а также ознакомитесь с методами развертывания кластера ksqlDB.
В каждом модуле тренинга предусмотрено выполнение практических заданий, которые помогут освоить знания и решать реальные задачи, связанные с обработкой данных в реальном времени.
В рамках данного тренинга вы изучите различные аспекты Kafka, начиная с архитектуры и основных компонентов, таких как кластеры, брокеры и клиенты. Вы освоите концепцию топиков и разделов, а также настройку параметры производительности Kafka.
Тренинг также включает модуль, посвященный устройству Producer и Consumer. Вы освоите внутреннее устройство Kafka Producer и Consumer, включая потоки, буферы и таймауты, а также узнаете о смещениях, группах получателей и методах сохранения смещений.
В следующем модуле рассматривается надежная доставка сообщений. Вы ознакомитесь с различными гарантиями порядка сообщений и доставки, включая гарантии "at least once" и "exactly once", а также узнаете о транзакциях, обработке ошибок и повторной передаче сообщений.
Вы изучите Kafka Connect, инструмент для создания конвейеров данных, рассмотрите внутреннее устройство Kafka Connect, настройку и преобразованиях данных, примеры коннекторов.
Другой важный модуль тренинга посвящен Kafka Streams – библиотеке для обработки и анализа данных в реальном времени. Вы изучите такие концепции, как сериализация, окна, агрегирование и сохранение состояния, познакомитесь с Processor API и научитесь использовать Kafka Streams для создания потоковых приложений.
Тренинг завершается изучением ksqlDB расширения Kafka, предоставляющего SQL-подобный интерфейс для работы с данными. В рамках данного модуля вы узнаете о потоках, таблицах, преобразованиях и непрерывных запросах в ksqlDB, а также ознакомитесь с методами развертывания кластера ksqlDB.
В каждом модуле тренинга предусмотрено выполнение практических заданий, которые помогут освоить знания и решать реальные задачи, связанные с обработкой данных в реальном времени.
Цели
Целевая аудитория
Разработчики, архитекторы, инженеры данных, DevOps-инженеры, тестировщики.
Предварительная подготовка
Обязательно:
опыт работы с Kafka;
базовое знание Java \Scala.
желателен опыт работы с Docker, Linux
Для кого
Разработчик
Data Engineer
DevOps-инженер
Тестировщик
Улучшаемые навыки
Kafka
Kafka Connect
Kafka Streams
ksqlDB
Big Data
CI/CD
Реальное время
Обработка данных
Архитектура
Производительность
Инструменты
Docker
Kafka
Java
Расписание курсов
Программа курса
01
Архитектура Kafka
Практика: запуск кластера, запись в и чтение сообщений из тем, работа с темами (вывод списка и описаний), работа с разделами (увеличиваем количество), изменение параметров тем, работа с сегментами (просмотр информации о сегментах, смещениях, записях), работа с репликами (проверка поведения при отказе брокера), тестирование производительности кластера.
02
Устройство Producer и Consumer
Практика: изучение влияния параметров производителя на производительность при отправке сообщений, проверяем влияние параметров потребителя на производительность при чтении сообщений.
03
Надежная доставка
Практика: разработка приложений, которые используют транзакции.
04
Kafka Connect
Практика: работа с Kafka Connect — запуск разных сценариев интеграции с внешними системами.
05
Kafka Streams
Практика: разработка приложений Kafka Streams с использованием разных API.
06
ksqlDB
Практика: работа с ksqlDB — интеграция с Kafka Connect, преобразования сообщений, непрерывные запросы.
07
Итого на курс 30 часов: теория – 15 ч ( 50%), практика – 15 ч ( 50%)
Чему вы научитесь
01
Углубить понимание архитектуры Kafka
02
Настроить и оптимизировать производительность Kafka
03
Создавать надежные приложения с использованием Kafka Connect и Kafka Streams
04
Развертывать и управлять кластерами ksqlDB
05
Применять концепции окон, агрегирования и непрерывных запросов в ksqlDB
Курс проводят
Заигрин Вадим
Специалист в области BigData
О тренере
Более 35 лет в ИТ, с 2016 года работает с большими данными как разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах.
В рамках своей профессиональной деятельности :
Практический опыт базируется на знании Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Greenplum, Vertica), фреймворка Spark и платформ Google Cloud Platform и Yandex Cloud.
Образование:
Прикладная математика, Московский институт электроники и математики (МИЭМ)
В рамках своей профессиональной деятельности :
- развивал проекты в банках, в телекоммуникационных и розничных компаниях.
- разработал архитектуру миграции системы Teradata RTCM на Teradata VCX для телекоммуникационной компании.
- разработал архитектура системы обработки данных на базе Hadoop для совместного проекта международной платежной системы и крупного банка.
- разработал систему безопасности Hadoop на основе Atlas и Ranger.
- тестировал системы безопасности Protegrity в Hadoop для крупного банка.
Практический опыт базируется на знании Hadoop (Cloudera, Hortonworks), MPP-системами (Teradata, Greenplum, Vertica), фреймворка Spark и платформ Google Cloud Platform и Yandex Cloud.
Образование:
Прикладная математика, Московский институт электроники и математики (МИЭМ)
Курсы и сертификаты
Записаться на курс
54 900 ₽
49 410 ₽ — для физ. лиц
Юр. лицо — 54 900 ₽
Физ. лицо — 49 410 ₽
01.12.2025, Онлайн
01.12.2025, Онлайн
Открытая дата
Связанные курсы
Наши ученики работают в:
Наши клиенты
