Необходимые компоненты

1. Java Development Kit (JDK) версии 8 или выше.

Скачать можно с официального сайта Oracle.

После установки проверьте работоспособность в командной строке (cmd) командой: java --version.

Убедитесь, что переменная окружения JAVA_HOME корректно настроена.

2. Apache Kafka (последняя стабильная версия).

Скачать можно с официального сайта Kafka.

Выберите Binary downloads и распакуйте архив в удобное место (например,C:\Kafka).

! Рекомендуется устанавливать последнюю стабильную версию программы (на момент создания урока это версия 3.9.0, поэтому далее рассматривается именно она). Однако процесс установки от версии к версии практически не меняется, так что данная информация подойдет и для других версий. !

После распаковки дистрибутива, вы увидите различные папки, такие как:

bin: содержит исполняемые файлы (скрипты), которые используются для запуска и управления Kafka. Внутри есть подпапка windows — в ней лежат те же самые скрипты, но адаптированные для Windows (например,.bat-файлы вместо .sh).

Эти скрипты позволяют запускать и останавливать сервер Kafka (kafka-server-start, kafka-server-stop); работать с топиками (создавать, удалять, просматривать), управлять кластером через консоль.

config: здесь хранятся файлы настроек Kafka и ZooKeeper (системы, которая помогает Kafka координировать работу).

Основные файлы:

server.properties — главный конфигурационный файл Kafka (настройки сервера, порты, пути к данным и т. д.).

zookeeper.properties — настройки ZooKeeper (нужен для управления кластером Kafka).

Другие файлы (например, для настройки безопасности, логов и т. д.).

Если вам нужно изменить порт, путь к данным или другие параметры, редактируйте их здесь.

libs: Это папка со всеми библиотеками, которые нужны для запуска и работоспособности.

Kafka написана на Java, поэтому без этих файлов она не запустится.

Обычно здесь ничего не меняют, но если вы добавляете свои плагины или расширения – их можно положить сюда.

logs: Здесь Kafka сохраняет логи (журналы событий) — записи о работе системы, ошибках и предупреждениях. Они могут быть полезны при отладке проблем и нахождении зависимостей между компонентами.

Основные логи:

server.log — основные сообщения сервера Kafka.

controller.log — логи управления кластером.

state-change.log — изменения состояния сервера.

Если что-то пошло не так, первым делом смотрите сюда!

Шаг 1. Настройка Kafka

Базовая настройка каталога данных и логирования. По умолчанию, файлы логов и каталог данных сохраняются в папке /tmp, что может привести к проблемам производительности, безопасности и управления данными.

Измените пути для логов и данных:

1. Перейдите в config/server.properties и откройте файл в любом текстовом редакторе (на скриншоте Notepad++).
2. Найдите поле log.dirs (можно воспользоваться поиском, для этого нажмите сочетание клавиш Ctrl+F).

3. Поменяйте стандартный путь /tmp/kafka-logs на постоянный путь. Например C:\Kafka\kafka-logs. После чего сохраните файл и закройте его. Папка kafka-logs должна быть создана.
4. Аналогичные действия нужно сделать и для каталога данных. Для этого перейдите в config/zookeeper.properties и откройте файл в любом текстовом редакторе.
5. В параметре dataDir также нужно поменять стандартный путь на свой. Например c:/kafka/zookeeper-data. Папка zookeeper-data должна быть создана.


Запуск серверов:

Для запуска нужно перейти в папку с распакованным архивом и открыть командную строку.

Zookeeper: откройте командную строку в папке Kafka и выполните команду .\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties.

Убедитесь, что Zookeeper запущен на порту 2181 — это стандартный порт для этой службы.

Если у вас появляется ошибка «The input line is too long. The syntax of the command is incorrect», переместите папку с Kafka в каталог, ближе к корню диска. Во время запуска zookeeper-server-start.bat вызывает CLASSPATH несколько раз, что приводит к переполнению переменной. Среда cmd.exe поддерживает не более 8191 символов.

Kafka: в новом окне командной строки выполните команду .\bin\windows\kafka-server-start.bat .\config\server.properties.

Для проверки работоспособности в новой командной строке попробуйте создать тему с помощью следующей команды: .\bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 --topic TestTopic.
 
Вы должны увидеть аналогичное сообщение:



Обратите внимание, что порт 2181 совпадает с открытым портом для Zookeeper.

Шаг 2. Отправка и получение сообщений

Для наглядности создадим еще одну тему под названием NewTopic.

Проверим, какие темы у нас существуют, следующей командой: .\bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1 --topic NewTopic.

После этого выполним проверку созданных топиков командой .\bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092.

У Вас должно быть аналогичное сообщение:



Для того чтобы начать получать сообщения, в новом окне консоли введите следующую команду: .\bin\windows\kafka-console-consumer.bat --bootstrap-server

localhost:9092 --topic TestTopic --from-beginning



Как видно, мы получили наши тестовые сообщения.

Это простой функционал, который помогает понять и разобраться в инструментах Kafka. Однако у вас может что-то пойти не так в процессе выполнения установки и тестов.

Возможные ошибки и решения

Проблемы с JDK. Убедитесь что у вас установлен JDK, а не JRE. Также обратите внимание на версию, она должна быть 8 или выше.

Проверка переменных окружения. После установки Java убедитесь, что переменная JAVA_HOME правильно установлена и что путь к каталогу bin присутствует в системном пути.

Проблемы с firewall и антивирусом. Иногда сторонние антивирусные программы или firewall могут блокировать Kafka. Если вы столкнулись с проблемами подключения, попробуйте на время отключить их.

Порты. По умолчанию Zookeeper слушает на порту 2181, а Kafka на 9092. Убедитесь, что эти порты свободны или переназначьте стандартные порты для этих служб.

Запуск Zookeeper перед Kafka. Перед тем как запускать Kafka, убедитесь, что Zookeeper уже работает. Если нет, то запустите Zookeeper.

Неправильное завершение Kafka. Если Kafka завершается неправильно, то возможно некоторые данные еще остались во временной папке. Если вы начинаете сталкиваться с трудностями при запуске, попробуйте очистить временные файлы.

В данной работе мы установили Kafka, настроили серверы, создали топики и проверили отправку/получение сообщений.