BD_LR7_Mazhukin_BST2104

Министерство цифрового развития связи и массовых коммуникаций

Ордена Трудового Красного Знамени

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«МОСКОВСКИЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

СВЯЗИ И ИНФОРМАТИКИ»

Кафедра «Математическая кибернетика и информационные технологии»

Отчёт по лабораторной работе №7

по дисциплине «Большие данные»

Выполнил: студент группы БСТ2104

Мажукин И.Н.

Проверил: Тимофеева А.И.

Москва, 2023 г.

Цель лабораторной работы:

Получить навыки работы с Apache Kafka.

Ход лабораторной работы:

На рисунке 1 представлен вход на Kafka-брокер через ssh

Рисунок 1 – Вход на Kafka-брокер через ssh

На рисунке 2 представлен вход в директорию Kafka-брокера

Рисунок 2 – Вход в директорию Kafka-брокера

На рисунке 3 представлена команда для просмотра созданных топиков

Рисунок 3 – Команда для просмотра созданных топиков

На рисунке 4 представлена команда для создания топика с фактором репликации 2 и количеством партиций 3

Рисунок 4 – Команда для создания топика с фактором репликации 2 и количеством партиций 3

На рисунке 5 представлена команда для запуска producer Kafka

Рисунок 5 – Команда для запуска producer Kafka

На рисунке 6 представлен запуск Consumer в соседнем окне

Рисунок 6 – Запуск Consumer в соседнем окне

На рисунке 7 представлена запись строк в консоль Kafka Producer

Рисунок 7 – Запись строк в консоль Kafka Producer

На рисунке 8 представлена запись строк в партицию 0

Рисунок 8 – Запись строк в партицию 0

Какие строчки записались в партицию 0?

Ответ: Test1, Test3

Какой вывод можно сделать о стратегии распределения сообщений по умолчанию?

Round-robin

Key_hash%n

Explicit partition

Ответ: Исходя из вышепредставленной информации, стратегией распределения сообщений по умолчанию в данном примере будет являться Round-robin, поскольку здесь каждое сообщение отправляется по кругу по всем доступным партициям.

На рисунке 8 представлена команда для отображения своего топика

Рисунок 8 – Команда для отображения своего топика

Найдите свой топик. Какие выводы можно сделать о настройках nsync реплик? На каких хостах находятся лидер-реплики для каждой из созданных вами партиций?

Ответ: Исходя из полученных данных о топике, о настройках nsync реплик можно сделать вывод, что:

• Партиции 0, 1 и 2 имеют по две реплики каждая.

• Партиции 0, 1 и 2 имеют своего уникального лидера.

• Isr для каждой партиции включает обе реплики, что свидетельствует о том, что обе реплики успевают догонять лидера и находятся в синхронизированном состоянии.

Партиция	Лидер
0	1001
1	1002
2	1003

На рисунке 9 представлена команда для удаления своего топика

Рисунок 9 – Команда для удаления своего топика

Вывод:

В результате выполнения данной лабораторной работы были получены навыки работы с Apache Kafka.