БД_лаб2_Архангельский М.В._2154

Министерство цифрового развития, Связи и Массовых Коммуникаций Российской Федерации Ордена Трудового Красного Знамени федеральноегосударственноебюджетное образовательное

учреждениевысшегообразования «Московский Технический УниверситетСвязи и Информатики»

(МТУСИ)

Кафедра«Математическая кибернетика иинформационныетехнологии»

Лабораторная работа №2:

«MapReduce»

попредмету: «Большие данные»

Выполнил: студент гр. БСТ2154 Архангельский М.В.

Принял: Старший преподаватель Полянцева К.А.

Москва 2023

Цель работы:

Ознакомится с процессом MapReduce на примере подсчета слов в файле.

Задание:

Написать программу для подсчета количества слов на языке java или воспользоваться примерами программ.

Выполнение:

Перед запуском примера необходимо создать места ввода и вывода в формате HDFS. Использованные команды для создания каталога ввода/пользователя/cloudera/wordcount/ввода в HDFS продемонстрированы на рисунке 1.

Рисунок 1 — Создание необходимых каталогов

Создадим примеры текстовых файлов для использования в качестве входных данных и переместим их в каталог /user/cloudera/wordcount/input в HDFS, как показано на рисунке 2.

Рисунок 2 — Создание необходимых файлов и их содержимого

Рисунок 3 — Результат работы команд по созданию файлов На рисунке 4 представлена компиляция класса WordCount.

Рисунок 4 — Компиляция класса WordCount

Рисунок 5 демонстрирует создание .jar файла.

Рисунок 5 — Создание .jar файла

На рисунке 6 представлен запуск WordCount.

Рисунок 6 — Запуск WordCount

Результат выполнения программы представлен на рисунке 7.

Рисунок 7 — Результат выполнения программы

Вывод:

В ходе выполнения лабораторной работы я ознакомился с работой процесса MapReduce на примере подсчета слов в файле. Был скомпилирован класс WordCount и в последующем запущен, после чего программа выполнила подсчет слов, из конечного результата можно сделать вывод, что все действия проделаны верно.