Министерство цифрового развития, связи и массовых коммуникаций

Российской Федерации Ордена Трудового Красного Знамени

федеральное государственное бюджетное образовательное

учреждение высшего образования

Московский технический университет связи и информатики

Кафедра «Математическая кибернетика и информационные технологии»

Лабораторная работа №3

по дисциплине

«Большие данные»

Москва 2022

Содержание

1 Задание на лабораторную работу 3

2 Выполнение лабораторной работы 3

2.1 Задание 1 3

2.2 Задание 2 3

2.3 Задание 3 4

2.4 Задание 4 4

2.5 Задание 5 5

2.6 Задание 6 6

1 Задание на лабораторную работу

Написать программу для подсчета количества слов на языке java или воспользоваться примерами программ.

2 Выполнение лабораторной работы

2.1 Задание 1

Перед запуском примера необходимо создать места ввода и вывода в формате HDFS. Используйте следующие команды для создания каталога ввода/пользователя/cloudera/wordcount/ ввода в HDFS. Выполнение задания представлено на рисунке 1.

Рисунок 1 -Задание 1.

2.2 Задание 2

Создайте примеры текстовых файлов для использования в качестве входных данных и переместите их в каталог user/cloudera/wordcount/input в HDFS. Вы можете использовать любые файлы по своему выбору; для удобства следующие команды оболочки создают несколько небольших входных файлов для иллюстрации. Файл Makefile также содержит большинство следующих команд. Выполнение задания представлено на рисунке 2.

Рисунок 2 – Задание 2

2.3 Задание 3

Скомпилируйте класс WordCount. Выполнение задания представлено на рисунке 3.

Рисунок 3 – Задание 3

2.4 Задание 4

Создайте файл JAR для приложения WordCount. Выполнение задания представлено на рисунке 4.

Рисунок 4 – Задание 4

2.5 Задание 5

Запустите приложение WordCount из файла JAR, передав пути к входным и выходным каталогам в формате HDFS. Выполнение задания представлено на рисунках 5-6.

Рисунок 5 – Задание 5

Рисунок 6 – Задание 5

2.6 Задание 6

Если вы хотите запустить образец снова, сначала вам нужно удалить выходной каталог. Выполнение задания представлено на рисунке 7.

Рисунок 7 – Задание 6