БСТ19ХХ / Лабораторная работа №3
.docxФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ
Ордена Трудового Красного Знамени федеральное государственное бюджетное образовательное учреждение высшего образования
«МОСКОВСКИЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ СВЯЗИ И ИНФОРМАТИКИ»
Лабораторная работа №3
по теме:
«Простейшие запросы.»
Подготовил студент
-
-
Оглавление
Задание 3
Выполнение работы 4
1. Создание каталога ввода для программы 4
2. Создание файлов ввода и их перемешение в каталог ввода 4
3. Компиляция класса WordCount. 4
4. Создание jar файла. 5
5. Запуск WordCount 5
6. Результат 6
Задание
Цель работы: ознакомится с процессом MapReduce на примере подсчета слов в файле.
Задачи: Написать программу для подсчета количества слов на языке
java или воспользоваться примерами программ. И выполнить следующую последовательность действий:
Перед запуском примера необходимо создать места ввода и вывода в формате HDFS.
Создайте примеры текстовых файлов для использования в качестве
входных данных и переместите их в каталог/user/cloudera/wordcount/input в HDFS. Вы можете использовать любые файлы по своему выбору;
Скомпилируйте класс WordCount.
Создайте файл JAR для приложения WordCount.
Запустите приложение WordCount из файла JAR, передав пути к входным и выходным каталогам в формате HDFS.
Если вы хотите запустить образец снова, сначала вам нужно удалить выходной каталог. Используйте следующую команду.
hadoop fs -rm -r /user/cloudera/wordcount/output
Выполнение работы
1. Создание каталога ввода для программы
2. Создание файлов ввода и их перемешение в каталог ввода
3. Компиляция класса WordCount.
4. Создание jar файла.
5. Запуск WordCount
6. Результат