БСТ19ХХ / Лабораторная работа №2
.docxФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ
Ордена Трудового Красного Знамени федеральное государственное бюджетное образовательное учреждение высшего образования
«МОСКОВСКИЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ СВЯЗИ И ИНФОРМАТИКИ»
Лабораторная работа №2
по теме:
«Большие данные. Знакомство образом Hadoop.»
Подготовил студент
-
-
Оглавление
Выполнить следующие шаги в терминале для доступа к панели администратора: 4
Запускаем Cloudera Express через терминал 13
Установить на виртуальную машину образ Hadoop (Для этого также понадобится VirtualBox или VMware (https://www.simplilearn.com/tutorials/big-data-tutorial/cloudera-quickstart-vm#downloading_the_cloudera_quickstart_vm)
Выполнить следующие шаги в терминале для доступа к панели администратора:
hostname # Покажет имя хоста: quickstart.cloudera
hdfs dfs -ls / # Проверка на наличие доступа и работу кластера. Покажет файлы в системе HDFS
service cloudera-scm-server status # Указывает, какую команду вам нужно ввести, чтобы использовать cloudera express бесплатно
su - #Вход в рута
service cloudera-scm-server status # Пароль для рута: cloudera Опробовать консольные утилиты для работы с кластером
• Создать/скопировать/удалить папку
hdfs dfs -mkdir /test_folder1 # Создать папку test_folder1:
hdfs dfs -mkdir /test_folder2 # Создать папку test-folder2
hdfs dfs -cp /test_folder1 /test_folder2 # Скопировать папку test-folder1 в папку test_folder2
hdfs dfs -rmdir /test_folder1 # Удалить папку test-folder1
hdfs dfs -appendToFile ~ /test_folder3/test.txt # Положили файлу test.txt в директорию test_folder3
hdfs dfs -copyFromLocal ~/test.txt /test_folder2/ # Скопировали предварительно созданный файл через команду touch test.txt в директорию test_folder2
hdfs dfs -rm /test_folder3/test.txt # Удалить файл test.txt из директории test_folder3
hdfs dfs -rm /test_folder2 # Посмотрели размер папки test_folder2
hdfs fsck /test_folder2 # Посмотреть как файл хранится на файловой системе (см. команду fsck)
hdfs dfs -setrep -w 2 /test_folder2 # Установить нестандартный фактор репликации (см. команду setrep)
Запускаем Cloudera Express через терминал
Заходим по url quckstart.cloudera:7180.Вводим логин и пароль указанный в терминале.
Нам стал доступен интерфейс Cloudera Manager.
Удалим sqoop
Посмотрим статус системы. Можно сделать вывод, системе не хватает оперативной памяти.
Посмотрим свойство службы HDFS
Рестартанем все сервисы в кластере