Лаб 2 БСТ1904 Пантелеева

Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации

Ордена Трудового Красного Знамени

Федеральное государственное образовательное бюджетное учреждение высшего профессионального образования

Московский технический университет связи и информатики

Дисциплина «Большие данные»

Лабораторная работа №2

Выполнила:

Студентка группы БСТ1904

Пантелеева К.А.

Проверила:

Пугачева М.А.

Москва, 2021

Задачи:

1. Установить на виртуальную машину образ Hadoop

2. Выполнить следующие шаги в терминале для доступа к панели администратора:

a. hostname # Покажет имя хоста: quickstart.cloudera

b. hdfs dfs -ls / # Проверка на наличие доступа и работу кластера. Покажет файлы в системе HDFS

c. service cloudera-scm-server status # Указывает, какую команду вам нужно ввести, чтобы использовать cloudera express бесплатно

d. su - #Вход в рута

e. service cloudera-scm-server status # Пароль для рута: cloudera

3. [Исследовательское] Сколько узлов одновременно можно потерять без потери данных в кластере из 10 узлов? (8) Из 100 узлов (98)?

Можно удалить узел из кластера на лету, пока он работает, без потери данных. HDFS предоставляет функцию вывода из эксплуатации, которая обеспечивает безопасное удаление узла.

4. Опробовать консольные утилиты для работы с кластером

• Создать/скопировать/удалить папку

• Положить в HDFS любой файл, скопировать/удалить этот файл

• Просмотреть размер любой папки

• Посмотреть, как файл хранится на файловой системе (см. команду fsck)

• Установить нестандартный фактор репликации (см. команду setrep)

5. Запустить Cloudera Express и Cloudera Manager. Изучить интерфейс

nts);