Лабораторная работа №7
.docxМинистерство цифрового развития, связи и массовых коммуникаций
Российской Федерации Ордена Трудового Красного Знамени
федеральное государственное бюджетное образовательное
учреждение высшего образования
Московский технический университет связи и информатики
Кафедра «Математическая кибернетика и информационные технологии»
Лабораторная работа №7
«Веб-сканер»
по дисциплине
«Кроссплатформенные технологии программирования»
Москва 2022
Содержание
1 Цель работы 3
2 Задание на лабораторную работу 3
3 Ход работы 4
3.1 Crawler 4
3.2 CrawlerTask 6
3.3 URLDepthPair 9
3.4 URLPool 10
4 Вывод 11
Список использованных источников 11
1 Цель работы
Реализовать элементарный веб-сканер, который будет автоматически загружать веб страницы из интернета, искать новые ссылки на этих страницах и повторять их.
2 Задание на лабораторную работу
Реализовать класс Crawler для обработки URL-адресов
Реализовать класс CrawlerTask, который просматривает веб-сайты и добавляет новые ссылки в пул для обработки другими потоками.
Реализовать класс URLDepthPair, который сохраняет URL-адреса и глубину, на которой они исследованы.
Реализовать класс класс URLPool, который отслеживает URL-адреса, которые необходимо обработать, а также URL-адреса которые уже просмотрены.
3 Ход работы
3.1 Crawler
Отвечает за обработку URL-адресов. Код представлен на рисунке 1 и 2.
Рисунок 1-Crawler
Рисунок 2-Crawler
3.2 CrawlerTask
Просматривает веб-сайты и добавляет новые ссылки в пул для обработки другими потоками. Код представлен на рисунках 3, 4, 5.
Рисунок 3-CrawlerTask
Рисунок 4-CrawlerTask
Рисунок 5-CrawlerTask
URLDepthPair
Cохраняет URL-адреса и глубину, на которой они исследованы. Код представлен на рисунке 5.
Р исунок 5-URLDepthPair
URLPool
Отслеживает URL-адреса, которые необходимо обработать, а также URL-адреса, которые уже просмотрены. Код представлен на рисунках 6 и 7.
Рисунок 6-URLPool
Рисунок 6-URLPool
4 Вывод
Был реализован элементарный веб-сканер, который будет автоматически загружать веб страницы из интернета, искать новые ссылки на этих страницах и повторять их.
Список использованных источников
1) ГОСТ 7.32.2017 Система стандартов по информации, библиотечному и издательскому делу. Отчет о научно-исследовательской работе. Структура и правила оформления. – М.: Стандартинформ, 2017, - 27 с.