- •1. Введение
- •2. Поисковые системы
- •2.1 Как работают механизмы поиска
- •2.2 Сравнительный обзор поисковых систем
- •3. Поисковые роботы
- •3.1 Использование поисковых роботов
- •3.1.1 Статистический Анализ
- •3.1.2 Обслуживание гипертекстов
- •3.1.3 Зазеркаливание
- •3.1.4 Исследование ресурсов
- •3.1.5 Комбинированное использование
- •3.2 Повышение затрат и потенциальные опасности при использовании поисковых роботов
- •3.2.1 Сетевой ресурс и загрузка сервера
- •3.2.2 Обновление документов
- •3.3 Роботы / агенты клиента
- •3.3.1 Плохие программные реализации роботов
- •4. Проблемы при каталогизации информации
- •4.1. Определение роботом, какую информацию включать / исключать
- •4.2. Формат файла /robots.Txt.
- •4.3. Записи (records) файла /robots.Txt
- •4.4. Расширенные комментарии формата.
- •4.5. Определение порядка перемещения по Сети
- •4.6. Подведение итоговых данных
- •5. Заключение
- •6. Список использованной литературы
5. Заключение
Данная работа, естественно, не претендует ни на полноту, ни на точность изложения. Большая часть материала была взята из иностранных источников, в частности, основой послужили обзоры Мартина Костера (Martijn Koster). Поэтому я не исключаю возможности, что данный документ содержит какие-либо неточности, связанные как с переводом, так и с феноменально быстрым развитием информационных технологий. Однако, я все же надеюсь, что данная статья окажется полезной всем, кого интересует Всемирная Сеть Интернет, ее развитие и будущее. В любом случае я буду рад получить отклики о моей работе по E-Mail: tikhonov@ukr.net
6. Список использованной литературы
Павел Храмцов "Поиск и навигация в Internet".
http://www.osp.ru/cw/1996/20/31.htm
How Intranet Search Tools and Spiders Work
http://linux.manas.kg/books/how_intranets_work/ch32.htm
Martijn Koster "Robots in the Web: threat or treat?"
http://info.webcrawler.com/mak/projects/robots/threat-or-treat.html
Обучение Интернет-профессиям. Search engine Expert.
http://searchengine.narod.ru/archiv/se_2_250500.htm
Андрей Аликберов "Несколько слов о том, как работают роботы поисковых машин".
http://www.citforum.ru/internet/search/art_1.shtml