3.История развития

Think" (1945)

Концепция гипер-текста и расширения памяти зародилась в июле 1945 года, когда, после объединения научных сообществ, что явилось пост-эффектом Второй Мировой Войны, Вэннивер Буш издал свою статью "Как мы можем думать" (As We May Think) в газете The Atlantic Monthly. Он убедил ученых работать вместе, для того, чтобы создать оболочку для знаний всего человечества. Здесь приведены несколько избранных предложений из этой статьи, которые отображают его основные идеи.

Специализация становится все более необходимой для дальнейшего прогресса, а попытки связать разные дисциплины очень слабы.

Сложность, кажется, состоит не в том, что мы чрезмерно публикуем статьи, принимая во внимание объем и разнообразие различных современных интересов, а в том,что эти публикации будут сделаны далеко за пределами существующих способностей на практике использовать подобные отчеты. Суммирование опыта человечества сегодня происходит в огромных размерах, а средства, которые мы используем чтобы пробиться сквозь логические лабиринты к сиюминутной важной цели остается той же, что мы использовали во времена кораблей с прямым парусным вооружением. Запись, если она может быть полезной для науки, должна непрерывно расширяться, она должна расширяться, и, кроме того, она должна использоваться.

Он не только твердо верил в важность хранения информации, но также считал, что если источник информации имеет значение для человеческого разума, то мы должны показать, как работает этот разум на благо наших возможностей.

Наше неумение узнавать о записях в основном вызвано искусственным системным индексированием… Найдя что-то одно, приходится выходить из системы и заново вводить новую линию. Человеческий разум работает по-другому. Мы мыслим образами… Человеку не стоит надеяться на искусственную имитацию этого умственного процесса, но он должен научиться использовать его. В менее значительных случаях человек может даже совершенствовать этот процесс, потому что у его мысленных записей есть сходное постоянство. Вероятно, человеческий дух нужно возвысить, если он может лучше просматривать свое далекое прошлое и более совершенно и объективно анализировать свои существующие проблемы. Человек построил такую сложную цивилизацию, что ему нужно механизировать свои записи более полно, если он хочет подвести логический итог своему опыту и не захлебнуться в перегруженной ограниченной памяти.

Затем он предложил идею виртуально безлимитного, быстрого, надежного, открытого хранения ассоциативной памяти и системы поиска информации. Он назвал это устройство мемекс.

Жерар Сэлтон (1960-1990-е):

Жерар Сэлтон, который умер 28 августа 1995 года, был отцом современной технологии поиска. Его команды из Гарварда и Корнелла разработали систему информационного поиска SMART. Система Сэлтона Волшебного Автоматического Поиска Текста включала такие важные концепции как модель с векторами в пространстве состояний, Инверсионную Частотность Документа (ИПД), Частотность Термина (ЧТ), оценки дифференциации терминов и механизмы значимости откликов. Он является автором 56-страничной книги, которая называется «Теория Индексирования», в ней объясняется множество тестов автора, на которых до сих пор базируется поиск. Том Эвслин сделал отдельную запись в дневнике о том, как было работать с Мр. Сэлтоном.

Тед Нельсон

Тед Нельсон создал Проект Xanadu в 1960 и придумал термин гипертекста в 1963. Целью его Проекта Xanadu было создание сети компьютеров с интерфейсом обычного пользователя, которая бы решала множество таких социальных проблем, как например, власть. Хотя Тед был против комплексного кода разметки, обрывающихся связей и многих других проблем, связанных с HTML на WWW, большое количество вдохновения для создания WWW было взято из работы Теда. До сих пор спорят, по каким причинам Проект Xanadu провалился. Wikipedia предлагает биографию и множество источников информации о Мр. Нельсоне.

Сеть ARPA

Сеть ARPA - это сеть, которая в итоге привела к созданию интернета. На Wikipedia есть большая статья о сети ARPA, а на Google видео есть несколько интересных видео роликово сети ARPA с 1972 года.

Archie (система отслеживания FTP-архивов) (1990):

Первые несколько сотен веб сайтов появились в 1993 году, большинство из них – в колледжах, но задолго до этого появилась Archie (система отслеживания FTP-архивов).

Первая созданная поисковая система была Archie (система отслеживания FTP-архивов), ее спроектировал в 1990 году Алаг Эмтейдж, студент Университета МакГилл в Монтреале. Оригинальное название было «архивы», а затем сокращено до Archie. Archie (система отслеживания FTP-архивов) помогала решать проблемы с рассылкой данных, путем объединения оригинала текста со сравнивающим устройством обнаружения постоянных выражений, чтобы находить названия файлов, подходящие к запросу пользователя. По существу, Archie (система отслеживания FTP-архивов) стала базой данных названий файлов сети, которые он подгонял под запрос пользователей.

Veronica & Jughead

Как только распространилась молва про Archie (система отслеживания FTP-архивов), он стал живым словом компьютеров и обрел такую популярность как группа Обслуживания Систем Исчисления Университета Невада после разработки Veronica. Veronica выполняла ту же цель, что и Archie, но работала с файлами незашифрованного текста. Вскоре появился другой пользовательский интерфейс с такой же целью как и у Veronica, обе системы использовались для отправки файлов через Gopher, созданный как альтернатива Archie Марком МакКахиллом в Университете Миннесоты в 1991 году.

Протокол Передачи Файлов

На данном этапе существовал Тим Бернерс-Ли, хотя еще не было Всемирной Паутины (World Wide Web). Люди обменивались информацией одним способом – через Протокол Передачи Файлов (FTP). Если вы хотели поделиться файлом, вы устанавливали бы FTP-сервер. Если кто-то был заинтересован в нахождении данных, он мог использовать FTP-клиент. Этот процесс работал эффективно в малых группах, но чем больше данные хотели собрать, тем более фрагментированными они становились.

Развитие Интернета

На заре развития Интернета пользователей было не много, да и объем доступной информации был относительно невелик. Доступ к сети Интернет имели, в основном, сотрудники различных университетов и лабораторий, а Сеть в целом использовалась в научных целях. В то время вопрос поиска информации в сети Интернет не была настолько актуальным, как сейчас.

Первой попыткой систематизировать доступ к информационным ресурсам стало создание каталогов сайтов, в которых ссылки на ресурсы группировались согласно тематике. И «пионером» стал сайт Yahoo, открывшийся в апреле 1994 года. По мере существенного увеличения числа сайтов в каталоге, Yahoo добавил возможность поиска информации по каталогу. Это еще не была поисковая система в полном смысле, так как область поиска была ограничена только ресурсами, присутствующими в каталоге, а не всеми ресурсами сети Интернет.

Каталоги ссылок быстро стали популярными и широко использовались. Но по мере «разростания» сети Интернет, практически утратили свою популярность в настоящее время. Причина простая – даже современные каталоги, содержащие огромное количество ресурсов, представляют информацию лишь об очень малой части сети Интернет. Самый большой каталог сети DMOZ (или Open Directory Project) содержит информацию о 5 миллионах ресурсов, в то время как база поисковой системы Google состоит из более чем 8 миллиардов документов.

Первой полноценной поисковой системой стал проект WebCrawler появившийся в 1994 году. А уже в 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в Интернет.

В рамках исследовательского проекта, в 1997 году в Стэнфордском университете Сергей Брин и Ларри Пейдж создали Google. и сегодня Google является самой популярной поисковой системой в мире.

23 сентября 1997 года была официально анонсирована поисковая система Yandex, самая популярная в русскоязычной части Интернет.

В настоящее время существует три основных международных поисковых системы – Google, Yahoo и MSN Search. Они имеют собственные базы данных и алгоритмы поиска. Большинство остальных поисковых систем (коих можно насчитать очень много) использует в том или ином виде результаты этих трех систем. Например, поиск AOL (search.aol.com) и Mail.ru используют базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.