14. Распределение нагрузки (cdn, основные варианты организации). Web-proxy, принцип действия. P2p-сети (основные варианты организации).

Web-proxy, является объектом сети, который отвечает на HTTP запрос от имени клиента. Proxy имеет собственную дисковую память, в которой хранится копия запрошенных объектов (Web-кэш). После того, как браузер настроен определенным образом, любой запрашиваемый объект сначала ищется в web-кэше.

Прокси-сервер - служба в компьютерных сетях, позволяющая клиентам выполнять косвенные запросы к другим сетевым службам. Сначала клиент подключается к прокси-серверу и запрашивает какой-либо ресурс (например, файл), расположенный на другом сервере. Затем прокси-сервер либо подключается к указанному серверу и получает ресурс у него, либо возвращает ресурс из собственного кэша. В некоторых случаях запрос клиента или ответ сервера может быть изменён прокси-сервером в опр целях.

кэширование - процесс сохранения часто запрашиваемых документов на промежуточных прокси-серверах или машине пользователя, с целью предотвращения их постоянной загрузки с сервера-источника и уменьшения трафика. Т.е. перемещение информации поближе к пользователю. Управление кэшированием осуществляется при помощи HTTP-заголовков.

Прокси-сервер может играть роль как клиента, так и сервера. Является формой распределенных ресурсов, тк дублируют объекты серверов-источников и организуют доступ пользователей к локальным копиям объектов.

Получило распространение: 1) способны значительно сократить время выполнения запроса пользователя (в особенности, если скорость передачи между пользователем и кэш-сервером превышает скорость между пользователем и сервером-источником. 2) способен значительно снизить трафик между локальными сетями и И. 3) позволяет с большей ск распр-ть ресурсы среди пользователей.

Несколько территориально распределенных кэш-серверов могут объединяться и функционировать совместно. Например локальный кэш-сервер организации в случае необходимости направлял запрос к магистральному кэш-серверу И-провайдера. Это обеспечит двухступенчатый поиск. Альтернативным вариантом системы кэширования являются кластеры кэшей, расположенных внутри одной локальной сети. Такая система порождает проблему: к какому обратиться при поиске. Это решается маршрутизацией с использованием хэш-функций.

CDN: Применение кэш-серверов способно значительно сократить время доставки наиболее востребованных ресурсов.

Также широкое распространение получила технология CDN (сети распределенных ресурсов). Потребитель услуг - поставщики ресурсов. План функционирования: 1. Компания устанавливает мн-во И-серверов, распределенных в И (в центрах И-хостинга, принадлежащих сторонним компаниям, здания с большим числом хостов). 2. Копирует ресурсы своих потребителей на CDN-северы,

при обновлении компания заменяет старое содержимое новым. 3. Обеспечивается такое обслуживание при котором CDN осущ обработку запроса за мин время (территориально близок, нет перегруженных узлов). Схема: 1. поставщик ресурсов определяет объекты 2. нужные объекты отсылаются узлу распределения CDN, который доставляет их на все CDN-серверы. 3. Когда браузер пользователя формирует запрос используется механизм DNS-перенаправления, указывающий браузерам адрес нужного сервера.

Одноранговое разделение файлов: P2P.Каждая одноранговая система одновременно является поставщиком и потребителем ресурсов. Все объекты передаются между хостами без участия 3 стороны (создается прямое TCP-соединение). Не смотря на то, что обмен происходит децентрализовано, фактически используется парадигма клиент/сервер. Обычно в каждый момент времени сущ мн-во подключенных к P2P-системе пользователей, каждый из которых обладает доступными ресурсами. В каждый момент времени происходит отключение и подключение новых пользователей, для поиска нужно получить IP-адреса.

Варианты поиска ресурсов: Централизованный каталог: создается сервер или объединение серверов (при запуске сообщает свой IP и список файлов), ТО - это динамическая БД, с помощью которой все системы могут получить инфу друг о друге. Необходимо следить за активностью (генерация сообщений, TCP-соединение). Недостатки: (одна точка возможного отказа, возможность перегрузки, защита авторских прав). Децентрализованный каталог: Распределение ресурсов центрального каталога между одноранговыми системами. Выделяется часть систем и они становятся лидерами групп. Система разбивается на мн-во связанных между собой одноранговых подсистем, в которых лидер групп играет роль центрального сервера. Одноранговые системы с их взаимосвязью образуют абстрактную логическую структуры - оверлейная сеть. Достоинство: отсутствие выделенного сервера для базу данных каталога. Недостатки: необходим сложный протокол взаимодействия, лидеры групп не являются истинно одноранговыми по отношению к остальным членам групп, присутствует непрерывно функционирующий сервер, выполняющий функции узла начальной загрузки. Поток запросов: Одноранговые системы самоорганизуются в оверлейную сеть, имеющую плоскую, неструктурированную топологию. Все пользователи равны между собой. Присоединение нового узла происходит с помощью узла начальной загрузки. Каждая система располагает сведениями только о своих соседях. Требуется сложный протокол. Для поиска - поток запросов. Отсутствует БД. Запрос по всей системе - трафик - ограничение.