Нейрокомпьютерные системы

Прошкина Елена Николаевна

Оглавление

Аналитические технологии 4

Детерминированные технологии 4

Вероятностные технологии 4

Новые технологии 4

Искусственные нейронные сети 5

Принципы работы человеческого мозга 5

Формализация нейронных сетей 7

Принцип обучения искусственных нейронных сетей 12

Концепция обучения нейронной сети, предложенная Хэбом 13

Сбор данных для нейронной сети 14

Прикладные возможности нейронных сетей 14

Переобучение и обобщение 15

Персептрон 15

Алгоритм обратного распространения ошибки 18

Сигмоидальный нейрон 19

Нейрон типа «адалайн» 22

Инстар и оутстар Гроссберга 24

Нейрон типа WTA (Winner Takes All) 27

Модель нейрона Хэбба 29

Стохастическая модель нейрона 30

Стохастические алгоритмы обучения 31

Настройка числа нейронов в скрытых слоях многослойных сетей в процессе обучения 34

Алгоритмы сокращения 34

Конструктивные алгоритмы 35

Упрощенные алгоритмы расщепления 36

Радиальная базисная сеть 36

Вероятностные нейронные сети 38

Линейные нейронные сети 39

Обучение 40

Сети с самоорганизацией на основе конкуренции 41

Модели ассоциативной памяти. Сети Хопфилда 45

Когнитивные карты 48

Генетические алгоритмы 51

Естественный отбор и генетическое наследование 51

Модель эволюции в природе, реализованная программно 51

Символьная модель простого генетического алгоритма 53

Работа простого генетического алгоритма 53

Шима (Schema) 54

Применение аналитических технологий 57

Бизнес-приложения 58

Программные реализации аналитических технологий 58

Список литературы 60

Аналитические технологии

Аналитические технологии – это методики, которые на основе моделей, алгоритмов, математических теорем позволяют по известным данным оценить значение неизвестных характеристик и параметров.

Аналитические технологии позволяют решать не только хорошо формализованные задачи, но и обучаться решению новых задач.

Аналитические технологии делятся на:

1. Детерминированные;

2. Вероятностные;

3. Новые технологии: искусственные нейронные сети и генетические алгоритмы.

Детерминированные технологии

Полное описание задачи (модель) => [Известный алгоритм <= Известные параметры ]=> Ответ

Особенностью детерминированной технологии является то, что чтобы алгоритм был применим, необходимо чтобы задача полностью описывалась детерминированной моделью.

Вероятностные технологии

Исторические данные => [Статистика <= Вероятностная модель] => Параметры вероятностной модели => Прогноз

Вероятностные технологии применяются в случае когда встречаются задачи, связанные с наблюдением случайных величин. Параметры вероятностных моделей – это распределение случайных величин, среднего значения, дисперсии. Изначально эти параметры неизвестны, для их оценки используются статистические методы, применяемые к выборкам наблюдаемых значений.

Новые технологии

Относим искусственные нейронные сети и генетические алгоритмы.

Искусственные нейронные сети

Принципы работы человеческого мозга

Нейроны состоят из отростков двух типов:

Дендриты: служат в качестве входных каналов нервных импульсов от других нейронов. Импульсы поступают в тело клетки, вызывая ее возбуждение которое распространяется по отросткам второго типа – аксонам.

Тело нейронов, заполненное проводящим ионным раствором, окружено мембраной, обладающей низкой проводимостью. Между внутренней поверхностью мембраны аксона и внешней средой поддерживается разность электрических потенциалов. Под воздействием стимулирующих сигналов от других нейронов мембрана аксона динамически изменяет свою проводимость. Импульс деполяризации клеточной мембраны называемой спайкой распространяется вдоль аксона практически без затухания. Возбуждения нейрона в виде спайка передается другим нейронам, которые объединены в проводящую нервные импульсы сеть.

Участки мембраны на аксоне где размещаются области контакта аксонов данного нейрона с дендритами других нейронов называются синапсами. Механизмы синаптической передачи могут иметь химическую и электрическую природу. В химическом синапсе в передаче импульсов участвуют химические вещества: нейромедиаторы вызывающие изменения в проницаемости локального участка мембраны. В зависимости от типа вырабатываемого медиатора синапс может обладать возбуждающим или тормозящим действием. Обычно на всех отростках одного нейрона вырабатывается один и тот же медиатор, поэтому нейрон в целом функционально является тормозящим или возбуждающим.

При прохождении синапса сила импульса меняется в определенное число раз, называемое весом синапса. Импульсы поступившие к нейронам одновременно по нескольким дендритам суммируются. Если суммарный импульс превышает некоторый порог, нейрон возбуждается, формируя собственный импульс и передает его по аксону, при этом веса синапсов могут меняться со временем, а значит меняется и поведение нейронов.

Выделяют несколько типов нейронных сетей, отличающихся структурой и назначением:

1. Иерархические сети. Информация в таких сетях передается в процессе последовательного перехода от одного уровня иерархии к другому. Нейроны образуют два типа соединений:

   1. Конвергентные, когда большое число нейронов одного уровня контактируют с меньшим числом нейронов следующего уровня.

   2. Дивергентные, когда контакты устанавливаются со все большим числом клеток последующих слоев иерархии.

Сочетание конвергентных и дивергентных соединений обеспечивает многократное дублирование информационных путей, что обеспечивает надежность нейронной сети.

2. Локальные сети, формируемые нейронами с ограниченными сферами влияния. Нейроны локальных сетей производят переработку информации в пределах одного уровня иерархии при этом функционально локальная сеть представляет собой относительно изолированную тормозящую или возбуждающую структуру.

Нейронные структуры демонстрируют свойство изменчивости, обуславливающий их адаптацию к конкретным условиям функционирования. Изменчивость на клеточном уровне проявляется в пластичности синаптических контактов. Характер метаболической активности нейронов и проницаемость синаптической мембраны моет меняться в ответ на длительную активизацию или торможение нейронов. Изменчивость на уровне мети связано с тем, что нейроны демонстрируют способность к формированию новых отростков и новых синаптических контактов. Изменчивость нейронных сетей лежит в их способности к обучению.