- •Введение
- •Формальный нейрон. Типология нейронов. Задача, решаемая нейроном, геометрическая интерпретация.
- •Формальный нейрон.
- •Типология нейронов.
- •Геометрическая интерпретация задачи нейрона.
- •Нейронная сеть. Слой, типология слоёв. Типология нейронных сетей. Основные классы задач, решаемых нейронными сетями.
- •задачи
- •Задача обучения нейронной сети, отличие от задачи обучения нейрона. Проблемы. Примеры алгоритмов и методов обучения.
- •Градиентные методы.
- •Математическое обоснование метода обратного распространения ошибки. Алгоритм обратного распространения ошибки.
- •Вывод формулы для расчёта адаптивного коэффициента обучения в алгоритме обратного распространения ошибки.
- •Вывод формулы для расчёта адаптивного шага обучения для нерекуррентной линейной нейронной сети.
- •Алгоритм послойного обучения. Назначение и отличие от алгоритма обратного распространения ошибки.
- •Алгоритм многократного распространения ошибки. Назначение и отличие от алгоритма обратного распространения ошибки.
- •Задача предсказания числовых последовательностей с помощью нейронных сетей. Особенности устройства нейронных сетей для предсказания числовых последовательностей.
- •Реккурентные нейронные сети. Контекстный нейрон. Обучение. Сеть Элмана. Сеть Джордана.
- •Рециркуляционные нейронные сети. Линейная рециркуляционная сеть. Задача, решаемая линейной рециркуляционной сетью (метод главных компонент).
- •Алгоритмы обучения и функционирования линейной рециркуляционной сети.
- •Релаксационные нейронные сети. Синхронная сеть Хопфилда. Непрерывное и дискретное состояние. Структура, обучение, энергия, функционирование.
- •Сеть Хэмминга. Назначение, обучение и функционирование.
- •Линейная ассоциативная память и ассоциативная память на основе сети Хопфилда. Функционирование, отличие.
- •Двунаправленная ассоциативная память. Назначение, структура, обучение и функционирование.
- •Двунаправленная ассоциативная память. Метод обучения двунаправленной ассоциативной памяти с модифицированной структурой.
- •Сеть адаптивного резонанса. Назначение, структура, обучение и функционирование.
- •СТРУКТУРА APT
- •Функционирование сети APT в процессе классификации
- •ФУНКЦИОНИРОВАНИЕ APT
- •ПРИМЕР ОБУЧЕНИЯ СЕТИ APT
- •ЗАКЛЮЧЕНИЕ
- •Устройство и структура нейронных сетей для решения задач классификации и кластеризации. Правила обучения: WTA и CWTA.
- •Структура когнитрона, неокогнитрона и свёрточных нейронных сетей, отличия. Назначение когнитрона, неокогнитрона и свёрточных нейронных сетей.
- •Обучение
- •НЕОКОГНИТРОН
- •Обобщение
- •Вычисления
- •Обучение
- •Псевдооптическая нейронная сеть. Интерферирующий нейрон, устройство. Назначение, структура и функционирование сети.
- •Машина Больцмана, назначение. Устройство и функционирование.
- •Предетекторы и детекторы. Поле (карта) детекторов. Детекторы новизны и тождества. Схема активного анализа на основе нейроподобных элементов.
- •Аппаратная реализация нейронных сетей. Процедура проектирования систолических массивов (процессоров), на основе структуры сети.
- •Систолические процессоры для двухслойной нейронной сети (первый слой – рецепторы). Эффективность. Предпочтение по эффективности.
- •Систолический массив с разнонаправленными связями. Сравнение по эффективности с процессорами с однонаправленными связями.
- •Матричный систолический процессор. Сравнение по эффективности.
- •Систолические массивы для многослойных нейронных сетей. Структура систолического массива, объединяющего различные систолические процессоры. Эффективность.
- •Систолические массивы для многослойных нейронных сетей. Структура систолического массива, объединяющего идентичные систолические процессоры. Эффективность.
- •Систолические процессоры для реализации релаксационных нейронных сетей (сети Хопфилда).
- •Методы обеспечения отказоустойчивости. Скользящее резервирование.
- •Методы обеспечения отказоустойчивости. Секционированное резервирование. Схема для неоднородного потока входных данных.
- •Нечёткие нейронные сети. Структура, функционирование, обучение.
- •Литература.
Введение................................................................................................................................................... |
2 |
Формальный нейрон. Типология нейронов. Задача, решаемая нейроном, геометрическая |
|
интерпретация. ......................................................................................................................................... |
4 |
Задача обучения нейрона. Виды обучения нейрона. Правило Хебба. Дельта-правило. |
|
Геометрическая интерпретация.............................................................................................................. |
6 |
Нейронная сеть. Слой, типология слоёв. Типология нейронных сетей. Основные классы задач, |
|
решаемых нейронными сетями. ............................................................................................................. |
9 |
Задача обучения нейронной сети, отличие от задачи обучения нейрона. Проблемы. Примеры |
|
алгоритмов и методов обучения........................................................................................................... |
11 |
Структура альфа-персептрона. Задача, решаемая альфа-персептроном. Гамма-персептрон, |
|
различия. Задачи, решаемые персептронами без обратных и перекрёстных связей. ..................... |
12 |
Градиентные методы. ............................................................................................................................ |
14 |
Математическое обоснование метода обратного распространения ошибки. Алгоритм обратного |
|
распространения ошибки. ..................................................................................................................... |
14 |
Вывод формулы для расчёта адаптивного коэффициента обучения в алгоритме обратного |
|
распространения ошибки. ..................................................................................................................... |
16 |
Вывод формулы для расчёта адаптивного шага обучения для нерекуррентной линейной |
|
нейронной сети....................................................................................................................................... |
18 |
Алгоритм послойного обучения. Назначение и отличие от алгоритма обратного |
|
распространения ошибки. ..................................................................................................................... |
18 |
Алгоритм многократного распространения ошибки. Назначение и отличие от алгоритма |
|
обратного распространения ошибки.................................................................................................... |
20 |
Задача предсказания числовых последовательностей с помощью нейронных сетей. Особенности |
|
устройства нейронных сетей для предсказания числовых последовательностей........................... |
20 |
Реккурентные нейронные сети. Контекстный нейрон. Обучение. Сеть Элмана. Сеть Джордана.21 |
|
Рециркуляционные нейронные сети. Линейная рециркуляционная сеть. Задача, решаемая |
|
линейной рециркуляционной сетью (метод главных компонент). ................................................... |
24 |
Алгоритмы обучения и функционирования линейной рециркуляционной сети. ........................... |
28 |
Релаксационные нейронные сети. Синхронная сеть Хопфилда. Непрерывное и дискретное |
|
состояние. Структура, обучение, энергия, функционирование. ....................................................... |
32 |
Релаксационные нейронные сети. Асинхронная сеть Хопфилда. Непрерывное и дискретное |
|
состояние. Структура, обучение, энергия, функционирование. ....................................................... |
35 |
Сеть Хэмминга. Назначение, обучение и функционирование. ......................................................... |
36 |
Линейная ассоциативная память и ассоциативная память на основе сети Хопфилда. |
|
Функционирование, отличие. ............................................................................................................... |
40 |
Двунаправленная ассоциативная память. Назначение, структура, обучение и функционирование. |
|
.................................................................................................................................................................. |
41 |
Двунаправленная ассоциативная память. Метод обучения двунаправленной ассоциативной |
|
памяти с модифицированной структурой. .......................................................................................... |
43 |
Сеть адаптивного резонанса. Назначение, структура, обучение и функционирование. ................ |
47 |
Структура APT ............................................................................................................................... |
47 |
Функционирование APT ............................................................................................................... |
54 |
ПРИМЕР ОБУЧЕНИЯ СЕТИ APT............................................................................................... |
57 |
ЗАКЛЮЧЕНИЕ.............................................................................................................................. |
59 |
Устройство и структура нейронных сетей для решения задач классификации и кластеризации. |
|
Правила обучения: WTA и CWTA....................................................................................................... |
59 |
Структура когнитрона, неокогнитрона и свёрточных нейронных сетей, отличия. Назначение |
|
когнитрона, неокогнитрона и свёрточных нейронных сетей. ........................................................... |
62 |
НЕОКОГНИТРОН......................................................................................................................... |
67 |
Псевдооптическая нейронная сеть. Интерферирующий нейрон, устройство. Назначение, |
|
структура и функционирование сети................................................................................................... |
71 |
Машина Больцмана, назначение. Устройство и функционирование. .............................................. |
73 |
Предетекторы и детекторы. Поле (карта) детекторов. Детекторы новизны и тождества. Схема |
|
активного анализа на основе нейроподобных элементов.................................................................. |
73 |
Аппаратная реализация нейронных сетей. Процедура проектирования систолических массивов |
|
(процессоров), на основе структуры сети. Систолические процессоры для двухслойной |
|
нейронной сети (первый слой – рецепторы). Эффективность. Предпочтение по эффективности. |
|
........................................................................................................Ошибка! Закладка не определена. |
|
Систолический массив с разнонаправленными связями. Сравнение по эффективности с |
|
процессорами с однонаправленными связями.................................................................................... |
77 |
Матричный систолический процессор. Сравнение по эффективности............................................ |
78 |
Систолические массивы для многослойных нейронных сетей. Структура систолического |
|
массива, объединяющего различные систолические процессоры. Эффективность. ...................... |
79 |
Систолические массивы для многослойных нейронных сетей. Структура систолического |
|
массива, объединяющего идентичные систолические процессоры. Эффективность..................... |
80 |
Систолические процессоры для реализации релаксационных нейронных сетей (сети Хопфилда). |
|
.................................................................................................................................................................. |
80 |
Методы обеспечения отказоустойчивости. Скользящее резервирование. ...................................... |
81 |
Методы обеспечения отказоустойчивости. Секционированное резервирование. Схема для |
|
неоднородного потока входных данных. ............................................................................................ |
82 |
Нечёткие нейронные сети. Структура, функционирование, обучение. ........................................... |
82 |
Литература.............................................................................................................................................. |
87 |
Введение
Теория нейронных сетей включает широкий круг вопросов из разных областей науки: биофизики, математики, информатики, схемотехники и технологии. Искусственные нейронные сети — набор математических и алгоритмических методов для решения широкого круга задач.
Нейронные сети превосходят последовательные машины в решении тех же задач, в которых машину превосходит человек. Задачи, требующие большого объема вычислений или высокой точности лучше выполняются обычной ЭВМ. К задачам, успешно решаемым нейронными сетями на данном этапе их развития относятся:
—распознавание зрительных, слуховых образов; огромная область применения: от распознавания текста и целей на экране радара до систем голосового управления;
—ассоциативный поиск информации и создание ассоциативных моделей; синтез речи; формирование естественного языка;
—формирование моделей и различных нелинейных и трудно описываемых математически систем, прогнозирование развития этих систем во времени: применение на производстве; прогнозирование развития циклонов и других природных процессов, прогнозирование изменений курсов валют и других финансовых процессов;
—системы управления и регулирования с предсказанием; управление роботами, другими сложными устройствами
—разнообразные конечные автоматы: системы массового обслуживания и коммутации, телекоммуникационные системы;
—принятие решений и диагностика, исключающие логический вывод; особенно в областях, где отсутствуют четкие математические модели: в медицине, криминалистике, финансовой сфере.
Развитие искусственных нейронных сетей вдохновляется биологией. То есть рассматривая сетевые конфигурации и алгоритмы, исследователи мыслят их в терминах организации мозговой деятельности. Но на этом аналогия может и закончиться. Знания о работе мозга на данный момент столь ограничены, что мало бы нашлось руководящих ориентиров для тех, кто стал бы ему подражать. Поэтому разработчикам сетей приходится выходить за пределы современных биологических знаний в поисках структур, способных выполнять полезные функции. Во многих случаях это приводит к необходимости отказа от биологического правдоподобия, мозг становится просто метафорой, и создаются сети, невозможные в живой материи или требующие неправдоподобно больших допущений об анатомии и функционировании мозга.
Несмотря на то, что связь с биологией слаба и зачастую несущественна, искусственные нейронные сети продолжают сравниваться с мозгом. Их функционирование часто напоминает человеческое познание, поэтому трудно избежать этой аналогии.
Мозг человека состоит из белого и серого веществ: белое – это тела нейронов, а серое – это соединительная ткань между нейронами, или аксоны и дендриты. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсами входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие – воспрепятствовать его возбуждению. Синапсы отличаются друг от друга, по этой причине импульсы одинаковой величины, поступающие на входы нервной клетки через различные синапсы, могут возбуждать ее в разной степени. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по единственному, разветвляющемуся на конце аксону сигнал другим нейронам.
Аксон контактирует с телами и дендритами других нейронов, образуя очередные синапсы (см. рис. 1).
Рис. 1. Биологический нейрон