- •1.Определение, назначение и архитектура эс
- •2.База знаний. Принципы, отличие знаний от данных (правила, вероятности)
- •3.Логический вывод (прямой, обратный, смешанный)
- •4.Продукционная модель (система продукция ситуация действия)
- •5.Фреймовая структура (Что это? Для чего?)
- •Нечеткая логика
- •Операции над нечеткими подмножествами
- •Лингвистическая переменная
- •Алгоритм нечеткого выбора
- •Метод центра тяжести дефазификации
- •Контроллер мамдами
- •11.Условная вероятность.Формула Байеса.Полная вероятность Условная вероятность
- •12. Байесовские сети доверия
- •Распространение свидетельств Байес. Сети доверия
- •Динамические сети доверия
- •Теория демфера-Шемфера (фрейм различия, базовая вероятность)
- •Теория дш (функция доверия, мера правдоподобия)
- •Теор дш отличие от классической теории вероятности
- •Комбинации функций доверия
- •Два подхода к обучению интеллектуальных систем (с учит, без учит)
- •Геометрический подход распознавания образов
- •Настоящий нейрон
- •Искусственный нейрон
- •Виды передаточных функций
- •Перцептрон Розенблата
- •Алгоритм обучения перцептрона Розенблата
- •Многослойный перцептрон Розенблата, архитектура, емкость сети
- •Нейронная сеть с обратным распростронение ошибки многослойного перцептрона..Проблема обучения
- •Рекур. Нейронные сети
- •[Править]Перцептроны Розенблатта с обратной связью
- •[Править]Однослойные сети с обратной связью
- •[Править]Рекуррентные сети с единичной задержкой
- •Сеть Хопфилда
- •Сеть Хемминга
Рекур. Нейронные сети
Рекуррентные нейронные сети — это наиболее сложный вид нейронных сетей, в которых имеется обратная связь. При этом под обратной связью подразумевается связь от логически более удалённого элемента к менее удалённому. Наличие обратных связей позволяет запоминать и воспроизводить целые последовательности реакций на один стимул. С точки зрения программирования в таких сетях появляется аналог циклического выполнения, а с точки зрения систем — такая сеть эквивалентна конечному автомату. Такие особенности потенциально предоставляют множество возможностей для моделирования биологических нейронных сетей. Однако большинство возможностей на данный момент плохо изучены в связи с возможностью построения разнообразных архитектур и сложностью их анализа.
[Править]Перцептроны Розенблатта с обратной связью
Первые идеи о нейронных сетях с обратными связями описал Ф.Розенблатт в заключение своей книги о перцептронах в 1962 году. Ф.Розенблатт дал качественное описание нескольких видов перцептронов с обратной связью. Первая группа таких перцептронов была предназначена для вырабатывания избирательного внимания, а вторая группа для обучения последовательности реакций.
[Править]Однослойные сети с обратной связью
После выхода книги Минского с критикой возможностей элементарного перцептрона в 1969 году работы по изучению искусственных нейронных сетей практически прекратились. Только небольшие группы продолжали исследования в этом направлении. Одна из таких групп в Массачусетском Технологическом институте в 1978 году начала свою работу. Джон Хопфилд был приглашен в качестве консультанта из отделения биофизики лаборатории Бела. Его идеи так же как и Розенблатта базировались на результатах исследования в нейрофизиологии. Главной заслугой Хопфилда является энергетическая интерпретация работы искусственной нейронной сети. Что же касается самой нейронной сети Хопфилда, то она обладает рядом недостатков из-за которых она не может быть использована практически. Впоследствии Коско развил идеи Хопфилда и разработал модель гетероассоциативной памяти — нейронная сеть Коско. Основным недостатком этих сетей является отсутствие устойчивости, а в случаях когда она достигается сеть становится эквивалентной однослойной нейронной сети из-за чего она не в состоянии решать линейно неразделимые задачи. В итоге емкость таких сетей крайне мала. Несмотря на эти практические недостатки в области распознавания, данная сеть успешно применялась в исследованиях энергетического хаоса, возникновения аттракторов, а также с этого времени об искусственных нейронных сетях стало возможным говорить как об ассоциативной памяти.
[Править]Рекуррентные сети с единичной задержкой
Начиная с нейронной сети Джордана, отчет о которой он публикует в 1986 году начинается новый этап в развитии нейронных сетей с обратной связью. Затем в 1990 году Элман предлагает модифицировать сеть Джордана в результате получается наиболее известная на данный момент нейронная сеть Элмана. С этого момента такие сети называют рекуррентными. Как правило все они базируются на многослойном перцептроне, который становится в это время очень популярным. Такие сети по своему устройству и разнообразию становятся много проще своих предшественников, но зато они приспособлены для решения задачи запоминания последовательностей без проблем с устойчивостью. Это достигается тем, что сигнал с выходного слоя имея только единичную задержку поступает на дополнительные входы (сеть Джордана), и не поступает на первоначальные входы (как в сети Хопфилда) - из-за чего не происходит смешивания сигналов и нет вопроса с устойчивостью. Сеть Элмана отличается лишь тем, что сигнал с внутреннего слоя поступает на дополнительные входы. Такие дополнительные входы называют контекстом, которые служат для хранения информации о предыдущем стимуле, благодаря чему реакция сети теперь зависит не только от текущего стимула, но и предыдущего