23.Нейросети прямого распространения информации 1го и 2го порядка (fFсети 1го и 2го порядка)

В сетях прямого распространения информация передается лишь в одном направлении от входного слоя к скрытым слоям, а от них к выходному слою нейронов. Различают FF-сети первого и FF-сети второго порядков. В FF-сетях первого порядка имеются лишь связи от нейронов слоя

N(i) к нейронам следующего слоя N(i+1). В FF-сетях второго порядка существуют связи от нейронов слоя N(i) к нейронам слоя N(i+k).

24.Применение rbf-сетей для аппроксимации психометрической функции преподавателя

1. Гауссова (колокольная) фа(функция активации)

t – текущий момент времени, для которого например определяется прогнозное значение некоторого параметра

– i-тый момент времени для съема информации

– среднеквадратичное отклонение

Гауссова ФА часто называется радиальной базисной функцией (Radial Basis Function - RBF)

Нейросети с ФА в виде RBF функции используются в сетях радиальных базисных функций. Эти сети широко используются для решения двух классов задач:

1. Решение задач прогнозирования

2. Распознавание образов или объектов по их силуэту

ФН при одной и тоже активности z, однако при различных ФА, имеют различные выходы.

Сеть типа радиальной базисной функции (RBF) имеет промежуточный слой из радиальных элементов, каждый из которых воспроизводит гауссову поверхность отклика. Поскольку эти функции нелинейны, для моделирования произвольной функции нет необходимости брать более одного промежуточного слоя. Для моделирования любой функции необходимо лишь взять достаточное число радиальных элементов. Остается решить вопрос о том, как следует скомбинировать выходы скрытых радиальных элементов, чтобы получить из них выход сети. Оказывается, что достаточно взять их линейную комбинацию (т.е. взвешенную сумму гауссовых функций). Сеть RBF имеет выходной слой, состоящий из элементов с линейными функциями активации (Haykin, 1994; Bishop, 1995).

Сети RBF имеют ряд преимуществ перед сетями MLP. Во-первых, как уже сказано, они моделируют произвольную нелинейную функцию с помощью всего одного промежуточного слоя, и тем самым избавляют нас от необходимости решать вопрос о числе слоев. Во-вторых, параметры линейной комбинации в выходном слое можно полностью оптимизировать с помощью хорошо известных методов линейного моделирования, которые работают быстро и не испытывают трудностей с локальными минимумами, так мешающими при обучении MLP. Поэтому сеть RBF обучается очень быстро (на порядок быстрее MLP).

25. Моделирование схемы исключающего или (xor-схемы) двухслойным персептроном

Задача XOR:

исключа́ющее и́ли -  булева функция и логическая операция. Результат выполнения операции является истинным только при условии, если является истинным в точности один из аргументов. Такая операция естественным образом возникает в кольце вычетов по модулю 2, откуда и происходит название операции. следует отличать от простого сложения, которое соответствует обыкновенному «неисключающему ИЛИ».

В теории множеств сложению по модулю 2 соответствует операция симметричной разности двух множеств.

В языках C/C++ (а также Java, C#, Ruby, PHP, JavaScript и т. д.) эта операция обозначается символом «^», в языках Паскаль, Delphi, Ada — зарезервированным словом XOR, в языке ассемблера — одноимённой логической командой. Сложение по модулю 2 выполняется для всех битов левого и правого операнда попарно. Например,

если
a =
b =
то
a ^ b =

Выполнение операции XOR для значений логического типа (true, false) производится в разных языках программирования по-разному. Например в Delphi используется встроенный оператор XOR (пример: condition1 xor condition2). В языке C, начиная со стандарта C99, оператор «^» над операндами логического типа возвращает результат применения операции XOR. В С++ оператор «^» для логического типа bool возвращает результат согласно описанным правилам, для остальных же типов производится его побитовое применение.

В естественном языке операция «сложение по модулю 2» эквивалентна двум выражениям: 1. «результат истинен (равен 1), если A не равно B (A≠B)»; 2. «если A не равно B (A≠B), то истина (1)». Часто указывают на сходство между сложением по модулю 2 и конструкцией «либо … либо …» в естественном языке. Составное утверждение «либо A, либо B» считается истинным, когда истинно либо A, либо B, но не оба сразу; в противном случае составное утверждение ложно. Это в точности соответствует определению операции в булевой алгебре, если «истину» обозначать как 1, а «ложь» как 0.

Эту операцию нередко сравнивают с дизъюнкцией потому, что они очень похожи по свойствам, и обе имеют сходство с союзом «или» в повседневной речи. Сравните правила для этих операций:

1.  истинно, если истинно  или , или оба сразу.

2.  истинно, если истинно  или , но не оба сразу.

Операция  исключает последний вариант («оба сразу») и по этой причине называется исключающим «ИЛИ». Операция  включает последний вариант («оба сразу») и по этой причине иногда называется включающим «ИЛИ». Неоднозначность естественного языка заключается в том, что союз «или» может применяться в обоих случаях.