- •История развития теории искусственных нейронных сетей (инс).
- •Области применения инс.
- •Определение и структурная схема перцептрона, назначение элементов перцептрона.
- •Назначение и виды активационных функций инс.
- •Определение и структурная схема искусственной нейронной сети, элементы многослойной инс.
- •Понятие о числе параметров искусственной нейронной сети.
- •Способы организации, архитектуры и типы инс.
- •Способы обучения инс.
Способы организации, архитектуры и типы инс.
Гомогенные сети состоят из нейронов одного типа с единой функцией активации, а в гетерогенную сеть входят нейроны с различными функциями активации. Активационная функция нейрона определяет нелинейное преобразование осуществляемое нейроном. Существует множество активационных функций.
Прежде чем приступить к поиску параметров сети, нужно поставить задачу, т.е. ответить на вопросы:
Какие сигналы сеть будет получать?
Как мы будем интерпретировать сигналы, поступающие от сети?
Как мы будем оценивать работу сети, если сеть обучается путем минимизации ошибок (т.е. что такое вектор ошибок и как вычисляется целевая функция — оценка функционирования сети)?
Ответы на данные вопросы воплощаются в спецустройствах или программах: в предобработчике, интерпретаторе ответов, оценке.
Итак, прежде чем формировать сеть, необходимо создать её окружение. В процессе обучения, кроме того, используются:
Обучающая выборка (система, работающая с исходными данными);
Учитель, модифицирующий параметры сети;
Контрастер (система, упрощающая нейронную сеть).
Нормировка и центрирование данных (предобработка) используются почти всегда (кроме тех случаев, когда данные представляют собой бинарные векторы с координатами 0,1) Цель этих преобразований - сделать так, чтобы каждая компонента вектора данных лежала в отрезке(-1 1)
При интерпретации выходных сигналов сети необходимы аккуратность и порой изобретательность, ведь от этого истолкования зависят требования, которые мы предъявляем к работе НС. Удачная их формулировка может упростить обучение и повысить точность работы, неудачная — свести на нет предыдущие усилия.
Оценка способности сети решить задачу
Первая классическая архитектура — полносвязные нейросети прямого распространения
Многослойный Perceptron — это вообще классика нейросетей. Полносвязная — это значит, что каждый нейрон связан со всеми нейронами предыдущего слоя. Хорошая сеть, работает, для классификации годится, многие задачи классификации успешно решаются.
Архитектуры нейросетей: Сверточные нейросети
Сверточные нейросети решают 3 основные задачи:
Классификация. Вы подаете картинку, и нейросеть просто говорит — у вас картинка про собаку, про лошадь, еще про что-то, и выдает класс.
Детекция – это более продвинутая задачка, когда нейросеть не просто говорит, что на картинке есть собака или лошадь, но находит еще Bounding box — где это находится на картинке.
Сегментация. На мой взгляд, это самая крутая задача. По сути, это попиксельная классификация. Здесь мы говорим про каждый пиксель изображения: этот пиксель относится к собаке, этот — к лошади, а этот еще к чему-то. На самом деле, если вы умеете решать задачу сегментации, то остальные 2 задачи уже автоматически даны.
Архитектуры нейросетей: Рекуррентные нейросети
Рекуррентная нейросеть на самом деле очень крутая штука. На первый взгляд, главное отличие их от обычных FNN-сетей в том, что просто появляется какая-то циклическая связь. То есть скрытый слой свои же значения отправляет сам на себя на следующем шаге. Казалось бы, вроде бы минорная вещь, но есть принципиальная разница.