Технология искусственных нейронных сетей.
Применение нейросетей для решения геофизических задач
Ревунов Сергей Евгеньевич
Базовые принципы технологии искусственных нейронных
сетей
Математическое моделирование низкоуровневой структуры биологических нейронных систем
Система преобразует входной информационный поток в некий ответный образ, интерпретация которого является решением поставленной задачи
Inputs |
output s |
Inputs
ИНС
output s
Биологический нейрон
Биологический нейрон – базовая структурно- функциональная единица нервной системы. Клетка имеет сложное строение (ядро, тело, отростки).
Каждый нейрон принимает сигналы от многих нейронов и в свою очередь посылает импульсы ко многим другим.
Главная задача нейрона – получить информацию,
«осмыслить» ее и передать дальше.
Д е н д р и т 
Я д р о
А к с о н
С и н а п с ы
С о м а |
А к с о н |
|
Д е н д р и т
Электронно-микроскопическая фотография нейрона головного мозга человека и схематическое изображение связи соседних
нейронов
Биологическая нейронная сеть
Головной мозг содержит ~30 миллиардов нейронов в коре. В слое площадью один квадратный миллиметр содержится ~50 тысяч нейронов.
В среднем, на каждый нейрон приходится ~10 см нервных волокон. При этом каждый нейрон может иметь до 40 тысяч
Электронно-микроскопическая фотография фрагмента биологической нейронной сети мозга взрослого человека
Вычислительные возможности
Сильноразветвленная сеть как мощная распараллеленная система реализует вычислительные возможности, превосходящие производительность самых быстрых
современных компьютеров.
Пример: распознавание образов через зрение (отождествление знакомого лица в незнакомом окружении). Взаимодействие и обмен информацией
Мозгмеждуна протяжениирецепторамивсей жизнинейронами
находится в динамическом состоянии. Он строит и разрушает миллионы связей между своими нейронами по собственным правилам на основании предшествующего опыта, непрерывно корректируя индивидуальные особенности
личности. Обработка мозгом менее чем за
0,1 сек
Развитие теории нейросетей
Изучение строения мозга и мозговой активности в начале ХХ века - фундамент вычислительных экспериментов с привлечением математического аппарата
Цель - воспроизвести способность нервных биологических систем обучаться и исправлять ошибки
Попытки смоделировать лишь низкоуровневую нейронную структуру, т.к. было понятно, что мозг человека представляет собой исключительно сложную, нелинейную систему обработки информации
1943 г. американский математик и философ Норберт Винер (Norbert Wiener) - идея о представлении сложных биологических процессов простыми математическими моделями
1943 г. американский нейропсихолог Уоррен МакКаллок (Warren Sturgis McCulloch) и Уолтер Питтс (Walter Pitts) предложили первую модель нейрона и сформулировали основные положения теории функционирования головного мозга.
1949 г. канадский физиолог и нейропсихолог Дональд Хэбб
1957 г. Фрэнк Розенблатт (Frank Rosenblatt)
Основы искусственного интеллекта
Первый нейрокомпьютер «Марк-1» (1960 г.), способный обучаться и решать простейшие задачи. Особенность – алгоритм перцептрона (персептрона).
Персептрон – математическая модель восприятия информации мозгом, кибернетическая модель мозга.
Персептроны позволяют создать набор ассоциаций
между входными стимулами и необходимой реакцией на выходе. В биологическом плане это соответствует преобразованию, например, зрительной информации в физиологический ответ от двигательных нейронов.
1982 г. Теуво Кохонен (Teuvo Kohonen) Теория ассоциативной памяти
Модели самообучающихся нейросетей (нейронная сеть/слой Кохонена)
Решение нестандартных задач кластеризации и визуализации данных (самоорганизующаяся карта Кохонена)
Оригинальные алгоритмы обработки символьной информа
Самоорганизующаяся карта
1990 г. Джефри Элман (Jeffrey Elman) Рекуррентные нейронные сети
Разработка высокоэффективных нейросетевых систем
для распознавания речи и «запоминания» последовательностей
Реализация внутренней памяти нейросети, путем введения петель обратной связи в скрытых слоях
Архитектура ИНС позволяет учесть предысторию наблюдаемых процессов и накопить информацию для выработки правильной стратегии управления/прогнозирования
ИНС с петлей обратной связи
Простая модель синаптической связи
Искусственная нейронная сеть (ИНС) - система соединённых и взаимодействующих простых процессоров – искусственных нейронов.
Процессоры-нейроны предельно просты. Каждый из них имеет дело только с сигналами, которые он периодически получает, и сигналами, которые он периодически посылает другим процессорам.
Соединённые в сеть с управляемым взаимодействием, такие локально простые вычислительные единицы вместе способны решать довольно сложные задачи.