- •Лекция 1. Общие сведения об интеллектуальных системах.
- •Лекция 2. Основные понятия нейробиологии. Нейроны. Нейронные сети.
- •Модель Маккаллока—Питтса
- •Другие модели.
- •Лекция 3. Конечные автоматы и нейронные сети.
- •Лекция 4. Машины Тьюринга.
- •Лекция 5. Рекурсивные множества и тезис Тьюринга. Идея эффективной процедуры.
- •Лекция 6. Регулярные и представимые события
- •Лекция 7. Нейронные сети. Методы обучения нейронных сетей
- •Обучение однослойного персептрона
- •Обучение многослойного персептрона
- •Обучение без учителя
- •Нейронные сети Хопфилда и Хэмминга
- •Лекция 8. Персептрон Розенблатта
- •Лекция 9. Теорема Новикова
- •Лекция 10. Постановка задач распознавания.
- •1. Принцип перечисления членов класса
- •2. Принцип общности свойств
- •3. Принцип кластеризации
- •1. Эвристические методы
- •2. Математические методы
- •3. Лингвистические (синтаксические) методы
- •Простая модель распознавания образов.
- •Лекция 11. Структура знания. Представление знаний об окружающей среде
- •Модель окружающей среды. Исходные понятия
- •Формальные и неформальные отношения.
- •Природа времени.
- •Лекция 12. Представление знаний и вывод на знаниях Данные и знания
- •Модели представления знаний
- •Вывод на знаниях
- •Нечеткие знания
- •Лекция 13. Введение в основы нечеткой логики
- •Лекция 14. Экспертные системы, базовые понятия
- •Лекция 15. Машинная эволюция
- •Лекция 16. Игровые программы.
- •Конец повторять
- •Лекция 17. Интеллектуальные системы в Интернет
- •Машины поиска.
- •Неспециализированные и специализированные поисковые агенты
- •Системы интеллектуальных поисковых агентов
- •Система marri
- •Оглавление.
Лекция 8. Персептрон Розенблатта
Известно, что человек, сталкиваясь с новыми явлениями или предметами, очень часто их узнает, т. е. без особых затруднений относит к тому или иному понятию (классу). Так, впервые увидев лошадь незнакомой масти или собаку необычной породы, человек определяет в них уже известных ему животных. Человек может читать рукописи, написанные разными людьми, хотя каждый почерк имеет свои особенности. Каждый из нас легко узнает своих знакомых, даже если они изменили прическу или одежду. Эта особенность человека называется феноменом восприятия.
Феномен восприятия проявляется во всех сферах человеческой деятельности, а многие профессии связаны исключительно с умением правильно классифицировать ситуации. Так врачи умеют диагностировать заболевания, эксперты-криминалисты различают сходные почерки, археологи устанавливают принадлежность найденных предметов определенной эпохе, геологи по косвенным данным определяют характер месторождения и т. д.
Всюду здесь проявляется умение человека правильно относить наблюдаемый объект к тому или иному понятию, к тому или иному классу.
Человек умеет вырабатывать на основе опыта и новые понятия, обучаться новой системе классификации.
Существуют два различных метода обучения: один из них — объяснение, другой, более интересный,— обучение на примерах. Первый метод предполагает существование достаточно простых правил, простых настолько, что их можно изложить так, чтобы, действуя сообразно этим правилам, каждый раз получать требуемый результат.
Однако во многих случаях учитель, проводящий обучение, не может сформулировать правило, по которому он действует, и тогда первый способ обучения неприменим и обучение проводят на примерах. Так, нельзя указать четких правил для такого, казалось бы, простого случая, как различение рукописных знаков.
В этом случае при обучении пользуются вторым методом. Обучающемуся показывают рукописные знаки и сообщают, какие это буквы, т. е. к каким классам данные знаки относятся. В результате у ученика вырабатываются нужные понятия, он приобретает умение правильно относить каждую новую букву к тому или иному классу. Точно так же студентов-медиков учат диагностировать заболевания.
Возможность использования такого метода обучения определяется заложенным в человеке внутренним механизмом построения правила, позволяющего распознавать нужные понятия.
В 1957 году американский физиолог Ф. Розенблатт предпринял попытку технически реализовать физиологическую модель восприятия. Он исходил из предположения, что восприятие осуществляется сетью нейронов. Модель восприятия состоит из рецепторного слоя S, слоя преобразующих нейронов А и слоя реагирующих нейронов R (рис. 8.1).
Рис. 8.1. Модель восприятия.
Внешнее раздражение воспринимается рецепторами. Каждый рецептор связан с одним или несколькими нейронами преобразующего слоя, при этом каждый нейрон преобразующего слоя может быть связан с несколькими рецепторами.
Выходы преобразующих (ассоциативных) нейронов в свою очередь соединяются с входами нейронов третьего слоя. Нейроны этого слоя — реагирующие — тоже имеют несколько входов (дендритов) и один выход (аксон), который возбуждается, если суммарная величина входных сигналов превосходит порог срабатывания. Но в отличие от нейронов второго слоя, где суммируются сигналы с одним и тем же коэффициентом усиления (но, возможно, разными знаками), для реагирующих нейронов коэффициенты суммирования различны по величине и, возможно, по знаку.
Каждый рецептор может находиться в одном из двух состояний: возбужденном или невозбужденном. В зависимости от характера внешнего раздражения в рецепторном слое образуется тот или иной набор импульсов, который, распространяясь по нервным путям, достигает слоя преобразующих нейронов. Здесь в соответствии с набором пришедших импульсов образуется набор импульсов второго слоя, который поступает на входы реагирующих нейронов.
Восприятие какого-либо объекта определяется возбуждением соответствующего нейрона третьего слоя, причем различным наборам импульсов рецепторного слоя может соответствовать возбуждение одного и того же реагирующего нейрона. Гипотеза как раз и состоит в том, что коэффициенты усиления реагирующего нейрона подобраны так, чтобы в случае, когда объекты принадлежат к одному классу, отвечающие им наборы импульсов возбуждали бы один и тот же нейрон реагирующего слоя. Например, наблюдая какой-нибудь предмет в разных ракурсах человек отождествляет увиденное, так как каждый раз на различные внешние раздражения реагирует один и тот же нейрон, ответственный за узнавание этого предмета.
Среди огромного числа (порядка 1010) нейронов человека, обеспечивающих восприятие, лишь некоторая часть занята сформированными уже понятиями, другая служит для образования новых. Формирование нового понятия, по существу, заключается в установлении коэффициентов усиления реагирующего нейрона. Процесс установления коэффициентов усиления реагирующих нейронов в схеме описывается Розенблаттом в терминах поощрения и наказания.
Предположим, что появился набор импульсов, соответствующий вновь вырабатываемому понятию. Если при его появлении нужный реагирующий нейрон не возбудился (пришедший сигнал не отнесен к данному понятию), то реагирующий нейрон «штрафуется»: коэффициенты усиления тех его входов, по которым проходил импульс, увеличиваются на единицу. Если нейрон правильно реагировал на пришедшие импульсы, то коэффициенты усиления не меняются. Если же окажется, что некоторый набор сигналов будет ошибочно отнесен к данному понятию, то нейрон тоже «штрафуется»: в этом случае коэффициенты усиления тех входов, по которым пришел импульс, уменьшаются на единицу. Такая модель восприятия проста и может быть реализована на однородных элементах — пороговых элементах.
Пороговым называется элемент, имеющий п входов: , и один выход у, причем сигнал на выходе у может принимать только два значения, 0 и 1, и связан с входами соотношением
(8.1) |
где — коэффициенты усиления сигналов, а— величина порога срабатывания элемента.
Моделью преобразующего нейрона может служить пороговый элемент, у которого , а моделью реагирующего нейрона служит пороговый элемент, у которого коэффициенты— некоторые настраиваемые числа.
Техническую модель зрительного анализатора Розенблатт назвал персептроном (от слова «персепция» — восприятие). Первый, рецепторный слой S модели Розенблатта состоял из набора 400 фотоэлементов, которые образовывали поле рецепторов (20x20). Сигнал с фотоэлементов поступал на входы пороговых элементов—нейронов преобразующего слоя (элементов А). Всего в модели Розенблатта было 512 элементов. Каждый элемент А имел 10 входов, которые случайным образом были соединены с рецепторами — фотоэлементами. Половина входов считалась тормозящими и имела коэффициент усиления -1, а другая половина – возбуждающими с коэффициентом усиления +1. Порог срабатывания нейрона принимался равным нулю. Наконец, сигналы с выходов элементов А поступали на входы реагирующего нейрона — элемента R (см. рис. 8.1).
Персептрон предназначался для работы в двух режимах: в режиме обучения и в режиме эксплуатации. В режиме обучения у персептрона по описанному выше принципу вырабатывались величины коэффициентов реагирующих нейронов. В ходе эксплуатации персептрон классифицировал предъявленные ему ситуации: если возбуждалсяр-й реагирующий элемент и не возбуждались остальные R-элементы, то ситуация относилась к p-му классу.
Появление машины, способной образовывать новые понятия, оказалось чрезвычайно интересным не только для физиологов, но и для представителей других областей знаний и в первую очередь для математиков. Ведь как только стала ясна схема будущей экспериментальной установки, персептрон перестал быть только техническим аналогом физиологического феномена, он стал математической моделью процесса восприятия.
Определение закона образования нового понятия — выработка коэффициентов усиления каждого из элементов R — означало задание алгоритма, решающего некоторую формальную задачу.
Рассмотрим математическую модель персептрона:
1. В рецепторном поле образуется сигнал, соответствующий внешнему раздражителю, который изображается некоторым вектором х. Розенблатт отмечает, что каждое нервное окончание передает достаточно простой сигнал — либо посылает импульс, либо не посылает его. Это означает, что вектор х бинарный, т. е. его координаты могут принимать только два значения: 0 и 1.
2. Набор импульсов распространяется до тех пор, пока с помощью нейронов второго слоя не будет преобразован в новый набор импульсов (бинарный вектор x преобразуется в бинарный вектор y). Розенблатт уточняет характер преобразований у =f(x):
а) преобразование осуществляется пороговыми элементами;
б) входы преобразующих пороговых элементов соединены с рецепторами случайно.
3. Считается, что персептрон относит входной вектор к p-му понятию, если возбуждается p-й реагирующий нейрон и не возбуждаются другие реагирующие нейроны. Формально это означает, что для вектора выполняется система неравенств:
В этих неравенствах — коэффициенты усиления t-го реагирующего нейрона.
4. Формирование понятий в схеме Розенблатта сводится к образованию коэффициентов (весов) каждого из элементов R. Процедура построения весов элементов R такова.
Пусть к данному моменту существуют некоторые веса элементов R и весар-го элемента . В момент времени для классификации на вход персептрона поступает сигнал, описываемый вектором. Векторможет либо соответствовать понятиюp, либо не соответствовать ему. Рассмотрим оба этих случая.
Случай первый. Вектор х соответствует понятию р. Тогда правильной реакцией элемента на сигналх должно быть возбуждение, т. е. должно выполняться неравенство
.
Если веса элемента обеспечивают правильную реакцию на векторx, то они не меняются. Если же веса не обеспечивают правильной реакции элемента , т. е. они таковы, что
то веса элемента изменяются по правилу
Случай второй. Вектор х не соответствует понятию р. Тогда элемент не должен возбудиться, т. е. должно выполниться неравенство
Если веса элемента обеспечивают правильную реакцию этого элемента на векторх, то они не меняются. Если же веса элемента не обеспечивают правильной реакции, т.е.
то веса изменяются по правилу
При обучении аналогично меняются веса всех элементов R персептрона.
Розенблатт надеялся, что его персептрон моделирует существенные черты человеческого восприятия, в особенности восприятия зрительных образов. Он полагал, что персептрон легко можно будет обучить узнаванию одного и того же изображения независимо от масштаба изображения, существенных сдвигов его в рецепторном поле и других преобразований, при которых человек относит изображение к одному и тому же понятию. Иными словами, предполагалось, что персептрон будет узнавать предметы инвариантно по отношению к определенным группам преобразований.
В действительности же теоретические и экспериментальные исследования персептрона Ф. Розенблатта показали его неспособность к такому обобщению.
Последовали всевозможные усложнения схемы персептрона. Строились персептроны с большим числом нейронных слоев, допускалась настройка коэффициентов усиления не только на верхнем слое, но и на промежуточных уровнях, предлагалось вводить перекрестные и обратные связи.
Теоретическое исследование таких сложных персептронных схем чрезвычайно затруднительно. На практике же при распознавании зрительных образов эти модели оказались малоэффективными, в конце концов, от них пришлось отказаться и пойти другим путем.
Основная идея нового направления состоит в том, чтобы, опираясь на известные свойства зрительных образов, найти такую систему признаков или, общее, такой язык описания изображения, которые уже сами по себе обеспечивают инвариантность по отношению к требуемым преобразованиям. Таким образом, при построении обучающегося устройства закладываются априорные сведения относительно того, по каким именно преобразованиям должна достигаться инвариантность.
Если предположить, что физиологическая модель человеческого восприятия действительно аналогична персептрону, то следует допустить, что связи преобразующих 4-элементов с рецепторами (а вероятнее, нескольких слоев таких элементов) отнюдь неслучайны, а построены именно так, чтобы обеспечить новое описание изображения, содержащее уже требуемые инварианты. Математически это означает, что преобразование
таково, что среди координат вектора у есть такие, которые не меняются при определенных преобразованиях вектора х.
Возможно, что человек вовсе и не учится находить эти инварианты. Способность использовать их дана ему от рождения и заложена в «схеме» зрительного анализатора, возникшего в процессе эволюции. Во всяком случае эксперименты с персептронами, где в процессе обучения выбиралось и отображение , не доказали способности персептрона к выработке такого рода инвариантов.
Поэтому, оставляя в стороне вопрос о том, как устроено отображение, будем рассматривать более общую схему персептрона. Будем считать, что дано некоторое преобразование или, в координатной форме,
.
Здесь х — входной вектор, соответствующий исходному описанию объекта. Преобразование ставит ему в соответствие некоторое новое описаниеу. Это преобразование выбирается до начала обучения и может быть построено на основании известных сведений о природе данной задачи распознавания.
Координаты вектора у теперь в общем случае — действительные числа, не обязательно 0 или 1.
Для простоты будем считать, что различаются всего два понятия. Тогда персептрон отнесет вектор х к первому понятию, если выполнится неравенство
(8.2) |
а в противном случае — ко второму.
Такая схема имеет простую геометрическую интерпретацию: в пространстве Х задана гиперповерхность
(8.3) |
которая делит пространство на два полупространства. Считается, что если вектор х находится по одну сторону от поверхности (это значит, что для него выполняется неравенство (8.2)), то он соответствует первому понятию, если же по другую от нее сторону, то второму. Такие гиперповерхности называются разделяющими (рис. 8.2).
Рис. 8.2.
Для образования нового понятия надо построить соответствующую разделяющую гиперповерхность. Каждой гиперповерхности (8.3) пространства Х в пространстве Y с координатами соответствует гиперплоскость
(8.4) |
Введение пространства Y позволяет заменять рассмотрение разделяющих гиперповерхностей (8.3) разделяющими гиперплоскостями (8.4). Поэтому пространство векторов Y получило название спрямляющего. В спрямляющем пространстве изучается следующая схема. Каждому объекту ставится в соответствие вектор. Этот вектор относится к первому классу, если он лежит по одну сторону от разделяющей гиперплоскости
,
и ко второму, если по другую.