Лекции / 6. Введение в нейронные сети

Лекции читает

канд.техн.наук, доцент

Литвинов Владислав Леонидович

Особенности человеческого мозга

Когда мы говорим о задачах машинного обучения, мы быстро сталкиваемся с задачами, с решением которых человеческий мозг до сих пор справляется лучше и быстрее, чем компьютер.

Например, мы лучше обращаемся с естественным языком: можем прочитать, понять и содержательно изучить книгу, а современные компьютеры испытывают большие проблемы с ответами даже на очевидные для человека вопросы. Да и вообще мы хорошо умеем обучаться в широком смысле этого слова —

компьютерные программы пока очень далеки от человеческого уровня

обобщений и поиска взаимосвязей между разнородной информацией.

Что же делает человеческий мозг таким эффективным? Как он умудряется достичь таких высот? В чем разница между тем, что делают нейроны в мозге, и тем, что делают транзисторы в процессоре? Тема эта неисчерпаема, поэтому приведем только пару локальных примеров, с помощью которых продемонстрируем основные различия и отчасти мотивируем отдельные особенности нейронных сетей.

Человеческий (да и любой другой) мозг состоит из нейронов. У каждого из них есть один длинный отросток, аксон, и много коротких отростков, дендритов, которые связываются с аксонами других нейронов. Связи между дендритами и аксонами тоже имеют сложную структуру, в которую мы не будем вдаваться, и называются синапсами. Связей в мозге очень много: порядка 1011 (сто миллиардов) нейронов, у каждого из которых в среднем 7000 связей, то есть получается, что в нашем мозге содержится порядка 1014–1015 (сто триллионов) синапсов.

Каждый нейрон время от времени посылает по аксону нервный импульс (spike), который имеет электрическую природу. Пока нейрон жив, он никогда не останавливается и продолжает подавать сигналы. Но при этом нейрон может находиться в двух разных состояниях: когда он находится в «выключенном» состоянии, частота подачи сигналов маленькая, а когда он возбуждается, «включается», частота подачи импульсов (firing rate) сильно увеличивается. Активация нейронов зависит от сигналов, приходящих через синапсы и затем дендриты от других нейронов. Связь в синапсе может быть как положительная (excitation), когда активация соседнего нейрона повышает вероятность активации нашего, так и отрицательная (inhibition), когда активация соседнего нейрона, наоборот, подавляет активность.

Хотелось бы провести аналогию между нейронами и транзисторами, из которых состоит процессор, но уже на уровне подачи нервных импульсов мы видим первое важное различие между мозгом и компьютером.

Дело в том, что нейрон работает стохастически: он выдает электрические сигналы через случайные промежутки времени. Их последовательность можно довольно хорошо приблизить пуассоновским случайным процессом, интенсивность которого меняется в зависимости от того, возбужден нейрон или нет.

В компьютерах тоже есть гейты, обменивающиеся сигналами друг с другом, но они делают это совершенно не стохастически, а с очень жесткой синхронизацией: частота процессора (в гигагерцах) — это и есть частота такой синхронизации. На каждом такте гейт одного уровня передает сигнал следующему уровню, и делают они это хоть и несколько миллиардов раз в секунду, но строго одновременно, по команде.

Возможно, дело в том, что в биологии все нечетко, и синхронизация между нейронами была бы желательна, но достичь ее у создавшей нас эволюции просто не получилось? Простейшие наблюдения показывают, что на самом деле

нейроны хорошо умеют синхронизироваться и очень точно засекать весьма короткие промежутки времени.

Самая простая и яркая иллюстрация этого — стереозвук. Когда вы переходите от одной стороны комнаты к другой, вы можете, опираясь исключительно на звук, идущий из колонок вашего компьютера, определить направление на его источник. Очевидно, в доисторические времена для людей было крайне важно понять, слева или справа хрустнула ветка под лапой тигра...

Чтобы узнать направление, вы отмечаете разницу во времени, когда звук приходит в левое и правое ухо. Расстояние между внутренними ушами не слишком большое, сантиметров двадцать. И если разделить его на скорость звука (340 м/с), получится очень короткий интервал, десятые доли миллисекунды, который, тем не менее, нейроны отлично распознают, что позволяет определить направление с хорошей точностью. То есть мозг в принципе мог бы работать как компьютер с частотой, измеряющейся килогерцами. С учетом огромной степени параллелизации, достигнутой в архитектуре мозга, это могло бы привести к вполне разумной вычислительной мощности. Но почему-то мозг этого не делает.

Второе важное замечание про работу человеческого мозга: мы распознаем лицо человека за пару сотен миллисекунд. А частота импульсов в аксонах бывает от 10 Гц в неактивном состоянии до примерно 200 Гц во время самой сильной активации. Это значит, что связи между отдельными нейронами активируются минимум за десятки миллисекунд, и в полном цикле распознавания человеческого лица не может быть последовательной цепочки активаций длиннее, чем буквально несколько нейронов; скорее всего, меньше десятка!

То есть мозг, с одной стороны, содержит огромное число нейронов и еще больше связей между ними, но с другой — устроен очень плоско по сравнению с обычным процессором. Процессор в компьютере исполняет длинные последовательные цепочки команд, обрабатывая их в синхронном режиме, а у мозга цепочки короткие, зато работает он асинхронно (стохастически) и с очень высокой степенью параллелизации: нейроны активируются сразу во многих местах мозга, когда начинают распознавать лицо и делать много других увлекательных вещей. Можно сказать, что с этой точки зрения мозг больше похож на видеокарту, чем на процессор.

Еще одна важная особенность состоит в том, что аксоны могут быть очень длинными: например, от спинного мозга в конечности идут аксоны длиной около метра. Поэтому один аксон может с легкостью пересечь чуть ли не весь мозг, в связи с чем структура связей между нейронами в мозге чрезвычайно сложная.

В человеческом мозге есть огромное число «горизонтальных» связей между нейронами (когда связаны друг с другом нейроны одного уровня), множество замкнутых цепочек связанных нейронов, а также неожиданных и непонятных связей нейронов из совершенно разных областей мозга. Все эти связи время от времени срабатывают, но единой картины того, зачем все это нужно и как используется, в науке пока не сложилось. Так что на самом деле мы очень плохо понимаем, как работает настоящий человеческий мозг, и искусственные нейронные сети — это не попытка приблизиться к реальной структуре, а достаточно

абстрактные модели, созданные для решения оптимизационных задач.

Стоит отметить, что в нейробиологии и информатике есть целое направление исследований, связанное с моделированием биологических, «настоящих» нейронов. Разных моделей много, их можно условно разделить на электрические, предсказывающие напряжение на клеточной мембране нейрона, и естественные, которые прогнозируют вероятность (и частоту) активации как функцию от входного воздействия.

Настолько абстрактные модели, как перцептрон, в котором уровень активации нейрона — это нелинейная функция активации от взвешенной суммы входов, не представляют большого интереса для биологов. Например, в них выход нейрона вовсе не зависит от времени, а большинство «приближенных к биологии» моделей стараются имитировать стохастические процессы порождения нервных импульсов. Используются эти модели в наше время не только для интереса, но и для разработки «протезов» нейронов, например, для восстановления сетчатки глаза.

Другое важнейшее свойство человеческого мозга — его пластичность. Многие исследования мозга, особенно ранние, выделяли в нем зоны, отвечающие за те или иные функции. По большому счету, только это и было доступно первым нейробиологам: они могли изучать, что человек теряет при травмах того или иного отдела мозга. Так, например, центр Брока, открытый Полем Брока еще в 1865 году, отвечает за артикуляцию речи. Если центр Брока поврежден, больной по-прежнему все понимает, но при попытках говорить получается ерунда: распадается грамматика, не удается подбирать правильные предлоги, путаются звуки в словах. А зона Вернике отвечает, наоборот, за понимание речи на слух.

В человеческом мозге много узко специализированных участков. Исходя из этих исследований, можно подумать, что природа (точнее, эволюция) создала человеческий мозг подобно компьютеру с детально разработанной спецификацией: есть «видеокарта», отвечающая за зрение, есть «звуковая карта», обрабатывающая звук, есть «чатбот», который обучился языку, и все они представляют собой особые архитектуры нейронов, специально подогнанные под соответствующую задачу еще на генетическом уровне