- •В. Г. Потемкин
- •Предисловие
- •Введение
- •Используемые обозначения
- •Часть 1. Ппп Neural Network Toolbox
- •1. Система matlab 6
- •1.1. Операционная среда matlab 6
- •Командное окно
- •Окно предыстории
- •Окно запуска
- •Окно текущего каталога
- •Окно рабочей области
- •Справочная подсистема
- •1.3. Демонстрационные примеры ппп nnt
- •2. Модель нейрона и архитектура сети
- •2.1. Модель нейрона
- •2.1.1. Простой нейрон
- •2.1.2. Функция активации
- •2.1.3. Нейрон с векторным входом
- •2.2. Архитектура нейронных сетей
- •2.2.1. Однослойные сети
- •2.2.2. Многослойные сети
- •2.2.3. Сети с прямой передачей сигнала
- •2.3. Создание, инициализация и моделирование сети Формирование архитектуры сети
- •Инициализация сети
- •Моделирование сети
- •3. Обучение нейронных сетей
- •3.1. Процедуры адаптации и обучения
- •Явление переобучения
- •Свойство обобщения
- •3.1.1. Способы адаптации и обучения
- •Адаптация нейронных сетей
- •Xlabel(''), ylabel('Выходыa(I)'),grid
- •Xlabel(''), ylabel('Весавходовw(I)'),grid
- •Xlabel(' Циклы'), ylabel('Ошибка'),grid
- •Xlabel(''), ylabel('Выходыa(I)'),grid
- •Xlabel(''), ylabel('Весавходовw(I)'),grid
- •Xlabel('Циклы'), ylabel('Ошибка'),grid
- •Xlabel(''), ylabel('Выходыa(I)'),grid
- •Xlabel(''), ylabel('Весавходовw(I)'),grid
- •Xlabel('Циклы'), ylabel('Ошибка'),grid
- •Обучение нейронных сетей
- •3.2. Методы обучения
- •3.2.1. Обучение однослойной сети
- •3.2.2. Обучение многослойной сети
- •Метод обратного распространения ошибки
- •Характеристика методов обучения
- •3.3. Алгоритмы обучения
- •3.3.1. Градиентные алгоритмы обучения Алгоритм gd
- •Алгоритм gdm
- •Алгоритм gda
- •Алгоритм Rprop
- •3.3.2. Алгоритмы метода сопряженных градиентов
- •Алгоритм cgf
- •Алгоритм cgp
- •Алгоритм cgb
- •Алгоритм scg
- •3.3.3. Квазиньютоновы алгоритмы Алгоритм bfgs
- •Алгоритм oss
- •Алгоритм lm
- •3.3.4. Алгоритмы одномерного поиска
- •Алгоритм gol
- •Алгоритм bre
- •Алгоритм hyb
- •Алгоритм cha
- •Алгоритм bac
- •3.3.5. Расширение возможностей процедур обучения
- •Переобучение
- •Метод регуляризации
- •Формирование представительной выборки
- •Предварительная обработка и восстановление данных
- •Пример процедуры обучения
- •4. Персептроны
- •4.1. Архитектура персептрона
- •4.2. Модель персептрона
- •Моделирование персептрона
- •Инициализация параметров
- •4.3. Процедуры настройки параметров
- •Правила настройки
- •Процедура адаптации
- •5. Линейные сети
- •5.1. Архитектура линейной сети
- •5.2. Создание модели линейной сети
- •5.3. Обучение линейной сети
- •Процедура настройки
- •Процедура обучения
- •5.4. Применение линейных сетей Задача классификации векторов
- •Фильтрация сигнала
- •Предсказание сигнала
- •Подавление шумов
- •Многомерные цифровые фильтры
- •6. Радиальные базисные сети
- •Модель нейрона и архитектура сети
- •Создание сети
- •Радиальная базисная сеть с нулевой ошибкой
- •Итерационная процедура формирования сети
- •Примеры радиальных базисных сетей
- •6.1. Сети grnn
- •Архитектура сети
- •Синтез сети
- •6.2. Сети pnn
- •Архитектура сети
- •Синтез сети
- •7. Сети кластеризации и классификации данных
- •7.1. Самоорганизующиеся нейронные сети
- •7.1.1. Слой Кохонена
- •Архитектура сети
- •Создание сети
- •Правило обучения слоя Кохонена
- •Правило настройки смещений
- •Обучение сети
- •7.1.2. Карта Кохонена
- •Топология карты
- •Функции для расчета расстояний
- •Архитектура сети
- •Создание сети
- •Обучение сети
- •Одномерная карта Кохонена
- •Двумерная карта Кохонена
- •Архитектура сети
- •Создание сети
- •Обучение сети Правила настройки параметров
- •Процедура обучения
- •8. Рекуррентные сети
- •8.1. Сети Элмана
- •Архитектура
- •Создание сети
- •Обучение сети
- •Проверка сети
- •8.2. Сети Хопфилда
- •Архитектура сети
- •Синтез сети
- •9. Применение нейронных сетей
- •9.1. Аппроксимация и фильтрация сигналов
- •9.1.1. Предсказание стационарного сигнала Постановка задачи
- •Синтез сети
- •Проверка сети
- •9.1.2. Слежение за нестационарным сигналом
- •Инициализация сети
- •Проверка сети
- •9.1.3. Моделирование стационарного фильтра
- •Постановка задачи
- •Синтез сети
- •Проверка сети
- •9.1.4. Моделирование нестационарного фильтра
- •Постановка задачи
- •Инициализация сети
- •Проверка сети
- •9.2. Распознавание образов
- •Постановка задачи
- •Нейронная сеть
- •Архитектура сети
- •Инициализация сети
- •Обучение
- •Обучение в отсутствие шума
- •Обучение в присутствии шума
- •Повторное обучение в отсутствие шума
- •Эффективность функционирования системы
- •9.3. Нейронные сети и системы управления
- •9.3.1. Регулятор с предсказанием
- •9.3.2. Регулятор narma-l2
- •9.3.3. Регулятор на основе эталонной модели
- •Часть2. Операторы, функции и команды
- •10. Вычислительная модель нейронной сети
- •10.1. Описание сети Описание архитектуры
- •Функции инициализации, адаптации и обучения
- •10.2. Описание элементов сети
- •Описание входов
- •Описание слоев
- •Описание выходов
- •Описание целей
- •Описание смещений
- •Описание весов входа
- •Описание весов слоя
- •Матрицы весов и векторы смещений
- •Информационные поля
- •11. Формирование моделей нейронных сетей
- •11.1. Модели сетей
- •11.1.1. Однослойные сети Персептрон
- •Линейные сети
- •11.1.2. Многослойные сети
- •Радиальные базисные сети
- •Самоорганизующиеся сети
- •Сети – классификаторы входных векторов
- •Рекуррентные сети
- •11.2. Функции активации
- •Персептрон
- •Линейные сети
- •Радиальные базисные сети
- •Самоорганизующиеся сети
- •Рекуррентные сети
- •11.3. Синаптические функции
- •Функции взвешивания и расстояний
- •Функции накопления
- •11.4. Функции инициализации
- •11.5. Функции адаптации и обучения Функции адаптации
- •Функции обучения
- •Градиентные алгоритмы обучения
- •Алгоритмы метода сопряженных градиентов
- •Квазиньютоновы алгоритмы обучения
- •11.5.1. Функции оценки качества обучения
- •11.6. Функции настройки параметров
- •11.6.1. Функции одномерного поиска
- •11.7. Масштабирование и восстановление данных
- •11.8. Вспомогательные функции
- •Утилиты вычислений
- •Операции с массивами данных
- •Графические утилиты
- •Информация о сети и ее топологии
- •11.9. Моделирование нейронных сетей и система Simulink Функции моделирования сети
- •11.9.1. Применение системы Simulink
- •Библиотеки блоков для моделирования нейронных сетей
- •Построение моделей нейронных сетей
- •Индексный указатель Команды, функции и операторы ппп Neural Network Toolbox
- •Предметный указатель
- •Литература Книги на английском языке:
- •Книги на русском языке:
- •Оглавление
Предметный указатель
A
ADAPT · 324
ADAPTWB · 327
B
BOXDIST · 308
C
CALCA · 428
CALCA1 · 430
CALCJEJJ · 442
CALCJX · 440
CALCPD · 432
CELL2MAT · 445
COMBVEC · 446
COMPET · 295
CON2SEQ · 447
CONCUR · 448
D
DDOTPROD · 301
DHARDLIM · 283
DHARDLMS · 285
DIST · 304
DLOGSIG · 297
DMAE · 388
DMSE · 385
DMSEREG · 386
DNETPROD · 313
DNETSUM · 311
DOTPROD · 301
DPOSLIN · 287
DPURELIN · 286
DRADBAS · 291
DSATLIN · 288
DSATLINS · 290
DSSE · 383
DTANSIG · 299
DTRIBAS · 293
F
FORMX · 435
G
GENSIM · 475
GENSIMM · 481
H
hardlim · 283
hardlimS · 285
I
IND2VEC · 449
inIT · 314
inITCON · 323
inITLAY · 316
inITNW · 317
inITWB · 316
inITZERO · 318
L
LEARNCON · 401
LEARNGD · 394
LEARNGDM · 395
LEARNIS · 402
LEARNK · 400
LEARNLV1 · 396
LEARNLV2 · 398
LEARNOS · 404
LEARNP · 390
LEARNPN · 391
LEARNSOM · 405
LEARNWH · 392
LEARNН · 407
LEARNНD · 409
linkdist · 309
logsig · 297
M
mae · 388
mandist · 307
MAXLINLR · 408
midpoint · 319
mSe · 385
mSeREG · 386
N
negdist · 306
netprod · 313
netSUM · 311
netWC · 272
network · 217
netWORK · 245
neWCF · 261
neWELM · 279
neWFF · 255
neWFFTD · 259
neWGRNN · 268
neWHOP · 281
neWLIN · 251
neWLIND · 254
neWLVQ · 277
newp · 217
NEWP · 248
neWPNN · 270
neWRB · 264
neWRBE · 266
neWSOM · 274
nORMPRod · 302
P
POSLIN · 287
POSTMNMX · 422
POSTREG · 424
POSTSTD · 423
PREMNMX · 418
PRESTD · 419
PREРСА · 420
purelin · 286
R
RADBAS · 291
randnc · 322
randnR · 322
randS · 320
REVERT · 324
S
satlin · 288
satlinS · 290
SEQ2CON · 447
softmax · 296
SRCHBAC · 417
SRCHBRE · 413
SRCHCHA · 416
SRCHGOL · 412
SRCHHYB · 414
sSE · 383
T
TANSIG · 299
train · 332
trainb · 335
trainbfg · 371
trainbr · 379
trainc · 339
traincgb · 366
traincgf · 361
traincgp · 364
traingd · 349
traingda · 351
TRAINGDM · 354
traingdx · 356
trainlm · 376
trainoss · 374
trainr · 342
trainrp · 359
trains · 329
trainscg · 369
TRAMNMX · 425
TRAPCA · 427
TRASTD · 426
tribas · 293
V
VEC2IND · 449
CALCE · 433
CALCE1 · 434
CALCGX · 439
CALCPERF · 437
GETX · 436
SETX · 437
Литература Книги на английском языке:
Battiti R. First and second order methods for learning: Between steepest descent and Newton’s method. // Neural Computation. 1992. Vol. 4, N 2. P. 141–166.
Beale E. M. L. A derivation of conjugate gradients in F. A. Lootsma.// Numerical methods for nonlinear optimization. London: Academic Press, 1972.
Brent R. P. Algorithms for Minimization Without Derivatives. Englewood Cliffs, NJ: Prentice-Hall, 1973.
Brent R. P. Introduction to Non-Linear Estimation. 1985.
Caudill M. Neural Networks Primer. San Francisco, CA: Miller Freeman Publications, 1989.
Caudill M., Butler C. Understanding Neural Networks: Computer Explorations: Vols. 1, 2.Cambridge, MA: MIT Press, 1992.
Chen S., Cowan C. F. N., Grant P. M. Orthogonal least squares learning algorithm for radial basis function networks// IEEE Transactions on Neural Networks. 1991. Vol. 2, N 2. P. 302-309.
Charalambous C. Conjugate gradient algorithm for efficient training of artificial neural networks// IEEE Proceedings. 1992. Vol. 139, N 3. P. 301–310.
Dennis J. E., Schnabel R. B. Numerical Methods for Unconstrained Optimization and Nonlinear Equations. Englewood Cliffs, NJ: Prentice-Hall, 1983.
Elman J. L. Finding structure in time// Cognitive Science. 1990. Vol. 14. P. 179-211.
Foresee F. D., Hagan M. T. Gauss-Newton approximation to Bayesian regularization// Proceedings of the 1997 International Joint Conference on Neural Networks. 1997. P. 1930-1935.
Fletcher R., Reeves C. M. Function minimization by conjugate gradients// Computer Journal. 1964. Vol. 7. P. 149-154.
Gill P. E., Murray W., Wright M. H. Practical Optimization. New York: Academic Press, 1981.
Grossberg, S. Studies of the Mind and Brain. Drodrecht, Holland: Reidel Press, 1982.
Hagan M. T., Demuth H. B. Neural Networks for Control// Proceedings of the 1999 American Control Conference. SanDiego: CA, 1999. P. 1642-1656.
Hagan M. T., De Jesus O., Schultz R. Training Recurrent Networks for Filtering and Control. Ch. 12.// Recurrent Neural Networks: Design and Applications, L. Medsker, L.C. Jain, Eds. CRC Press, 1999. P. 311-340.
Hagan M.T., Menhaj M. Training feedforward networks with the Marquardt algorithm// IEEE Transactions on Neural Networks.1994. Vol. 5, N 6. P. 989–993.
Hagan M. T., Demuth H. B., Beale M.H. Neural Network Design. Boston, MA: PWS Publishing, 1996.
Hebb D. O. The Organization of Behavior. New York: Wiley, 1949.
Himmelblau D. M., Applied Nonlinear Programming. New York: McGraw-Hill, 1972.
Hunt K. J., Sbarbaro D., Zbikowski R., Gawthrop P. J. Neural Networks for Control System – A Survey// Automatica. 1992. Vol. 28. P. 1083-1112.
Jolliffe I. T. Principal Component Analysis. New York: Springer-Verlag. 1986.
Kohonen T. Self-Organization and Associative Memory.2nd ed. Berlin: Springer-Verlag, 1987.
Kohonen, T. Self-Organizing Maps, Second Edition. Berlin: Springer-Verlag. 1997.
Li J., Michel A. N., Porod W. Analysis and synthesis of a class of neural networks: linear systems operating on a closed hypercube// IEEE Transactions on Circuits and Systems. 1989. Vol. 36, N 11. P. 1405-1422.
Lippman R. P. An introduction to computing with neural nets// IEEE ASSP Magazine. 1987. P. 4-22.
MacKay D. J. C. Bayesian interpolation// Neural Computation. 1912. Vol. 4. N 3. P. 415-447.
McCulloch W. S., Pitts W. H. A logical calculus of ideas immanent in nervous activity// Bulletin of Mathematical Biophysics. 1943. Vol. 5. P. 115-133.
Moller M. F. A scaled conjugate gradient algorithm for fast supervised learning// Neural Networks. 1993. Vol. 6. P. 525-533.
Murray R. D., Sbarbaro N. D. Neural Networks for Modeling and Control of a Non-linear Dynamic System// Proceedings of the 1992 IEEE International Symposium on Intelligent Control. 1992. P. 404-409.
Narendra K. S., Mukhopadhyay S. Adaptive Control Using Neural Networks and Approximate Models// IEEE Transactions on Neural Networks. 1997. Vol. 8. P. 475-485.
Nguyen D., Widrow B. The truck backer-upper: An example of self-learning in neural networks// Proceedings of the International Joint Conference on Neural Networks. 1989. Vol 2. P. 357-363.
Nguyen D., Widrow B. Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights// Proceedings of the International Joint Conference on Neural Networks. 1990. Vol 3. P. 21-26.
Powell M. J. D. Restart procedures for the conjugate gradient method// Mathematical Programming. 1977. Vol. 12. P. 241-254.
Purdie N., Lucas E. A., Talley M. B. Direct measure of total cholesterol and its distribution among major serum lipoproteins// Clinical Chemistry.1992. Vol. 38, N 9. P. 1645-1647.
Riedmiller M., Braun H. A direct adaptive method for faster backpropagation learning: The RPROP algorithm// Proceedings of the IEEE International Conference on Neural Networks. 1993.
Rosenblatt F. Principles of Neurodynamics. Washington D. C.: Spartan Press, 1961; :Пер. с англ. Розенблатт Ф. Принципы нейродинамики. М.: Мир, 1965.
Rumelhart D. E., Hinton G. E., Williams R. J. Learning internal representations by error propagation. Еd. by D. E. Rumelhart, J. L. McClelland// Parallel Data Processing. 1986. Vol.1. Cambridge, MA: The M.I.T. Press. P. 318-362.
Rumelhart D. E., Hinton G. E., Williams R. J. Learning representations by back-propagating errors// Nature. 1986. Vol. 323. P. 533–536.
Soloway D., Haley P. J. Neural Generalized Predictive Control// Proceedings of the 1996 IEEE International Symposium on Intelligent Control. 1996. P. 277-281.
Scales L. E. Introduction to Non-Linear Optimization. New York: Springer-Verlag, 1985.
Vogl T.P., Mangis J.K. et al. Accelerating the convergence of the backpropagation method// Biological Cybernetics. 1988. Vol. 59. P. 256-264.
Wasserman P. D. Advanced Methods in Neural Computing. New York: Van Nostrand Reinhold, 1993.
Widrow B., Hoff M .E. Adaptive switching circuits// 1960 IREWESCON Convention Record. New York IRE. 1960. P. 96-104.
Widrow B., Sterns S. D. Adaptive Signal Processing. New York: Prentice-Hall, 1985.