Евристичний алгоритм навчання класифікації тришарового персептрона

Нехай задана навчальна вибірка, яка складається з S екземплярів x^q, q = 1, 2, ..., S, що характеризуються N ознаками x^q_i, i = 1, 2, ..., N, і кожному x^q зіставлений клас A чи B.

Виходячи з припущення, що екземпляри одного класу імовірніше всього будуть розташовані ближче в просторі ознак, визначимо для кожного класу і кожної ознаки координати центрів зосередження (центрів ваги) екземплярів.

Координата центра зосередження екземплярів, що належать до класу A, за i-ю ознакою буде визначатися з виразу:

де N^A – кількість екземплярів, що належать до класу A. Аналогічним чином може бути визначена координата центра зосередження екземплярів, що належать до класу B, за i-ю ознакою .

Знаючи координати центрів зосередження екземплярів навчальної вибірки для обох класів, можна здійснювати класифікацію по відстані нового екземпляра від цих центрів у N-вимірній системі координат.

Для цього для кожного нового екземпляра x^q послідовно знаходяться відстані цього екземпляра від центрів зосередження екземплярів для кожного з класів:

, .

Новий екземпляр відносять до класу A, якщо R²_A < R²_B, у протилежному випадку – до класу B.

Такий спосіб класифікації – порівняння відстаней нового екземпляра від центрів зосередження екземплярів навчальної вибірки по всіх координатах (ознаках) одночасно. При цьому не враховується інформація про значимість ознак. Для усунення цього недоліку представимо клас екземпляра K як функцію суми результатів часткової класифікації за i-ю та j-ю ознаками K_ij з урахуванням їх значимостей :, де

Умовимося, що клас А буде кодуватися значенням 1, а клас B – значенням 0.

Для визначення результатів часткової класифікації за i-ю та j-ю ознаками K_ij для екземпляра x^q знайдемо відстані цього екземпляра від центрів зосередження екземплярів, що належать класам А та В на площині, утвореній i-ю та j-ю ознаками:

, .

Якщо , то будемо вважати, що на площині (i,j) , інакше. Тобто, якщо, тоK_ij = 1, інакше – K_ij = 0.

Для знаходження значимостей результатів часткової класифікації заi-ю та j-ю ознаками для всіх екземплярів навчальної вибірки визначимо кількість помилкових рішень при двовимірній класифікації за i-ю та j-ю ознаками: ,

де K^q – значення, зіставлене класу q-го екземпляра; K^q_ij – результат двовимірної класифікації q-го екземпляра за i-ю та j-ю ознаками.

Потім знайдемо значимості результатів часткової класифікації заi-ю та j-ю ознаками: .

Для спрощення обчислень можна запропонувати альтернативний варіант установки значень :.

Такий варіант трохи прискорить роботу алгоритму, але при цьому значимості часткових результатів класифікації враховуватися не будуть.

Оскільки результати класифікації K_ij = K_ji, то для оптимізації обчислювального процесу при навчанні та розпізнаванні задамо області визначення для i та j: i, j [1, 2, ...,N], ij.

У цьому випадку при обчисленні результату класифікації будуть використовуватися часткові результати двовимірних класифікацій за i-ю та j-ю ознаками () і результати одновимірної класифікації заi-ю (j-ю) ознакою (i = j).

Очевидно, якщо покласти: i, j [1, 2, ...,N], i < j, то будуть враховуватися тільки часткові результати двовимірної класифікації за i-ю та j-ю ознаками ().

У свою чергу, якщо покласти: i, j [1, 2, ...,N], i = j, то будуть враховуватися тільки часткові результати одновимірної класифікації за i-ю (j-ю) ознакою (i = j).

Для настроювання ваг тришарового персептрона може служити наступний алгоритм.

Для нейромережевої реалізації порівняння відстаней і визначення значення K_ij можна використовувати наступний вираз:

,

де – логістична функція.

Якщо функція буде дискретною, наприклад, пороговою:, тоK_ij буде приймати значення 0 або 1. Якщо функція буде дійсною, наприклад, сигмоїдною:, тоK_ij буде приймати значення на інтервалі [0,1]: чим ближче значення цієї функції буде до 0, тим ближче екземпляр буде до класу, якому зіставлене значення 0, і, відповідно, навпаки, чим ближче значення цієї функції буде до 1, тим ближче екземпляр буде до класу, якому зіставлене значення 1. Використання сигмоїдної функції може бути більш кращим на практиці, оскільки вона дозволяє не тільки визначити до якого класу ближче екземпляр, але і на скільки ближче.

Для обчислення різниці відстаней підставимо відповідні вирази:

,

розкриємо дужки, згрупуємо члени по i та j та приведемо подібні. Після нескладних математичних перетворень одержимо:

,

де ,.

Легко бачити, що вирази для таможуть бути обчислені на основі формального нейрона, що має один вхід, на який подається значенняx_i або x_j, вага якого дорівнює або, відповідно. Поріг нейрона (нульова вага) у цьому випадку буде дорівнюватиабо, відповідно.

Тришаровий персептрон, ваги якого обчислені на основі розглянутого алгоритму, зображений на рис. 7.

Рисунок 7 – Тришаровий персептрон

Параметри і функції активації НМ визначають за наступними правилами.

Функція активації ψ^{(,k )} k-го нейрона -го шару:

;

Ваговий коефіцієнт p-го входу k-го нейрона -го шару:

.