Искусственные нейронные сети - Исследование метода обратного распространения ошибки для обучения нейронной сети

Несмотря на большое разнообразие вариантов нейронных сетей, все они имеют общие черты. Так, все они, так же, как и мозг человека, состоят из большого числа связанных между собой однотипных элементов - нейронов, которые имитируют нейроны головного мозга. На рис. 1 показана схема нейрона.

Из рисунка видно, что искусственный нейрон, так же, как и живой, состоит из синапсов, связывающих входы нейрона с ядром; ядра нейрона, которое осуществляет обработку входных сигналов и аксона, который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет вес, который определяет, насколько соответствующий вход нейрона влияет на его состояние.

Состояние нейрона определяется по формуле

Где :

N - число входов нейрона

XI - значение i-го входа нейрона

WI - вес i-го синапса

Затем определяется значение аксона нейрона по формуле

Y = f(S)

Где f - некоторая функция, которая называется активационной. Наиболее часто в качестве активационной функции используется сигмоид, который имеет следующий вид:

Основное достоинство этой функции в том, что она дифференцируема на всей оси абсцисс и имеет очень простую производную:

При уменьшении параметра a сигмоид, становится более пологим, вырождаясь в горизонтальную линию на уровне 0,5 при a=0. При увеличении a, сигмоид приближается к функции единичного скачка.

Список других наиболее употребляемых функций активации приведен в таблице 1.

Таблица 1- Основные функций активации.

№

Название

Математическая запись

1

Линейная

2

Пороговая бинарная

3

Пороговая биполярная

4

Линейная ограниченная

5

Гиперболический тангенс

6

Логарифмическая

7

Радиально-базисная

8

Сигмоидная (y [-1,1])

Похожие статьи




Искусственные нейронные сети - Исследование метода обратного распространения ошибки для обучения нейронной сети

Предыдущая | Следующая