Точка ветвления, Сумматор, Нелинейный Паде преобразователь, Нелинейный сигмоидный преобразователь, Адаптивный сумматор, Константа Липшица сигмоидной сети - Функциональные модели универсального нейрокомпьютера

Поскольку в точке ветвления не происходит преобразования сигнала, то константа Липшица для нее равна единице.

Сумматор

Производная суммы по любому из слагаемых равна единице. В соответствии с (6) получаем:

, (10)

Поскольку максимум суммы при ограничении на сумму квадратов достигается при одинаковых слагаемых.

Нелинейный Паде преобразователь

Нелинейный Паде преобразователь или Паде элемент имеет два входных сигнала и один выходной. Обозначим входные сигналы через. Используя (6) можно записать константу Липшица в следующем виде:

.

Знаменатель выражения под знаком модуля не зависит от направления, а числитель можно преобразовать так же, как и для умножителя. После преобразования получаем:

(11)

Нелинейный сигмоидный преобразователь

Нелинейный сигмоидный преобразователь, как и любой другой нелинейный преобразователь, имеющий один входной сигнал, имеет константу Липшица равную максимуму модуля производной:

. (12)

Адаптивный сумматор

Для адаптивного сумматора на входов оценка константы Липшица, получаемая через представление его в виде суперпозиции слоя синапсов и простого сумматора, вычисляется следующим образом. Используя формулу (7) для синапсов и правило (5) для вектор-функции получаем следующую оценку константы Липшица слоя синапсов:

.

Используя правило (4) для суперпозиции функций и оценку константы Липшица для простого сумматора (10) получаем:

. (13)

Однако, если оценить константу Липшица адаптивного сумматора напрямую, то, используя (6) и тот факт, что при фиксированных длинах векторов скалярное произведение достигает максимума для сонаправленных векторов получаем:

. (14)

Очевидно, что оценка (14) точнее, чем оценка (13).

Константа Липшица сигмоидной сети

Рассмотрим слоистую сигмоидную сеть со следующими свойствами:

Число входных сигналов - .

Число нейронов в - м слое - .

Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.

Все нейроны всех слоев имеют вид, приведенный на рис. 1 и имеют одинаковую характеристику.

Все синаптические веса ограничены по модулю единицей.

В сети слоев.

В этом случае, учитывая формулы (4), (5), (12) и (14) константу Липшица - о слоя можно оценить следующей величиной:

.

Используя формулу (4) получаем оценку константы Липшица всей сети:

.

Если используется нейроны типа, то и оценка константы Липшица сети равна:

Для нейронов типа, то и оценка константы Липшица сети равна:

Обе формулы подтверждают экспериментально установленный факт, что чем круче характеристическая функция нейрона, тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.

Похожие статьи




Точка ветвления, Сумматор, Нелинейный Паде преобразователь, Нелинейный сигмоидный преобразователь, Адаптивный сумматор, Константа Липшица сигмоидной сети - Функциональные модели универсального нейрокомпьютера

Предыдущая | Следующая