Точка ветвления, Сумматор, Нелинейный Паде преобразователь, Нелинейный сигмоидный преобразователь, Адаптивный сумматор, Константа Липшица сигмоидной сети - Функциональные модели универсального нейрокомпьютера
Поскольку в точке ветвления не происходит преобразования сигнала, то константа Липшица для нее равна единице.
Сумматор
Производная суммы по любому из слагаемых равна единице. В соответствии с (6) получаем:
, (10)
Поскольку максимум суммы при ограничении на сумму квадратов достигается при одинаковых слагаемых.
Нелинейный Паде преобразователь
Нелинейный Паде преобразователь или Паде элемент имеет два входных сигнала и один выходной. Обозначим входные сигналы через. Используя (6) можно записать константу Липшица в следующем виде:
.
Знаменатель выражения под знаком модуля не зависит от направления, а числитель можно преобразовать так же, как и для умножителя. После преобразования получаем:
(11)
Нелинейный сигмоидный преобразователь
Нелинейный сигмоидный преобразователь, как и любой другой нелинейный преобразователь, имеющий один входной сигнал, имеет константу Липшица равную максимуму модуля производной:
. (12)
Адаптивный сумматор
Для адаптивного сумматора на входов оценка константы Липшица, получаемая через представление его в виде суперпозиции слоя синапсов и простого сумматора, вычисляется следующим образом. Используя формулу (7) для синапсов и правило (5) для вектор-функции получаем следующую оценку константы Липшица слоя синапсов:
.
Используя правило (4) для суперпозиции функций и оценку константы Липшица для простого сумматора (10) получаем:
. (13)
Однако, если оценить константу Липшица адаптивного сумматора напрямую, то, используя (6) и тот факт, что при фиксированных длинах векторов скалярное произведение достигает максимума для сонаправленных векторов получаем:
. (14)
Очевидно, что оценка (14) точнее, чем оценка (13).
Константа Липшица сигмоидной сети
Рассмотрим слоистую сигмоидную сеть со следующими свойствами:
Число входных сигналов - .
Число нейронов в - м слое - .
Каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя.
Все нейроны всех слоев имеют вид, приведенный на рис. 1 и имеют одинаковую характеристику.
Все синаптические веса ограничены по модулю единицей.
В сети слоев.
В этом случае, учитывая формулы (4), (5), (12) и (14) константу Липшица - о слоя можно оценить следующей величиной:
.
Используя формулу (4) получаем оценку константы Липшица всей сети:
.
Если используется нейроны типа, то и оценка константы Липшица сети равна:
Для нейронов типа, то и оценка константы Липшица сети равна:
Обе формулы подтверждают экспериментально установленный факт, что чем круче характеристическая функция нейрона, тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.
Похожие статьи
-
Как уже отмечалось в разделе "Различимость входных данных" числовые сигналы рекомендуется масштабировать и сдвигать так, чтобы весь диапазон значений...
-
Рис. 11. Прямое (а) и обратное (б) функционирование нелинейного сигмоидного преобразователя Нелинейный сигмоидный преобразователь или сигмоидный элемент...
-
Предобработчик - Функциональные модели универсального нейрокомпьютера
Данная глава посвящена компоненту предобработчик [80, 150]. В ней рассматриваются различные аспекты предобработки входных данных для нейронных сетей....
-
В этом разделе намеренно допущено отступление от общей методики - не смешивать разные компоненты. Это сделано для облегчения демонстрации построения...
-
Впервые последовательное описание конструирования нейронных с Етей из элементов было предложено в книге А. Н. Горбаня [65]. Однако за прошедшее время...
-
Запросы к компоненту сеть - Функциональные модели универсального нейрокомпьютера
В данном разделе главы рассмотрены все запросы, исполняемые комп Онентом сеть. Прежде чем приступать к описанию стандарта запросов компонента сеть...
-
Персептрон Розенблатта - Функциональные модели универсального нейрокомпьютера
Персептрон Розенблатта [147, 185] является исторически первой обучаемой нейронной сетью. Существует несколько версий персептрона. Рассмотрим классический...
-
Контрастирование и нормализация сети - Функциональные модели универсального нейрокомпьютера
В последние годы широкое распространение получили различные методы контрастирования или скелетонизации нейронных сетей. В ходе процедуры контрастирования...
-
Правила остановки работы сети - Функциональные модели универсального нейрокомпьютера
При использовании сетей прямого распространения (сетей без циклов) вопроса об остановке сети не возникает. Действительно, сигналы поступают на элементы...
-
Элементы самодвойственных сетей - Функциональные модели универсального нейрокомпьютера
Если при обратном функционировании самодвойственной сети на ее выход подать производные некоторой функции F по выходным сигналам сети, то в ходе...
-
Язык описания нейронных сетей предназначен для хранения сетей на диске. Следует отметить, что в отличии от таких компонентов, как предобработчик входных...
-
Функционирование сети - Функциональные модели универсального нейрокомпьютера
Таблица 1 Однородные и неоднородные сумматоры Название Однородный сумматор Неоднородный сумматор Обозначение Значение Обозначение Значение Обычный ?...
-
Построение оценки по интерпретатору - Функциональные модели универсального нейрокомпьютера
Если в качестве ответа нейронная сеть должна выдать число, то естественной оценкой является квадрат разности выданного сетью выходного сигнала и...
-
Сигналы и параметры - Функциональные модели универсального нейрокомпьютера
При использовании контрастирования для изменения структуры сети и значений обучаемых параметров другим компонентам бывает необходим прямой доступ к...
-
Компонент задачник является необходимой частью нейрокомпьютера вне зависимости от типа применяемых в нем нейронных сетей. Однако в зависимости от...
-
Установить параметры сети (nwSetData) - Функциональные модели универсального нейрокомпьютера
Описание запроса: Pascal: Function nwSetData(Net : PString; DataType : Integer; Var Data : RealArray) : Logic; C: Logic nwSetData(PString Net, Integer...
-
Сокращение описания сети - Функциональные модели универсального нейрокомпьютера
Предложенный в предыдущих разделах язык описания многословен. В большинстве случаев за счет хорошей структуризации сети можно опу Стить все разделы...
-
Описание нейронных сетей - Функциональные модели универсального нейрокомпьютера
В первой части этой главы описана система построения сетей из элементов. Описаны прямое и обратное функционирование сетей и составляющих их элементов....
-
Составные элементы - Функциональные модели универсального нейрокомпьютера
Название "составные элементы" противоречит определению элементов. Это противоречие объясняется соображениями удобства работы. Введение составных...
-
Исполнитель, Описание компонента исполнитель - Функциональные модели универсального нейрокомпьютера
Описание компонента исполнитель Компонент исполнитель является служебным. Это означает, что он универсален и невидим для пользователя. В отличие от всех...
-
В этом разделе описаны запросы, выполняемых всеми компонентами, а также типы данных, используемые при описании запросов. Стандарт типов данных При...
-
Нормализовать сеть (NormalizeNet) - Функциональные модели универсального нейрокомпьютера
Описание запроса: Pascal: Function NormalizeNet(Net : PString) : Logic; C: Logic NormalizeNet(PString Net) Описание аргумента: Net - указатель на строку...
-
Предопределенные константы - Функциональные модели универсального нейрокомпьютера
При описании различных компонентов возникает необходимость в использовании некоторого набора стандартизированных констант. Стандартность набора констант...
-
Запросы к компоненту интерпретатор ответа - Функциональные модели универсального нейрокомпьютера
Запросы к компоненту интерпретатор ответа можно разбить на пять групп: Интерпретация. Изменение параметров. Работа со структурой. Инициация редактора и...
-
Описание алгоритмов обучения - Функциональные модели универсального нейрокомпьютера
Все алгоритмы обучения сетей методом обратного распространения ошибки опираются на способность сети вычислять градиент функции ошибки по обучающим...
-
Уровень уверенности - Функциональные модели универсального нейрокомпьютера
Часто при решении задач классификации с использованием нейронных сетей недостаточно простого ответа "входной вектор принадлежит k-му классу". Хотелось бы...
-
Составной предобработчик - Функциональные модели универсального нейрокомпьютера
Поскольку на вход нейронной сети обычно подается несколько входных сигналов, каждый из которых обрабатывается своим предобработчиком, то предобработчик...
-
Запросы к задачнику - Функциональные модели универсального нейрокомпьютера
Запросы к задачнику позволяют последовательно перебирать все примеры обучающей выборки, обращаться непосредственно к любому примеру задачника и изменять...
-
Функции управления памятью - Функциональные модели универсального нейрокомпьютера
Для создания массивов и освобождения занимаемой ими памяти используются следующие фун Кции: Создание массива. Function NewArray( Type : Integer; Size :...
-
Во всех языках описания компонентов все параметры передаются по ссылке (передается не значение аргумента, а его адрес). Если в качестве фактического...
-
14.6.1. Если в аргументе Instruct не установлен бит Interpret, то генерируется запрос к задачнику Get с аргументами Handle, AnsArray, tbAnswers (Получает...
-
В данном разделе описаны запросы исполнителя с алгоритмами их исполнения. При описании запросов используется аргумент Instruct, являющийся целым числом,...
-
В этом разделе описаны все запросы, выполняемые компонентом задачник в виде процедур и функций. При описании используется синтаксис языков Object Pascal...
-
Ниже приведен список запросов, исполнение которых описано в разделе "Запросы общие для всех компонентов": EsSetCurrent - Сделать оценку текущим EsAdd -...
-
Оценить массив сигналов (Estimate) - Функциональные модели универсального нейрокомпьютера
Описание запроса: Pascal: Function Estimate( EstName : PString; Signals, Back, Answers, Reliability: PRealArray; Direv : Logic; Var Estim : Real ) :...
-
Запросы, однотипные для всех компонентов - Функциональные модели универсального нейрокомпьютера
Таблица 5 Префиксы компонентов Префикс Компонент Запроса Ошибки Ex 0 Исполнитель Tb 1 Задачник Pr 2 Предобработчик Nn 3 Сеть Es 4 Оценка Ai 5...
-
Единственный запрос первой группы выполняет основную функцию компонента предобработчик - предобрабатывает входные данные, вычисляя вектор входных...
-
Предобработчик сам никаких запросов не генерирует. Единственный запрос к предобработчику - "Предобработать пример" может быть выдан только задачником....
-
Введение - Функциональные модели универсального нейрокомпьютера
Общая характеристика работы Актуальность темы. В 80-е годы развитие информатики и средств вычислительной техники во многом определялось программой "Пятое...
-
В выпускной квалификационной работе предметом исследования является деятельность по учету и управлению доставкой корреспонденции. Для того, чтобы...
Точка ветвления, Сумматор, Нелинейный Паде преобразователь, Нелинейный сигмоидный преобразователь, Адаптивный сумматор, Константа Липшица сигмоидной сети - Функциональные модели универсального нейрокомпьютера