Описание алгоритмов обучения - Функциональные модели универсального нейрокомпьютера
Все алгоритмы обучения сетей методом обратного распространения ошибки опираются на способность сети вычислять градиент функции ошибки по обучающим параметрам. Даже правило Хебба использует вектор псевдоградиента, вычисляемый сетью при использовании зеркального порогового элемента (см. раздел "Пороговый элемент" главы "Описание нейронных сетей"). Таким образом, акт обучения состоит из вычисления градиента и собственно обучения сети (модификации параметров сети). Однако, существует множество не градиентных методов обучения, таких, как метод покоординатного спуска, метод случайного поиска и целое семейство методов Монте-Карло. Все эти методы могут использоваться при обучении нейронных сетей, хотя, как правило, они менее эффективны, чем градиентные методы. Некоторые варианты методов обучения описаны далее в этой главе.
Поскольку обучение двойственных сетей с точки зрения используемого математического аппарата эквивалентно задаче многомерной оптимизации, то в данной главе рассмотрены только несколько методов обучения, наиболее используемых при обучении сетей. Более полное представление о методах оптимизации, допускающих использование в обучении нейронных сетей, можно получить из книг по методам оптимизации (см. например [48, 104, 144]).
Похожие статьи
-
Впервые последовательное описание конструирования нейронных с Етей из элементов было предложено в книге А. Н. Горбаня [65]. Однако за прошедшее время...
-
Описание нейронных сетей - Функциональные модели универсального нейрокомпьютера
В первой части этой главы описана система построения сетей из элементов. Описаны прямое и обратное функционирование сетей и составляющих их элементов....
-
Элементы самодвойственных сетей - Функциональные модели универсального нейрокомпьютера
Если при обратном функционировании самодвойственной сети на ее выход подать производные некоторой функции F по выходным сигналам сети, то в ходе...
-
Функционирование сети - Функциональные модели универсального нейрокомпьютера
Таблица 1 Однородные и неоднородные сумматоры Название Однородный сумматор Неоднородный сумматор Обозначение Значение Обозначение Значение Обычный ?...
-
Исполнитель, Описание компонента исполнитель - Функциональные модели универсального нейрокомпьютера
Описание компонента исполнитель Компонент исполнитель является служебным. Это означает, что он универсален и невидим для пользователя. В отличие от всех...
-
Запросы к компоненту сеть - Функциональные модели универсального нейрокомпьютера
В данном разделе главы рассмотрены все запросы, исполняемые комп Онентом сеть. Прежде чем приступать к описанию стандарта запросов компонента сеть...
-
Правила остановки работы сети - Функциональные модели универсального нейрокомпьютера
При использовании сетей прямого распространения (сетей без циклов) вопроса об остановке сети не возникает. Действительно, сигналы поступают на элементы...
-
Рис. 11. Прямое (а) и обратное (б) функционирование нелинейного сигмоидного преобразователя Нелинейный сигмоидный преобразователь или сигмоидный элемент...
-
Компонент задачник является необходимой частью нейрокомпьютера вне зависимости от типа применяемых в нем нейронных сетей. Однако в зависимости от...
-
В этом разделе намеренно допущено отступление от общей методики - не смешивать разные компоненты. Это сделано для облегчения демонстрации построения...
-
Установить параметры сети (nwSetData) - Функциональные модели универсального нейрокомпьютера
Описание запроса: Pascal: Function nwSetData(Net : PString; DataType : Integer; Var Data : RealArray) : Logic; C: Logic nwSetData(PString Net, Integer...
-
Контрастирование и нормализация сети - Функциональные модели универсального нейрокомпьютера
В последние годы широкое распространение получили различные методы контрастирования или скелетонизации нейронных сетей. В ходе процедуры контрастирования...
-
Язык описания нейронных сетей предназначен для хранения сетей на диске. Следует отметить, что в отличии от таких компонентов, как предобработчик входных...
-
Сигналы и параметры - Функциональные модели универсального нейрокомпьютера
При использовании контрастирования для изменения структуры сети и значений обучаемых параметров другим компонентам бывает необходим прямой доступ к...
-
Персептрон Розенблатта - Функциональные модели универсального нейрокомпьютера
Персептрон Розенблатта [147, 185] является исторически первой обучаемой нейронной сетью. Существует несколько версий персептрона. Рассмотрим классический...
-
Предобработчик сам никаких запросов не генерирует. Единственный запрос к предобработчику - "Предобработать пример" может быть выдан только задачником....
-
Составные элементы - Функциональные модели универсального нейрокомпьютера
Название "составные элементы" противоречит определению элементов. Это противоречие объясняется соображениями удобства работы. Введение составных...
-
Запросы, однотипные для всех компонентов - Функциональные модели универсального нейрокомпьютера
Таблица 5 Префиксы компонентов Префикс Компонент Запроса Ошибки Ex 0 Исполнитель Tb 1 Задачник Pr 2 Предобработчик Nn 3 Сеть Es 4 Оценка Ai 5...
-
В этом разделе описаны запросы, выполняемых всеми компонентами, а также типы данных, используемые при описании запросов. Стандарт типов данных При...
-
Создать_вектор В1 Создать_вектор В2 Вычислить_оценку О1 Сохранить_вктор В1 Установить_параметры В1 Случайный_вектор В2 Модификация_вектора В2, 0, 1...
-
Поскольку в точке ветвления не происходит преобразования сигнала, то константа Липшица для нее равна единице. Сумматор Производная суммы по любому из...
-
Ниже приведен список запросов, исполнение которых описано в разделе "Запросы общие для всех компонентов": EsSetCurrent - Сделать оценку текущим EsAdd -...
-
Уровень уверенности - Функциональные модели универсального нейрокомпьютера
Часто при решении задач классификации с использованием нейронных сетей недостаточно простого ответа "входной вектор принадлежит k-му классу". Хотелось бы...
-
Нормализовать сеть (NormalizeNet) - Функциональные модели универсального нейрокомпьютера
Описание запроса: Pascal: Function NormalizeNet(Net : PString) : Logic; C: Logic NormalizeNet(PString Net) Описание аргумента: Net - указатель на строку...
-
Предобработчик - Функциональные модели универсального нейрокомпьютера
Данная глава посвящена компоненту предобработчик [80, 150]. В ней рассматриваются различные аспекты предобработки входных данных для нейронных сетей....
-
Описание запроса: Pascal: Function RandomDirection( Net : PString; Range : Real ) : Logic; C: Logic RandomDirection(PString Net, Real Range) Описание...
-
Описание запроса: Pascal: Function ModifyMask( Net : PString; Tipe : Integer; NewMask: PLogicArray ) : Logic; C: Logic Modify(PString Net, Integer Tipe,...
-
Введение - Функциональные модели универсального нейрокомпьютера
Общая характеристика работы Актуальность темы. В 80-е годы развитие информатики и средств вычислительной техники во многом определялось программой "Пятое...
-
Во всех языках описания компонентов все параметры передаются по ссылке (передается не значение аргумента, а его адрес). Если в качестве фактического...
-
Как уже отмечалось в разделе "Различимость входных данных" числовые сигналы рекомендуется масштабировать и сдвигать так, чтобы весь диапазон значений...
-
В этом разделе описаны все запросы, выполняемые компонентом задачник в виде процедур и функций. При описании используется синтаксис языков Object Pascal...
-
Составной предобработчик - Функциональные модели универсального нейрокомпьютера
Поскольку на вход нейронной сети обычно подается несколько входных сигналов, каждый из которых обрабатывается своим предобработчиком, то предобработчик...
-
Запросы к компоненту интерпретатор ответа - Функциональные модели универсального нейрокомпьютера
Запросы к компоненту интерпретатор ответа можно разбить на пять групп: Интерпретация. Изменение параметров. Работа со структурой. Инициация редактора и...
-
Построение оценки по интерпретатору - Функциональные модели универсального нейрокомпьютера
Если в качестве ответа нейронная сеть должна выдать число, то естественной оценкой является квадрат разности выданного сетью выходного сигнала и...
-
Выполнить обратное Функционирование (Back) - Функциональные модели универсального нейрокомпьютера
Описание запроса: Pascal: Function Back( Net : PString; BackOutSignals : PRealArray) : Logic; C: Logic Back(PString Net, PRealArray BackOutSignals)...
-
Запросы на изменение параметров - Функциональные модели универсального нейрокомпьютера
К группе запросов на изменение параметров относятся три запроса: XxGetData - получить параметры структурной единицы. xxGetName - получить названия...
-
Схема обработки ошибок достаточно проста по своей идее - каждый новый обработчик ошибок может обрабатывать только часть ошибок, а обработку остальных...
-
Предопределенные константы - Функциональные модели универсального нейрокомпьютера
При описании различных компонентов возникает необходимость в использовании некоторого набора стандартизированных констант. Стандартность набора констант...
-
В данный раздел помещены запросы для работы с цветами. Отметим, что цвет примера, возвращаемый запросом GetColor можно получить также с помощью запроса...
-
К данной группе запросов относятся запросы позволяющие получать данные из задачника, заносить данные в задачник и сбросить предобработку (необходимо...
Описание алгоритмов обучения - Функциональные модели универсального нейрокомпьютера