Нелинейный сигмоидный преобразователь, Произвольный непрерывный нелинейный преобразователь - Функциональные модели универсального нейрокомпьютера

Рис. 11. Прямое (а) и обратное (б) функционирование нелинейного сигмоидного преобразователя

Нелинейный сигмоидный преобразователь или сигмоидный элемент имеет один входной сигнал и один параметр. Сторонники чистого коннекционистского подхода [265] считают, что обучаться в ходе обучения нейронной сети могут только веса связей. С этой точки зрения параметр сигмоидного элемента является не обучаемым и, как следствие, для него нет необходимости вычислять соответствующий элемент градиента. Однако, часть исследователей полагает, что нужно обучать все параметры всех элементов сети. Исходя из этого, опишем вычисление этим элементом производной функции оценки по содержащемуся в нем параметру.

Обозначим входной сигнал через, параметр через, а вычисляемую этим преобразователем функцию через (рис. 11а). При обратном функционировании на выход сигмоидного элемента подается сигнал. На входе сигнала должен быть получен сигнал обратного функционирования, равный, а на входе параметра - элемент градиента, равный (рис. 11б).

Произвольный непрерывный нелинейный преобразователь

Произвольный непрерывный нелинейный преобразователь имеет несколько входных сигналов, а реализуемая им функция зависит от несколЬких параметров. Выходной сигнал такого элемента вычисляется как некоторая функция, где x - вектор входных сигналов, а ? - вектор параметров. При обратном функционировании на выходную связь элемента подается сигнал обратного функционирования, равный. На входы сигналов выдаются сигналы обратного функционирования, равные, а на входах параметров вычисляются элементы градиента, равные.

Похожие статьи




Нелинейный сигмоидный преобразователь, Произвольный непрерывный нелинейный преобразователь - Функциональные модели универсального нейрокомпьютера

Предыдущая | Следующая