Алгоритм обратного распространения, Идея создания алгоритма обратного распространения - Прогнозирующие системы
Идея создания алгоритма обратного распространения
Примерно в 1974 году Поль Дж. Вербос изобрел значительно более эффективную процедуру для вычисления EW, когда работал над своей докторской диссертацией в Гарвардском университете. Процедура, известная теперь как алгоритм обратного распространением (back propagation algorithm), стала одним из наиболее важных инструментов в обучении нейронных сетей [5, 16, 27, 30, 42, 48, 49].
Алгоритм обратного распространением проще всего понять, когда все элементы сети линейны. Алгоритм вычисляет каждую EW, сначала вычисляя EA - скорость, с которой изменяется ошибка при изменении уровня активности элемента. Для выходных элементов EA является просто разностью между действительным и желаемым выходом. Чтобы вычислить EA для скрытого элемента в слое, непосредственно предшествующем выходному слою, мы сначала идентифицируем все веса между этим скрытым элементом и выходными элементами, с которыми соединен данный скрытый элемент. Затем мы умножаем эти веса на величины EA для этих выходных элементов и складываем полученные произведения. Эта сумма и равна EA для данного скрытого элемента. Вычислив EA для всех элементов скрытого слоя, прилегающего к выходному, мы можем аналогичным образом рассчитать EA и для других слоев, перемещаясь в направлении, обратном тому направлению, в котором активность нейронов распространяется по сети. Отсюда и название алгоритма обратного прослеживания (или обратного распространения). После того как значение EA для элемента вычислено, подсчитать EW для каждой входной связи элемента уже несложно. Величина EW является произведением EA и активности во входной цепи.
Для нелинейных элементов алгоритм обратного распространением включает дополнительный шаг. перед перемещением в обратном направлении EA необходимо преобразовать в EI - скорость, с которой изменяется ошибка по мере изменения суммарного входа элемента.
Похожие статьи
-
Современная оценка алгоритма обратного распространения - Прогнозирующие системы
На протяжении нескольких лет после его изобретения алгоритм обратного распространением оставался почти незамеченным, вероятно, потому, что не был в...
-
Модель сети с обратным распространением - Прогнозирующие системы
Способом обратного распространения (back propogation) называется способ обучения многослойных НС. В таких НС связи между собой имеют только соседние...
-
В данной главе мы приводим детальное описание метода обратного распространения - способа обучения многослойных НС. Подробно описана НС для распознавания...
-
В данной главе мы обсуждаем известные модели НС: модель Маккалоха и Питтса; модель Розенблата; модели Хопфилда и Больцмана; модель на основе обратного...
-
Определение . Алгебраическим дополнением минора матрицы называется его Дополнительный минор , умноженный на (-1) в степени, равной сумме номеров строк и...
-
Прогнозирование курса Ukb/Usd, Общий подход к прогнозированию курса UKB/USD - Прогнозирующие системы
В данной главе описаны эксперименты по прогнозированию курса американского доллара по отношению к украинскому карбованцу (UKB/USD). Сначала описаны...
-
Модель Хопфилда - Прогнозирующие системы
В 70-е годы интерес к нейронным сетям значительно упал, однако работы по их исследованию продолжались. Был предложен ряд интересных разработок, таких,...
-
Модели нейронных сетей, Модель Маккалоха - Прогнозирующие системы
Модель Маккалоха Теоретические основы нейроматематики были заложены в начале 40-х годов. В 1943 году У. Маккалох и его ученик У. Питтс сформулировали...
-
В данной главе описан способ прогнозирования с помощью НС, основанный на методе окон. Также приведен обзор применения НС в финансовой сфере. Общий подход...
-
Для реализации математической модели оценки состояния СЭС разработан алгоритм определения целей развития СЭС. Для разработки алгоритма необходим анализ...
-
Основные понятия и определения проблемы прогнозирования - Прогнозирующие системы
Необходимо отметить, что мы рассматриваем прогнозирование в целях планирования производства или управления запасами. Таким образом, наш интерес лежит в...
-
В данной главе мы обсуждаем некоторые общие аспекты разработки прогнозирующих систем: понятие прогноза и цели его использования, основные понятия и...
-
Выводы - Прогнозирующие системы
Прогнозирование с помощью НС курса UKB/USD показало эффективность предлагаемого подхода. Наилучшие результаты при симуляции прогнозирования были получены...
-
Описание экспериментов - Прогнозирующие системы
Эксперимент 1 Описание исторических данных: Данные подаются на входы НС в виде временной последовательности ежедневных измерений фактического курса (в...
-
Задачи, решаемые на основе нейронных сетей - Прогнозирующие системы
В литературе [33, 41, 43] встречается значительное число признаков, которыми должна обладать задача, чтобы применение НС было оправдано и НС могла бы ее...
-
Разработка алгоритма нахождения входного потока заявок в имитационной модели контрольно-пропускной системы на основе статистических данных В наши дни...
-
Модели временных последовательностей, Критерии производительности - Прогнозирующие системы
Используемые для наших целей временные последовательности представляют собой последовательность наблюдений за интересующей переменной. Переменная...
-
Применение нейронных сетей в финансовой сфере - Прогнозирующие системы
Характерный пример успешного применения нейронных вычислений в финансовой сфере - управление кредитными рисками. Как известно, до выдачи кредита банки...
-
Методы прогнозирования - Прогнозирующие системы
Методы прогнозирования можно разделить на два класса квалитативные и квантитативные, в зависимости от того, какие математические методы используются....
-
Пусть к примеру необходимо стабилизировать ПИ-регулятором объект с передаточной функцией (9) Составляем структурную схему моделирования в среде Simulink...
-
В статье рассматриваются вопросы, связанные с совершенствованием процессов управления непрерывными ХТС. Предлагается возможность такой организации...
-
Периодическая система и закон Д. И. Менделеева и его значение - Роль химии в повседневной жизни
Имя и труды Менделеева пользуются мировой славой. Периодический закон, открытый Менделеевым, сопутствует каждому химику любой страны на всем протяжении...
-
Построим формализованную модель оценки суммарных издержек в складском грузообороте. Введем обозначения (все показатели соотнесены к периоду в один год и...
-
Менделеев Д. И., его жизнь и система элементов
Менделеев Сколько химиков до него пыталось привести в систему все многообразие элементов, которые создали удивительный мир вокруг человека и которые...
-
Модель Розенблата - Прогнозирующие системы
Серьезное развитие нейрокибернетика получила в работах американского нейрофизиолога Френсиса Розенблата (Корнелльский университет). В 1958 году он...
-
Рис.2. Схема алгоритма моделируемой модели Обоснования выбранных систем проектирования В качестве программной среды моделирования решено использовать...
-
Литература - Прогнозирующие системы
1. Aбу-Мустафа Я. С., Псалтис Д. Оптические нейронно-сетевые компьютеры//В мире науки, 1987. №5. С. 42-50. 2. Барцев С. И. Некоторые свойства адаптивных...
-
Экономические методики валютного прогнозирования - Прогнозирующие системы
Мировая практика выработала два основных подхода к прогнозированию динамики валютного курса - фундаментальный и технический. Фундаментальный подход...
-
Способы реализации нейронных сетей - Прогнозирующие системы
Нейронные сети могут быть реализованы двумя путями: первый - это программная модель НС [2, 3, 15, 34], второй - аппаратная [14, 31, 34, 45, 50]. На...
-
Рассмотрим алгоритм создания эмпирической базы для моделирования на примере трехуровневой иерархии, на среднем уровне которой есть пять видов рисков...
-
Оценка адекватности включает в себя проверку способности модели правильно осуществлять идентификацию состояний МиУГВ как входящих в базу прецедентов...
-
Модели и моделирование. Классификация моделей - Моделирование экономических систем
Первоначально моделью называли некое вспомогательное средство, объект, который в определенных ситуациях заменял другой объект. Например, манекен в...
-
Все генетические алгоритмы участвовали в двух группах тестов. В каждой группе исследовались различные наборы значений управляющих параметров МГА:...
-
Алгоритмы поиска квази-клики в графе. - Использование квази-клик для анализа графа рынка России
Как и для поиска клик существуют алгоритмы поиска квази-клик в графе. Далее мы рассмотрим некоторые из них. Как было сказано ранее, задача поиска...
-
Химия в системе наук - Основы естественно-научных знаний
Химия - наука о веществах, их свойствах, строении и взаимных превращениях. Под веществом понимается любая совокупность атомов и молекул. Традиционная...
-
Алгоритм использует в качестве исходных данных документы, содержащие следующие сведения: X A, k,j, i - измеряемые показатели научной работы; X A, TG,...
-
Методы непараметрической статистики - Основы теории систем и системного анализа
Использование классических распределений случайных величин обычно называют "параметрической статистикой" - мы делаем предположение о том, что...
-
Структурная целостность (связность) В системно-физическом плане внутренняя связность (связность) системы проявляется в наличии внутренних...
-
Динамическая согласованность Динамическая согласованность - способность системы к согласованному во времени изменению своих признаков. Как показывает...
-
Элементы матричного анализа - Методы решения системы линейных уравнений
Вектором, как на плоскости, так и в пространстве, называется направленный Отрезок , то есть такой Отрезок , один из концов которого выделен и называется...
Алгоритм обратного распространения, Идея создания алгоритма обратного распространения - Прогнозирующие системы