Нейронные сети, основанные на методе обратного функционирования, Обучение нейронных сетей - Прогнозирующие системы

В данной главе мы приводим детальное описание метода обратного распространения - способа обучения многослойных НС. Подробно описана НС для распознавания рукописных цифр и и процесс ее обучения. В главе также проведена современная оценка метода обратного распространения.

Обучение нейронных сетей

Мы можем научить трехслойную сеть решать определенную задачу, пользуясь следующей процедурой. Сначала мы предъявляем сети серию тренировочных примеров, которые состоят из паттерна активностей входных элементов вместе с желаемым паттерном активностей выходных элементов [8].

Предположим, что мы хотим научить сеть распознавать рукописные цифры. Можно воспользоваться матрицей, из 256 сенсоров, каждый из которых регистрирует присутствие или отсутствие чернильного пятнышка в пределах маленькой площадки - фрагмента одной цифры. Для сети, таким образом, потребуется 256 входных элементов (по одному на каждый сенсор), 10 выходных элементов (по одному на каждую возможную цифру) и некоторое количество скрытых элементов. Для каждой цифры, регистрируемой сенсорами, сеть должна генерировать высокую активность в соответствующем выходном элементе и низкую в остальных выходных элементах.

Чтобы натренировать систему, мы предъявляем ей изображение цифры и сравниваем действительную активность на 10 выходных элементах с желаемой активностью. Затем мы подсчитываем ошибку, определяемую как квадрат разности между действительным и желаемым выходом. После этого мы изменяем вес каждой связи, с тем, чтобы уменьшить ошибку. Описанный процесс тренировки мы повторяем со многими различными написаниями каждой цифры, пока сеть не научится правильно распознавать все возможные изображения.

Чтобы реализовать эту процедуру, нам нужно изменять каждый вес на величину, пропорциональную скорости, с которой изменяется ошибка по мере изменения веса [5]. Эта величина (называемая производной ошибки по весу и обозначаемая EW) вычисляется не просто. Один из способов вычисления EW заключается в том, чтобы изменить вес на очень маленькую величину и посмотреть, как изменится ошибка. Однако этот метод не эффективен, поскольку требует отдельных вариаций для каждого из многих весов.

Похожие статьи

• Модель сети с обратным распространением - Прогнозирующие системы

  Способом обратного распространения (back propogation) называется способ обучения многослойных НС. В таких НС связи между собой имеют только соседние...

• Алгоритм обратного распространения, Идея создания алгоритма обратного распространения - Прогнозирующие системы

  Идея создания алгоритма обратного распространения Примерно в 1974 году Поль Дж. Вербос изобрел значительно более эффективную процедуру для вычисления EW,...

• Нейронные сети. Состояние проблемы, Нейронные сети - основные понятия и определения - Прогнозирующие системы

  В данной главе мы обсуждаем известные модели НС: модель Маккалоха и Питтса; модель Розенблата; модели Хопфилда и Больцмана; модель на основе обратного...

• Применение нейронных сетей в финансовой сфере - Прогнозирующие системы

  Характерный пример успешного применения нейронных вычислений в финансовой сфере - управление кредитными рисками. Как известно, до выдачи кредита банки...

• Прогнозирование на основе нейронных сетей, Общий подход к прогнозированию с помощью нейронных сетей - Прогнозирующие системы

  В данной главе описан способ прогнозирования с помощью НС, основанный на методе окон. Также приведен обзор применения НС в финансовой сфере. Общий подход...

• Задачи, решаемые на основе нейронных сетей - Прогнозирующие системы

  В литературе [33, 41, 43] встречается значительное число признаков, которыми должна обладать задача, чтобы применение НС было оправдано и НС могла бы ее...

• Методы прогнозирования - Прогнозирующие системы

  Методы прогнозирования можно разделить на два класса квалитативные и квантитативные, в зависимости от того, какие математические методы используются....

• Модели нейронных сетей, Модель Маккалоха - Прогнозирующие системы

  Модель Маккалоха Теоретические основы нейроматематики были заложены в начале 40-х годов. В 1943 году У. Маккалох и его ученик У. Питтс сформулировали...

• Прогнозирование курса Ukb/Usd, Общий подход к прогнозированию курса UKB/USD - Прогнозирующие системы

  В данной главе описаны эксперименты по прогнозированию курса американского доллара по отношению к украинскому карбованцу (UKB/USD). Сначала описаны...

• Современная оценка алгоритма обратного распространения - Прогнозирующие системы

  На протяжении нескольких лет после его изобретения алгоритм обратного распространением оставался почти незамеченным, вероятно, потому, что не был в...

• Сопоставление статистических методов и искусственных нейронных сетей - Влияние значений финансовых коэффициентов на вероятность банкротства компании

  Для прогнозирования банкротства, некоторые исследователи создают модели, основанные на использовании искусственных нейронных сетей. Как правило,...

• Способы реализации нейронных сетей - Прогнозирующие системы

  Нейронные сети могут быть реализованы двумя путями: первый - это программная модель НС [2, 3, 15, 34], второй - аппаратная [14, 31, 34, 45, 50]. На...

• Модели временных последовательностей, Критерии производительности - Прогнозирующие системы

  Используемые для наших целей временные последовательности представляют собой последовательность наблюдений за интересующей переменной. Переменная...

• Предмет метода Монте-Карло, Общая схема метода Монте-Карло - Моделирование систем массового обслуживания с использованием метода Монте-Карло

  Метод Монте-Карло используют для вычисления интегралов, в особенности многомерных, для решения систем алгебраических уравнений высокого порядка, для...

• Изложение теоретических аспектов исследования, Динамическое программирование - Реферативно-прикладное исследование применения экономико-математических методов в решении задач производства (метод нелинейного программирования)

  Динамическое программирование Динамическое программирование -- один из разделов оптимального программирования, в котором процесс принятия решения и...

• Введение, Понятие метода статистического моделирования систем - Моделирование систем массового обслуживания с использованием метода Монте-Карло

  В настоящее время нельзя назвать область человеческой деятельности, в которой в той или иной степени не использовались бы методы моделирования. Особенно...

• Прогнозирование на основе нейронных сетей - Использование нейродинамики для моделирования производственных процессов предприятия

  Среди различных конфигураций искусственных нейронных сетей встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят...

• Прогнозирующие системы. Состояние проблемы, Прогноз и цели его использования - Прогнозирующие системы

  В данной главе мы обсуждаем некоторые общие аспекты разработки прогнозирующих систем: понятие прогноза и цели его использования, основные понятия и...

• Алгебраические дополнения, Обратная матрица, войства обратных матриц. - Методы решения системы линейных уравнений

  Определение . Алгебраическим дополнением минора матрицы называется его Дополнительный минор , умноженный на (-1) в степени, равной сумме номеров строк и...

• Методы непараметрической статистики - Основы теории систем и системного анализа

  Использование классических распределений случайных величин обычно называют "параметрической статистикой" - мы делаем предположение о том, что...

• Нахождение кратчайшего пути в транспортной сети - Применение экономико-математических методов и моделей в управлении производством (на примере КУП "Спецкоммунтранс")

  В зависимости от содержания задачи может быть два случая: когда ребра графа G единичной длины; когда ребра графа произвольной длины. Для каждого из этих...

• Адсорбционные методы исследования поверхности - Анализ удельной поверхности активированного угля, основанный на использовании метода тепловой десорбции газа-адсорбата (азота) с поверхности в динамических условиях с помощью специального адсорбера, прибора для текстурных измерений "Термосорб" серии М

  Адсорбционные методы исследования свойств поверхности позволяют количественно охарактеризовать происходящие при адсорбции межмолекулярные взаимодействия,...

• Построение модели предсказания банкротств c использованием искусственных нейронных сетей - Влияние значений финансовых коэффициентов на вероятность банкротства компании

  Искусственные нейронные сети (ИНС) рассматриваются исследователями как возможная альтернатива статистическим методам. Исследования, использующие ИНС, как...

• Введение - Методы экономико-математического моделирования

  Экономико-математическое моделирование является неотъемлемой частью любого исследования в области экономики. Бурное развитие математического анализа,...

• Теоретические методы адсорбции, Модель Ленгмюра - Анализ удельной поверхности активированного угля, основанный на использовании метода тепловой десорбции газа-адсорбата (азота) с поверхности в динамических условиях с помощью специального адсорбера, прибора для текстурных измерений "Термосорб" серии М

  Адсорбция активированный уголь Развитие теории адсорбционных сил еще не достигло такой стадии, когда по известным физико-химическим свойствам газа и...

• Классификация окислительно-восстановительных реакций, Методы расстановки коэффициентов в уравнениях окислительно-восстановительных реакций - Характеристика основных видов растворов

  Существует три основных типа окислительно-восстановительных реакций: 1. Если окислитель и восстановитель находятся в молекулах различных веществ, то...

• Классификация экономико-математических методов и моделей в управлении предприятием и их задачи в повышении экономической эффективности производства, Основные понятия теории экономико-математического моделирования, Кибернетический подход к исследованию экономико-математических систем - Применение экономико-математических методов и моделей в управлении производством (на примере КУП "Спецкоммунтранс")

  Основные понятия теории экономико-математического моделирования Кибернетический подход к исследованию экономико-математических систем Обычно...

• Неопределенность цели - Математические модели неопределенностей систем управления и методы, используемые для их исследования

  При управлении подвижными объектами (такими, например, как мобильные роботы, подводные аппараты и т. п.) часто имеет место неопределенность цели, когда...

• Совершенствоание управлениячимико-технологическими системами с помощью экономико-математических моделей

  В статье рассматриваются вопросы, связанные с совершенствованием процессов управления непрерывными ХТС. Предлагается возможность такой организации...

• Различные способы формализации экономико-математических и технических систем - Применение экономико-математических методов и моделей в управлении производством (на примере КУП "Спецкоммунтранс")

  Наиболее ранним способом формализации экономико-математических и ТС является представление физических явлений с помощью систем дифференциальных...

• Разложение правильной рациональной дроби на сумму простейших дробей. - Методы решения системы линейных уравнений

  Любая правильная рациональная дробь P(x)/Q(x) может быть единственным образом представлена в виде суммы простейших рациональных дробей. Для этого прежде...

• Статистические методы изучения взаимосвязей социально-экономических явлений, Причинность, регрессия, корреляция - Основы эконометрики

  Причинность, регрессия, корреляция Исследование объективно существующих зависимостей и взаимосвязей между явлениями и процессами - важнейшая задача...

• Опасные и вредные производственные факторы в ОАО "Огонек". - Совершенствование системы управления предприятием на примере ОАО "Огонек", с применением методов экономико-математического моделирования

  На сегодняшний день основным видом деятельности ОАО "Огонек" является розничная торговля. В процессе труда человек вступает во взаимодействие с...

• Метод Монте-Карло как разновидность имитационного моделирования - Имитационное моделирование в экономике

  Датой рождения метода Монте-Карло принято считать 1949 г., когда появилась статья под названием "The Monte Carlo method". Создателями этого метода...

• Обобщенный метод наименьших квадратов - Моделирование в эконометрике

  При наличии гетероскедастичности в остатках рекомендуется традиционный метод наименьших квадратов (МНК) заменять обобщенным методом наименьших квадратов...

• Элементы матричного анализа - Методы решения системы линейных уравнений

  Вектором, как на плоскости, так и в пространстве, называется направленный Отрезок , то есть такой Отрезок , один из концов которого выделен и называется...

• Модель Хопфилда - Прогнозирующие системы

  В 70-е годы интерес к нейронным сетям значительно упал, однако работы по их исследованию продолжались. Был предложен ряд интересных разработок, таких,...

• Функции и ее свойства - Методы решения системы линейных уравнений

  В современной математике понятие множества является одним из основных. Универсальность этого понятия в том, что под него можно подвести любую...

• Получение коллоидных систем методами диспергирования - Методы очистки и получения коллоидных растворов

  Диспергированием называют тонкое измельчение твердых мате-риалов или жидкостей и распределение их частиц в жидкой или газообразной среде, в результате...

• Методы наименьших квадратов - Системы эконометрических уравнений, их применение в эконометрике

  Как уже отмечалось, разработана масса методов эвристического анализа систем эконометрических уравнений. Они предназначены для решения тех или иных...

Нейронные сети, основанные на методе обратного функционирования, Обучение нейронных сетей - Прогнозирующие системы

Предыдущая | Следующая