Модель Хопфилда - Прогнозирующие системы
В 70-е годы интерес к нейронным сетям значительно упал, однако работы по их исследованию продолжались. Был предложен ряд интересных разработок, таких, например, как когнитрон, способный хорошо распознавать достаточно сложные образы (иероглифы и т. п.) независимо от поворота и изменения масштаба изображения. Автором когнитрона является японский ученый И. Фукушима.
Новый виток быстрого развития моделей нейронных сетей, который начался 8-9 лет тому назад, связан с работами Амари, Андерсона, Карпентера, Кохена [24, 28, 29] и других, и в особенности, Хопфилда [17, 37-40], а также под влиянием обещающих успехов оптических технологий [1, 26] и зрелой фазы развития СБИС [29] для реализации новых архитектур.
Начало современному математическому моделированию нейронных вычислений было положено работами Хопфилда в 1982 году, в которых была сформулирована математическая модель ассоциативной памяти на нейронной сети с использованием правила Хеббиана [36] для программирования сети. Но не столько сама модель послужила толчком к появлению работ других авторов на эту тему, сколько введенная Хопфилдом функция вычислительной энергии нейронной сети. Это аналог функции Ляпунова в динамических системах. Показано, что для однослойной нейронной сети со связями типа "все на всех" характерна сходимость к одной из конечного множества равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети. Понимание такой динамики в нейронной сети было и у других исследователей. Однако, Хопфилд и Тэнк [17] показали как конструировать функцию энергии для конкретной оптимизационной задачи и как использовать ее для отображения задачи в нейронную сеть. Этот подход получил развитие и для решения других комбинаторных оптимизационных задач. Привлекательность подхода Хопфилда состоит в том, что нейронная сеть для конкретной задачи может быть запрограммирована без обучающих итераций. Веса связей вычисляются на основании вида функции энергии, сконструированной для этой задачи.
Развитием модели Хопфилда для решения комбинаторных оптимизационных задач и задач искусственного интеллекта является машина Больцмана, предложенная и исследованная Джефери Е. Хинтоном и Р. Земелом [20-23]. В ней, как и в других моделях, нейрон имеет состояния 1, 0 и связь между нейронами обладает весом. Каждое состояние сети характеризуется определенным значением функции консенсуса (аналог функции энергии). Максимум функции консенсуса соответствует оптимальному решению задачи.
Имеется следующая информация о результатах моделирования на ЭВМ работы нейронной сети. Моделировалась асинхронная работа сети Хопфилда. Сеть работает хорошо, т. е. без ошибок восстанавливает эталонные образы из случайных, если в нее записывается не более 15% эталонных образов. Испытания проводились для 30 нейронов и для 100 нейронов в сети. Бралось некоторое количество случайных векторов в качестве эталонных и строилась соответствующая матрица весов связей. Моделирование при 100 нейронах было существенно более медленным процессам, чем при 30 нейронах, хотя качественная картина и в том и в другом случаях была одна и та же. Приблизительно 88% испытаний заканчивались в эталонных состояниях, 10% - в устойчивых состояниях, близких к эталонным. При расстоянии 5 между начальным и эталонным векторами, эталонное состояние достигалось в 90% случаев. С увеличением расстояния, вероятность попадания в наиболее близкое эталонное состояние гладко падала. При расстоянии 12 вероятность была равна 0.2. Устойчивые состояния, слишком близкие друг к другу, имеют тенденцию "сливаться", они попадают в одну впадину на энергетической поверхности. Программировалась задача коммивояжера на основе сети Хопфилда. Сетью из 100 нейронов для 20 различных случайных начальных состояний были определены маршруты, 16 из которых были приемлемыми, 50% попыток дали 2 пути 2.83 и 2.71 (цифры приводятся, чтобы показать как они близки) при кратчайшем 2.67. Это результаты моделирования работы сети с непрерывной моделью нейрона. Моделировалась также задача коммивояжера, но для сети типа машина Больцмана, проводилась при следующих значениях управляющих параметров: A = 0.95, L = 10, M = 100 (A - положительное число меньше единицы, но близкое к ней, L - число испытаний, которые проводятся без изменений, M - число последовательных испытаний, не приводящих к изменению состояния машины, как критерия завершения процесса). Процесс запускался 100 раз для n = 10 (всего в сети N = n2 нейронов) и 25 раз для n = 30 при различных нормальных состояниях машины Больцмана. Для n = 10 получился оптимальный результат, для n = 30 - решение на 14% хуже оптимального. Отметим, что вероятностный механизм функционирования машины Больцмана дает возможность получить на ней несколько лучшие результаты оптимизации, чем на модели Хопфилда.
Похожие статьи
-
В данной главе мы обсуждаем известные модели НС: модель Маккалоха и Питтса; модель Розенблата; модели Хопфилда и Больцмана; модель на основе обратного...
-
Построение, или моделирование, конечной факторной системы для анализируемого экономического показателя хозяйственной деятельности можно осуществить как...
-
Наиболее ранним способом формализации экономико-математических и ТС является представление физических явлений с помощью систем дифференциальных...
-
Модели нейронных сетей, Модель Маккалоха - Прогнозирующие системы
Модель Маккалоха Теоретические основы нейроматематики были заложены в начале 40-х годов. В 1943 году У. Маккалох и его ученик У. Питтс сформулировали...
-
Модели и моделирование. Классификация моделей - Моделирование экономических систем
Первоначально моделью называли некое вспомогательное средство, объект, который в определенных ситуациях заменял другой объект. Например, манекен в...
-
Модель Розенблата - Прогнозирующие системы
Серьезное развитие нейрокибернетика получила в работах американского нейрофизиолога Френсиса Розенблата (Корнелльский университет). В 1958 году он...
-
Основные понятия теории экономико-математического моделирования Кибернетический подход к исследованию экономико-математических систем Обычно...
-
Построим формализованную модель оценки суммарных издержек в складском грузообороте. Введем обозначения (все показатели соотнесены к периоду в один год и...
-
Модели временных последовательностей, Критерии производительности - Прогнозирующие системы
Используемые для наших целей временные последовательности представляют собой последовательность наблюдений за интересующей переменной. Переменная...
-
В качестве примера конкретной модели процесса управления обсудим модель распределения времени между овладением знаниями и развитием умений, впервые...
-
Программное управление является приемлемым подходом во многих прикладных ситуациях. На этом принципе основаны, например, простые металлорежущие станки...
-
Система "Диспетчер" апробирована на реальных исходных данных двух регионов Нефтяной Компании "Юкос" (Липецкая и Воронежская области) и показала свою...
-
Прогнозирование курса Ukb/Usd, Общий подход к прогнозированию курса UKB/USD - Прогнозирующие системы
В данной главе описаны эксперименты по прогнозированию курса американского доллара по отношению к украинскому карбованцу (UKB/USD). Сначала описаны...
-
В модели рассматривается радиальная тепловая сеть. Потребление тепла в промышленном секторе учитывается при расчете зоны теплового влияния станции, т. к....
-
Моделирование рынка тепла - Расчетная модель оптимизации системы теплоснабжения региона
Энергосистема теплоснабжение конкуренция регион В нашей предыдущей работе [1] была разработана методология анализа конкуренции ТЭЦ и/или котельных, а...
-
Применение нейронных сетей в финансовой сфере - Прогнозирующие системы
Характерный пример успешного применения нейронных вычислений в финансовой сфере - управление кредитными рисками. Как известно, до выдачи кредита банки...
-
Задачи, решаемые на основе нейронных сетей - Прогнозирующие системы
В литературе [33, 41, 43] встречается значительное число признаков, которыми должна обладать задача, чтобы применение НС было оправдано и НС могла бы ее...
-
Разработка алгоритма нахождения входного потока заявок в имитационной модели контрольно-пропускной системы на основе статистических данных В наши дни...
-
В большинстве реальных больших систем не обойтись без учета "состояний природы" -- воздействий Стохастического типа, случайных величин или случайных...
-
Основные результаты работы состоят в следующем: 1. Рассмотрены математические модели, лежащие в основе системы оптимизации доставки товаров...
-
Методы прогнозирования - Прогнозирующие системы
Методы прогнозирования можно разделить на два класса квалитативные и квантитативные, в зависимости от того, какие математические методы используются....
-
Основные понятия и определения проблемы прогнозирования - Прогнозирующие системы
Необходимо отметить, что мы рассматриваем прогнозирование в целях планирования производства или управления запасами. Таким образом, наш интерес лежит в...
-
Способы реализации нейронных сетей - Прогнозирующие системы
Нейронные сети могут быть реализованы двумя путями: первый - это программная модель НС [2, 3, 15, 34], второй - аппаратная [14, 31, 34, 45, 50]. На...
-
В данной главе мы обсуждаем некоторые общие аспекты разработки прогнозирующих систем: понятие прогноза и цели его использования, основные понятия и...
-
Модель сети с обратным распространением - Прогнозирующие системы
Способом обратного распространения (back propogation) называется способ обучения многослойных НС. В таких НС связи между собой имеют только соседние...
-
Оценка адекватности включает в себя проверку способности модели правильно осуществлять идентификацию состояний МиУГВ как входящих в базу прецедентов...
-
Введение, Объект, система, модель - Виды моделей
Моделированием называют построение модели того или иного явления реального мира. В общем виде модель - это абстракция реального явления, сохраняющая его...
-
Выводы - Прогнозирующие системы
Прогнозирование с помощью НС курса UKB/USD показало эффективность предлагаемого подхода. Наилучшие результаты при симуляции прогнозирования были получены...
-
В статье рассматриваются вопросы, связанные с совершенствованием процессов управления непрерывными ХТС. Предлагается возможность такой организации...
-
Для заданного региона обслуживания с помощью технологии ГИС предоставляется карта автомобильных дорог, на которой указаны пункты, соответствующие...
-
При управлении подвижными объектами (такими, например, как мобильные роботы, подводные аппараты и т. п.) часто имеет место неопределенность цели, когда...
-
В большинстве случаев структурная неопределенность вызвана неполнотой знания аналитической структуры уравнений модели объекта управления. При не...
-
Современная оценка алгоритма обратного распространения - Прогнозирующие системы
На протяжении нескольких лет после его изобретения алгоритм обратного распространением оставался почти незамеченным, вероятно, потому, что не был в...
-
Идея создания алгоритма обратного распространения Примерно в 1974 году Поль Дж. Вербос изобрел значительно более эффективную процедуру для вычисления EW,...
-
В данной главе мы приводим детальное описание метода обратного распространения - способа обучения многослойных НС. Подробно описана НС для распознавания...
-
Функционирование СЭС предусматривает соблюдение четких требований к направлениям ее деятельности. Требуется разработать математический аппарат оценки...
-
В данной главе описан способ прогнозирования с помощью НС, основанный на методе окон. Также приведен обзор применения НС в финансовой сфере. Общий подход...
-
Отсутствие моделей и количественных методик, позволяющих оценить эффект от намеченных интеграционных процессов и степень их влияния на экономическую...
-
Для достижения поставленной цели предприятию требуются материалы, оборудование, энергия, рабочая сила и другие ресурсы. Каждое предприятие такими...
-
Модель Мальтуса Скорость роста пропорциональна текущему размеру популяции. Она описывается дифференциальным уравнением Где б -- некоторый параметр,...
Модель Хопфилда - Прогнозирующие системы