Управляемые цепи Маркова. Выбор стратегии. - Использование цепей Маркова в моделировании социально-экономических процессов
Завод по изготовлению телевизоров, находясь в состоянии 1, может увеличить спрос путем организации рекламы. Это требует добавочных затрат и уменьшает доход. В состоянии 2 завод может увеличить вероятность перехода в состояние 1 путем увеличения затрат на исследования. Выделим две стратегии. Первая состоит в отказе от затрат на рекламу и исследования, а вторая - в согласии на них. Пусть матрицы переходных вероятностей и матрицы доходов для данных стратегий имеют вид:
В рассмотренной ситуации имеет место управляемая цепь Маркова. Управление соответствует выбору стратегии.
Пусть каждому состоянию соответствует конечное множество решений (или альтернатив), элементы которого обозначим номерами. Пространством стратегий К называется прямое произведение множеств решений.
Пусть в i-м состоянии имеется не одно, а множеств переходных вероятностей. При имеем случай неуправляемой цепи Маркова. Если система находится в состоянии и принимается решение то
- - она получает доход ; - ее состояние в следующий момент времени определяется вероятностью, где - вероятность того, что система из состояния при выборе решения перейдет в состояние.
Таким образом, смысл - го решения в i-м состоянии заключается в выборе одного набора переходных вероятностей из возможных. Предполагается, что доход ограничен при всех и.
Кроме того,
, при всех и.
Управляемой цепью Маркова называется конструкция, зада-ваемая параметрами, где К-решения, Р-вероятности переходов, r-доходы. Доход, полученный за несколько шагов, является случайной величиной, зависящей от начального состоя-ния и принимаемых в каждый момент времени решений.
Назовем решение, принимаемое в конкретный момент, частным управлением. Тогда управление есть последовательность решений в моменты n = 1, 2, ... Качество управления можно оценить средним суммарным доходом (при конечном времени) или среднем доходом в единицу времени (при бесконечном времени).
Пусть (2)
Стратегией называется последовательность решений
Где - вектор вида (2), i-я компонента которого, обозначаемая через, является решением, принимаемым в состоянии в момент п. Другими словами, задание стратегии означает полное описание в каждый момент времени t =1, 2, ..., п, ... конкретных решений, которые должны были бы приниматься в i-м состоянии, если бы система находилась в нем в рассматриваемый момент.
Стратегия обозначается через и называется стационарной. Стратегия называется марковской, если решение, принимаемое в каждом конкретном состоянии, не зависит от предшествующих состояний и принимавшихся в них решений. В случае марковской стратегии решения могут зависеть только от момента времени п.
Обозначим произвольную конечную часть стратегии через. Пусть зафиксированы произвольная стратегия некоторый момент времени п. Если в этот момент система находилась в состоянии, то в следующий (п+1)-й момент времени она будет находиться в состоянии с вероятностью, где. Тогда матрица переходных ве-роятностей в момент п имеет вид
Таким образом, при фиксированной стратегии получаем цепь Маркова с матрицами перехода
Обозначим - вектор суммарных средних доходов, полученных до любого момента n включительно, для некоторой стратегии. Стратегия максимизирующая, то есть удовлетворяющая неравенству
? при любых
Называется оптимальной
Верны следующее утверждения:
Утверждение 1. Для бесконечного времени существует оптимальная стационарная стратегия.
Утверждение 2. Для конечного времени существует оптимальная марковская стратегия.
Таким образом, решение (при бесконечном времени) зависит только от состояния, в котором находится система, и не зависит ни от момента времени, ни от всей предыдущей траектории последовательности состояний и принятых решений). В случае конечного времени оптимальная стратегия является марковской, т. е. может зависеть еще и от момента времени принятия решения.
Похожие статьи
-
Пусть { , , ..., } - множество возможных состояний некоторой физической системы. В любой момент времени система может находиться только в одном...
-
В 1930 году Дж. Биркгофом и Дж. фон Нейманом была сформулирована и доказана одна из основных эргодических теорем - теорема о предельных вероятностях:...
-
Цепи Маркова служат хорошим введением в теорию случайных процессов, т. е. теорию простых последовательностей семейств случайных величин, обычно зависящих...
-
Программное управление Относительно просто может быть сформулирована так называемая задача программного управления. В ней предполагается, что управляющие...
-
Модель в общем смысле (обобщенная модель) есть создаваемый с целью получения и (или) хранения информации специфический объект (в форме мысленного образа,...
-
Моделирование динамики рыночной системы
Введение В современных условиях динамичного развития рыночной системы экономика, испытывающая многочленные подъемы и спады, требует внешнего воздействия,...
-
Пример успешного использования методов многошагового обучения для задачи управления производством. Рассмотрим простейший вариант, когда производится лишь...
-
Табличное представление цен действий и состояний задачи имеет естественные ограничения по масштабируемости задачи на большую размерность. В дискретных...
-
Принципы оптимальности в изучении социально-экономических процессов рынка труда
Принципы оптимальности в изучении социально-экономических процессов рынка труда Муравьева Мария Петровна С точки зрения системного анализа рынок труда...
-
В качестве примера конкретной модели процесса управления обсудим модель распределения времени между овладением знаниями и развитием умений, впервые...
-
Моделирование процессов управления предполагает последовательное осуществление трех этапов исследования. Первый - от исходной практической проблемы до...
-
Программное управление является приемлемым подходом во многих прикладных ситуациях. На этом принципе основаны, например, простые металлорежущие станки...
-
Итак, в первых двух разделах курсовой работы мы использовали модуль Excel "Поиск решении" для решения задачи общего линейного программирования (1 раздел)...
-
Моделирование временной переменная автокорреляция Главным инструментом эконометрического исследования является модель. Выделяют три основных класса...
-
Комментарии к третьему разделу курсовой работы В третьем разделе курсовой работы студенту предлагается определить оптимальную стратегию заказа в условиях...
-
Экономико-математические методы представляют собой совокупность математических методов (математического программирования, теории вероятностей, теории...
-
Обычно субъект экономической жизни стремится достичь сразу многих целей. Например, он стремится одновременно следовать и внутренним, и внешним целям, тем...
-
Конкретные модели процессов управления в социальных и экономических системах исходят из общей методологии, которую и формулируем в настоящей статье....
-
Выводы - Использование нейродинамики для моделирования производственных процессов предприятия
Исходя из вышеизложенного, можно заключить, что для решения задач прогнозирования наиболее подходит сеть с обратным распространением. Она позволяет...
-
Среди различных конфигураций искусственных нейронных сетей встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят...
-
Заключение - Моделирование систем массового обслуживания с использованием метода Монте-Карло
Метод Монте-Карло можно определить как метод моделирования случайных величин с целью вычисления характеристик их распределений. Возникновение идеи...
-
Предметом статьи является обоснование необходимости использования математических методов в процессе внутреннего мониторинга операций организациями с...
-
МЕТОДЫ ОПИСАНИЯ СОЦИАЛЬНО-ПОЛИТИЧЕСКИХ И ЭКОНОМИЧЕСКИХ ПРОЦЕССОВ Динамический образ системы. Системный процесс В своей повседневной жизни процессами люди...
-
Известно, что проблема замены старого парка машин новыми, устаревших орудий -- современными -- одна из основных проблем индустрии. Оборудование со...
-
В статье представлена структурная модель социально-экономической системы как объекта управления, функционирующего в среде быстроизменяющихся внешних и...
-
В данной главе мы обсуждаем некоторые общие аспекты разработки прогнозирующих систем: понятие прогноза и цели его использования, основные понятия и...
-
Неопределенность - это фундаментальное свойство природы, а еще более (и точнее) - свойство, характеризующее неточность, незамкнутость, неокончательность,...
-
Подобно предыдущему обозначим. Тогда аналогичные рассуждения приводят к соотношению . (1.10) Проделывая те же преобразования, что и при выводе уравнения...
-
Обслуживание с ожиданием - Задачи линейного програмирования
СМО с ожиданием распространены наиболее широко. Их можно разбить на 2 большие группы - Разомкнутые и Замкнутые . Эти системы определяют так же, как...
-
Математическое моделирование экономических явлений и процессов с целью оптимизации процессов управления - область научно-практической деятельности,...
-
Рассмотрим две проблемы сравнительной оценки эффективности различных подходов к оптимизации управления экономическими системами. Сравнение по...
-
Как и каждый достаточно ярко выраженный класс экономико-математических моделей, совокупность моделей календарного планирования обладает рядом...
-
Развитие методов многокритериальной оптимизации сложных систем обусловлено необходимостью повышения эффективности их функционирования на основе обобщения...
-
Как известно, человечество в своем стремительном развитии старается все более расширить сферы своей деятельности, сталкиваясь при этом с множеством новых...
-
СПОСОБЫ ОПИСАНИЯ СТРУКТУР. МОРФОЛОГИЯ СОЦИАЛЬНО-ПОЛИТИЧЕСКОЙ И ЭКОНОМИЧЕСКОЙ СФЕР Структурное моделирование. Структурный анализ Основная цель...
-
Этапы моделирования - Общая схема и этапы процесса экономико-математического моделирования
Проанализируем последовательность и содержание этапов одного цикла экономико-математического моделирования. 1. Постановка экономической проблемы и ее...
-
Экономико-математическое моделирование транспортных процессов
В первом разделе курсовой работы необходимо максимизировать прибыль некоторого предприятия, для чего требуется сформулировать и решить общую задачу...
-
Задание. Рассматривается вычислительная система состоящая из n вычислительных машин. Имеется n задач. Задана матрица T определяющая время решения i-й...
-
К числу приближенных методов оптимизации задач календарного планирования относятся: частичный и направленный перебор, метод Монте-Карло,...
-
Для реализации математической модели оценки состояния СЭС разработан алгоритм определения целей развития СЭС. Для разработки алгоритма необходим анализ...
Управляемые цепи Маркова. Выбор стратегии. - Использование цепей Маркова в моделировании социально-экономических процессов