Управляемые цепи Маркова. Выбор стратегии. - Использование цепей Маркова в моделировании социально-экономических процессов

Завод по изготовлению телевизоров, находясь в состоянии 1, может увеличить спрос путем организации рекламы. Это требует добавочных затрат и уменьшает доход. В состоянии 2 завод может увеличить вероятность перехода в состояние 1 путем увеличения затрат на исследования. Выделим две стратегии. Первая состоит в отказе от затрат на рекламу и исследования, а вторая - в согласии на них. Пусть матрицы переходных вероятностей и матрицы доходов для данных стратегий имеют вид:

В рассмотренной ситуации имеет место управляемая цепь Маркова. Управление соответствует выбору стратегии.

Пусть каждому состоянию соответствует конечное множество решений (или альтернатив), элементы которого обозначим номерами. Пространством стратегий К называется прямое произведение множеств решений.

Пусть в i-м состоянии имеется не одно, а множеств переходных вероятностей. При имеем случай неуправляемой цепи Маркова. Если система находится в состоянии и принимается решение то

    - она получает доход ; - ее состояние в следующий момент времени определяется вероятностью, где - вероятность того, что система из состояния при выборе решения перейдет в состояние.

Таким образом, смысл - го решения в i-м состоянии заключается в выборе одного набора переходных вероятностей из возможных. Предполагается, что доход ограничен при всех и.

Кроме того,

, при всех и.

Управляемой цепью Маркова называется конструкция, зада-ваемая параметрами, где К-решения, Р-вероятности переходов, r-доходы. Доход, полученный за несколько шагов, является случайной величиной, зависящей от начального состоя-ния и принимаемых в каждый момент времени решений.

Назовем решение, принимаемое в конкретный момент, частным управлением. Тогда управление есть последовательность решений в моменты n = 1, 2, ... Качество управления можно оценить средним суммарным доходом (при конечном времени) или среднем доходом в единицу времени (при бесконечном времени).

Пусть (2)

Стратегией называется последовательность решений

Где - вектор вида (2), i-я компонента которого, обозначаемая через, является решением, принимаемым в состоянии в момент п. Другими словами, задание стратегии означает полное описание в каждый момент времени t =1, 2, ..., п, ... конкретных решений, которые должны были бы приниматься в i-м состоянии, если бы система находилась в нем в рассматриваемый момент.

Стратегия обозначается через и называется стационарной. Стратегия называется марковской, если решение, принимаемое в каждом конкретном состоянии, не зависит от предшествующих состояний и принимавшихся в них решений. В случае марковской стратегии решения могут зависеть только от момента времени п.

Обозначим произвольную конечную часть стратегии через. Пусть зафиксированы произвольная стратегия некоторый момент времени п. Если в этот момент система находилась в состоянии, то в следующий (п+1)-й момент времени она будет находиться в состоянии с вероятностью, где. Тогда матрица переходных ве-роятностей в момент п имеет вид

Таким образом, при фиксированной стратегии получаем цепь Маркова с матрицами перехода

Обозначим - вектор суммарных средних доходов, полученных до любого момента n включительно, для некоторой стратегии. Стратегия максимизирующая, то есть удовлетворяющая неравенству

? при любых

Называется оптимальной

Верны следующее утверждения:

Утверждение 1. Для бесконечного времени существует оптимальная стационарная стратегия.

Утверждение 2. Для конечного времени существует оптимальная марковская стратегия.

Таким образом, решение (при бесконечном времени) зависит только от состояния, в котором находится система, и не зависит ни от момента времени, ни от всей предыдущей траектории последовательности состояний и принятых решений). В случае конечного времени оптимальная стратегия является марковской, т. е. может зависеть еще и от момента времени принятия решения.

Похожие статьи




Управляемые цепи Маркова. Выбор стратегии. - Использование цепей Маркова в моделировании социально-экономических процессов

Предыдущая | Следующая