Теорема о структуре стационарного стоимостного показателя качества управления - Стохастическая полумарковская модель

Перейдем к завершающей части данного исследования. Для решения задачи оптимального управления запасом в рассматриваемой полумарковской модели необходимо получить явное представление для стационарного показателя качества управления - средней удельной прибыли. Этот показатель может быть представлен в форме интегрального дробно-линейного функционала. Впервые это утверждение было сформулировано В. А.Каштановым [10]. В дальнейшем, в работах П. В.Шнуркова и А. В.Иванова [7-9] оно было доказано в более сильной форме. Именно, были выведены в явном виде аналитические представления для подынтегральных функций в числителе и знаменателе данного дробно-линейного функционала. Приведем соответствующее утверждение, следуя [9].

Пусть - управляемый полумарковский процесс, имеющий конечное множество состояний. Управление процессом производится в моменты изменения состояний (скачков). Если в момент процесс переходит в состояние, то решение об управлении принимается в соответствии с вероятностным распределением, заданным на множестве допустимых уравнений U. Набор распределений {} образует марковскую однородную (стационарную) рандомизированную стратегию управления. Обозначим через - цепь Маркова, вложенную в процесс, а через - последовательность принимаемых решений в моменты соответственно.

Предполагается, что а траекториях полумарковского процесса задан стоимостной аддитивный функционал, природа которого определяется исходной вероятностной моделью, т. е связанный с исходной стохастической системой. Обозначим через значение этого функционала в момент времени t, а через приращение этого функционала на интервале времени между моментами последовательного изменения состояний

Введем обозначения для вероятностных характеристик процесса и аддитивного стоимостного функционала

Вероятности перехода вложенной цепи Маркова

Математические ожидания длительностей пребывания полумарковского процесса в состояниях

Математические ожидания приращений функционала за время пребывания процесса в соответствующих состояниях

Показателем качества управления процессом является стационарный стоимостной функционал

Где - стационарные вероятности цепи Маркова, вложенной в полумарковский процесс, то есть цепи Маркова, задаваемой вероятностью перехода, которые определяются соотношениями (1) и соответствуют заданной стратегии управления {}Величины определяются соотношениями (2)Величины соотношениями (3)

Приведем формулировку теоремы о представлении показателя в форме зависимости от вероятностных распределений, доказанной в работах П. В.Шнуркова и А. В.Иванова [9].

Теорема. Стационарный функционал, который является показателем качества управления полумарковского процесса, представим в виде дробно-линейного функционала управляющих вероятностных распределений

Подынтегральные функции числителя и знаменателя имеют следующий вид:

Функции являются вспомогательными и определяются как

Где это произвольная перестановка чисел (0,...,j-1, j+1,...,N-1);

- число инверсий в перестановке.

Похожие статьи




Теорема о структуре стационарного стоимостного показателя качества управления - Стохастическая полумарковская модель

Предыдущая | Следующая