Аналитические представления для вероятностных характеристик полумарковской модели и решение задачи оптимального управления, Вероятностные характеристики полумарковской модели - Стохастическая полумарковская модель

Вероятностные характеристики полумарковской модели

Формулы для условных вероятностей

Обозначим

Теорема 1. В рассматриваемой стохастической полумарковской модели формулы для условных вероятностных имеют вид:

Где,

Доказательство теоремы.

Обоснуем формулу (1). Фиксируем условие, которое гласит, что в результате нового пополнения запаса некоторого продукта основной процесс принимает значение. При этом условии событие будет реализовано только в случае, если объем запаса товара, который потребили за время начиная от момента пополнения и заканчивая моментом нового заказа, будет удовлетворять двойному неравенству

Следовательно, соответствующая условная вероятность события определяется как

Усредняя эту условную вероятность по распределению, получаем формулу (1), формулы (2) (4) выводятся аналогично.

Формулы для математических ожиданий.

Теорема 2.

Формулы условных математических ожиданий для описанной задачи имеют вид:

Доказательство теоремы.

Докажем формулу (5). Зафиксируем условие, состоящее в том, что в результате очередного пополнения запаса процесс принял значение. Иначе говоря, . При этом сопровождающий случайный процесс принимает значение и сохраняет это значение до момента следующего пополнения запаса

Обозначим через момент заказа на интервале. Случайное время пребывания сопровождающего процесса в состоянии представляет собой сумму случайных величин

По определению

По свойству математических ожиданий

Найдем выражения для обоих слагаемых, входящих в правую часть формулы (9).

Получим выражение для

При дополнительном условии событие реализуется тогда и только тогда, когда объем запаса, потребленного за время удовлетворяет неравенству

Отметим, что величина является параметром управления в данной модели. Итак, при условии, событие совпадает с событием

Можно увидеть, что

Если проведем усреднение (10) по распределению значений процесса, то получим, что

Получаем выражение для, где промежуток времени между является случайным периодом задержки пополнения запаса.

Из принятой нами модели следует, что

Где - задаются.

Также,

Из формулы полной вероятности и свойства математического ожидания из (12) и (13) получим

Из-за того, что в нашей модели присутствует марковское свойство в момент, вероятность не будет зависеть от условия. Значит, и вся характеристика не будет зависимой от него. В таком случае получим, что

Наши мат. ожидания связаны следующим способом:

Ранее уже было показано, что

Из (14)-(16) ясно, что

Таким образом определены все элементы из правой части формулы (9).

Похожие статьи




Аналитические представления для вероятностных характеристик полумарковской модели и решение задачи оптимального управления, Вероятностные характеристики полумарковской модели - Стохастическая полумарковская модель

Предыдущая | Следующая