Основные понятия теории марковских цепей. - Использование цепей Маркова в моделировании социально-экономических процессов
Пусть { , , ..., } - множество возможных состояний некоторой физической системы. В любой момент времени система может находиться только в одном состоянии. С течением времени система переходит последовательно из одного состояния в другое. Каждый такой переход называется шагом процесса.
Для описания эволюции этой системы введем последовательность дискретных случайных величин, ,..., ,... Индекс n играет роль времени. Если в момент времени n система находилась в состоянии, то мы будем считать, что = j. Таким образом, случайные величины являются номерами состояний системы.
Последовательность, ,..., ,... образует цепь Маркова, если для любого n и любых, , ..., ,...
P(=j / = , ..., =i)=P(=j / =i).
Для цепей Маркова вероятность в момент времени n попасть в состояние, если известна вся предыдущая история изучаемого процесса, зависит только от того, в каком состоянии находился процесс в момент n-1. То есть при фиксированном "настоящем" "будущее" не зависит от "прошлого". Свойство независимости "будущего" от "прошлого" при фиксированном "настоящем" называется марковским свойством.
Вероятности ( =j / =i), i, j=1,2,..., r называются вероятностями перехода из состояния в состояние за один шаг.
Цепь Маркова называется однородной, если вероятности перехода не зависят от n, т. е. если вероятности перехода не зависят от номера шага, а зависят только от того, из какого состояния и в какое осуществляется переход. Для однородных цепей Маркова вместо будем писать.
Вероятности перехода удобно располагать в виде квадратной матрицы
Матрица P называется матрицей вероятностей перехода однородной цепи Маркова за один шаг. Она обладает следующими свойствами:
- А) ; Б) для всех i:
Квадратные матрицы, для которых выполняются условия а) и б), называются стохастическими.
Вектор, где =P(), i=1,2...,r называется вектором начальных вероятностей.
Свойства однородных цепей Маркова полностью определяются вектором начальных вероятностей и матрицей вероятностей перехода.
Приведем пример: Завод выпускает телевизоры определенного типа. В зависимости от того, находит ли данный тип телевизора спрос у населения, завод в конце каждого года может находиться в одном из состояний: состояние 1 - спрос есть, состояние 2 - спроса нет. Пусть вероятность сохранить состояние 1 в в следующем году с учетом возможного изменения спроса равна, а вероятность изменить состояние 2 с учетом мероприятий по улучшению выпускаемой модели равна. Тогда процесс производства на данном заводе можно описать цепью Маркова с матрицей переходов:
В конкретных случаях для описания эволюции цепи Маркова вместо явного выписывания матрицы P используют граф, вершинами которого являются состояния цепи, а стрелка, идущая из состояния в состояние с числом над ней показывает, что из состояния в состояние возможен переход с вероятностью. В том случае, когда, соответствующая стрелка не проводится.
Можно показать, что матрица вероятностей перехода цепи Маркова за n шагов равняется n-ой степени матрицы P вероятностей перехода за один шаг. Для однородной цепи Маркова при любом m выполняется равенство
P()=P().
Но последняя вероятность есть вероятность перехода из состояния в состояние за n шагов.
Похожие статьи
-
Завод по изготовлению телевизоров, находясь в состоянии 1, может увеличить спрос путем организации рекламы. Это требует добавочных затрат и уменьшает...
-
В 1930 году Дж. Биркгофом и Дж. фон Нейманом была сформулирована и доказана одна из основных эргодических теорем - теорема о предельных вероятностях:...
-
Цепи Маркова служат хорошим введением в теорию случайных процессов, т. е. теорию простых последовательностей семейств случайных величин, обычно зависящих...
-
Модель в общем смысле (обобщенная модель) есть создаваемый с целью получения и (или) хранения информации специфический объект (в форме мысленного образа,...
-
Конкретные модели процессов управления в социальных и экономических системах исходят из общей методологии, которую и формулируем в настоящей статье....
-
Основные понятия теории экономико-математического моделирования Кибернетический подход к исследованию экономико-математических систем Обычно...
-
Моделирование динамики рыночной системы
Введение В современных условиях динамичного развития рыночной системы экономика, испытывающая многочленные подъемы и спады, требует внешнего воздействия,...
-
Программное управление является приемлемым подходом во многих прикладных ситуациях. На этом принципе основаны, например, простые металлорежущие станки...
-
Программное управление Относительно просто может быть сформулирована так называемая задача программного управления. В ней предполагается, что управляющие...
-
Основные понятия и обозначения Динамическое программирование как самостоятельная дисциплина сформировалась в пятидесятых годах двадцатого века. Большой...
-
Пример 1 Далеко не во всех случаях цепь представляет собой совокупность лишь последовательно и параллельно соединенных ветвей. В качестве примера...
-
В настоящее время нельзя назвать область человеческой деятельности, в которой в той или иной степени не использовались бы методы моделирования. Особенно...
-
В качестве примера конкретной модели процесса управления обсудим модель распределения времени между овладением знаниями и развитием умений, впервые...
-
Моделирование временной переменная автокорреляция Главным инструментом эконометрического исследования является модель. Выделяют три основных класса...
-
Математическое моделирование экономических явлений и процессов с целью оптимизации процессов управления - область научно-практической деятельности,...
-
Пример успешного использования методов многошагового обучения для задачи управления производством. Рассмотрим простейший вариант, когда производится лишь...
-
Рассмотрим две проблемы сравнительной оценки эффективности различных подходов к оптимизации управления экономическими системами. Сравнение по...
-
Принципы оптимальности в изучении социально-экономических процессов рынка труда
Принципы оптимальности в изучении социально-экономических процессов рынка труда Муравьева Мария Петровна С точки зрения системного анализа рынок труда...
-
Изохорный процесс - Основные положения молекулярно-кинетической теории, ее опытные обоснования
Процесс изменения состояния термодинамической системы при постоянном объеме называют изохорным (от греч. "хорема" - вместимость). Из уравнения состояния...
-
Основная теория сезонности временного ряда - Методы изучения сезонных колебаний. Примеры расчетов
Основными составляющими временного ряда являются тренд и сезонная компонента. Составляющие этих рядов могут представлять собой либо тренд, либо сезонную...
-
Изобарный процесс - Основные положения молекулярно-кинетической теории, ее опытные обоснования
Процесс изменения состояния термодинамической системы при постоянном давлении называют изобарным (от греч. "барос" - вес, тяжесть). Согласно уравнению...
-
Опытным путем, задолго до появления молекулярно-кинетической теории, был открыт целый ряд законов, описывающих равновесные изопроцессы в идеальном газе....
-
Моделирование в условиях противодействия, игровые модели - Основы теории систем и системного анализа
Как уже неоднократно отмечалось, системный анализ невозможен без учета взаимодействий данной системы с внешней средой. Ранее упоминалась необходимость...
-
Метод Монте-Карло используют для вычисления интегралов, в особенности многомерных, для решения систем алгебраических уравнений высокого порядка, для...
-
Основные этапы построения эконометрической модели - Моделирование в эконометрике
Построение эконометрической модели является основой эконометрического исследования. Оно основывается на предположении о реально существующей зависимости...
-
Вопросы: 1. Общее понятие о системах одновременных уравнений. 2. Структурная и приведенная формы модели. 3. Проблема идентификации. 4. Оценивание...
-
Моделирование процессов управления предполагает последовательное осуществление трех этапов исследования. Первый - от исходной практической проблемы до...
-
Заключение - Основные понятия теории вероятностей
Эмпирическое "определение" вероятности связано с частотой наступления события исходя из того, что при достаточно большом числе испытаний частота должна...
-
Теоретические основы масс-спектрометрии Масс-спектрометрия представляет собой метод исследования веществ, основанный на определении массы (точнее,...
-
Табличное представление цен действий и состояний задачи имеет естественные ограничения по масштабируемости задачи на большую размерность. В дискретных...
-
Среди различных конфигураций искусственных нейронных сетей встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят...
-
В любой эконометрической модели в зависимости от конечных прикладных целей ее использования все участвующие в ней переменные подразделяются: на...
-
На уровне общества для описания поведения потребителей вводится целевая функция потребления. Целевая функция потребления - функция, выражающая уровень...
-
Основные понятия информационного моделирования - Понятие об информационном моделировании
Остановимся на информационных моделях, отражающих процессы возникновения, передачи, преобразования и использования информации в системах различной...
-
Свойство 1. Вероятность достоверного события равна единице. Действительно, если событие достоверно, то каждый элементарный исход испытания...
-
Обслуживание с ожиданием - Задачи линейного програмирования
СМО с ожиданием распространены наиболее широко. Их можно разбить на 2 большие группы - Разомкнутые и Замкнутые . Эти системы определяют так же, как...
-
Математическое моделирование экономических явлений и процессов является, как указывалось выше, важным инструментом экономического анализа. Оно позволяет...
-
Введение - Основные понятия теории вероятностей
Каждая наука, развивающая общую теорию какого-либо круга явлений, содержит ряд основных понятий, на которых она базируется. Таковы, например, в геометрии...
-
Электролиз - р-ция превращения ве-ва под действ. эл. тока. если к р-ру или расплаву эл-та поднести эл. ток, то ионы в нем начнут направленно перемещаться...
-
Соли-сильные электролиты, существующие в водных растворах в виде положительно запряженных ионов металлов и отрицательно заряженных ионов кислотных...
Основные понятия теории марковских цепей. - Использование цепей Маркова в моделировании социально-экономических процессов