Формула Шеннона для определения количества информации - Методы информационного анализа материальных процессов
Анализировать общие механизмы энтропийно-информационных закономерностей материальных процессов, являющихся фундаментальной основой всех самопроизвольно протекающих процессов накопления информации, приводящих также и к самоорганизации технологических систем, возможно с помощью использования меры определенности и неопределенности информации. Важно найти адекватные математические модели оптимального решения и постановки задач для информационного анализа материальных процессов процессов с количественной оценкой их собственно технологического совершенства. Рассмотренный подход, на наш взгляд, полностью соответствует основным требованиям системного энтропийно-информационного анализа, так как обеспечивает при моделировании иерархической системы материальных процессов целостность ее рассмотрения за счет общетеоретических и методических концепций, позволяющих удерживать в поле зрения всю систему в целом для решения задачи на всех уровнях.
В своей работе К. Шеннон ввел понятие энтропии в качестве меры неопределенности знания о чем-либо, а сообщение как средство увеличения знания. Для удобства исчисления энтропии сообщений, передаваемых двоичным кодом, Шеннон заменил используемый термодинамикой натуральный логарифм логарифмом с двоичным основанием:
, (1.13)
Где РI - вероятность обнаружения какого-либо однородного элемента системы в их множестве, [9].
Пределами изменения функции, заданной равенством (1.13), являются нуль, когда один из элементов имеет вероятность обнаружения, равную единице, а остальные нулевую, и для случая, когда, :
. (1.14)
Действительно, в случае равной вероятности выполняется условие:
. (1.15)
В результате подстановки (1.15) в (1.13):
. (1.16)
За единицу количества информации принята величина информации, содержащаяся в сообщении об одном из двух равновероятных событий. До получения сообщения выполняются условия:
[10]. (1.17)
Подобный результат был впервые получен Хартли для оценки максимальной пропускной способности каналов связи:
[11] (1.18)
Для энтропийно-информационного анализа материальных процессов необходимо выбрать единую меру статистических и детерминистических начал в любом целом. Наиболее полно эта мера выражается в информации, которая может быть выражена в различных отношениях: свободная и связанная, субъективная и объективная, реальная и потенциальная и т. д. Столь же правомерно использование энтропии как меры неупорядоченности, которая также охватывает весь спектр состояний системы, включая полную упорядоченность.
Информация, как мера определенности, отражает функцию структурного начала в технологической системе, а энтропия, как мера неопределенности, ее бесструктурного дополнения
Для многоуровневой технологической иерархической системы важным является описание нижестоящего уровня как взаимодействие взаимосвязанных подсистем, каждая из которых обладает своими информационными свойствами. Поэтому при получении информационной оценки технологического совершенства основное внимание обращено на внутриуровневые и межуровневые взаимодействия системы.
Создание математической теории энтропии - одно из замечательных достижений математики нашего века. Точные понятия энтропии и информации, появившиеся в конце 40-х годов и утвердившиеся вначале в прикладных областях, а именно в теории связи (К. Шеннон) и кибернетике (Н. Винер), сразу же подверглись тщательной математической переработке и получили развитие в нескольких новых областях математики. Быстрое, почти мгновенное проникновение этих понятий в различные разделы математики было обусловлено тем, что соответствующий математический аппарат для их анализа был уже подготовлен, и, главное имелись задачи, словно ожидавшие понятии энтропии в той или иной форме и решенные вскоре с его помощью. Математическая теория энтропии, в основу которой легли фундаментальные работы Клода Шеннона, была создана трудами выдающихся современных математиков, в первую очередь А. Н. Колмогорова, а также А. Я. Хинчина, И. М. Гельфанда и их последователей. Эта теория дает замечательный пример плодотворного воздействия прикладных областей на фундаментальные направления математики. В самой же математике она сыграла объединяющую роль и дала толчок развитию того, что следовало бы назвать "энтропийным мышлением", пронизывающим многие области нашей науки. Под этим мы имеем в виду исследование характеристик и инвариантов экспоненциального роста - в самых различных ситуациях. Разумеется, в математике и ранее было немало наблюдений и фактов, свойственных такому мышлению, и даже понятие энтропии лишь с натяжкой можно было считать новым, однако нет сомнений, что именно работы Шеннона и Колмогорова и их продолжателей сформировали единый энтропийный подход к различным задачам.
Похожие статьи
-
Введение - Методы информационного анализа материальных процессов
Обоснование необходимости проведения данной дипломной работы. Использование меры определенности и неопределенности информации позволяет анализировать...
-
Энтропия по Клаузиусу. Формулы Больцмана и Планка Во второй половине XX века произошли два события, которые в значительной мере определяют дальнейшие...
-
Методы, используемые на стадии предпроектного обследования
Методы, используемые на стадии предпроектного обследования Методы, используемые на стадии предпроектного обследования, подразделяются на методы изучения...
-
Заключение - Компьютерное моделирование физических процессов и явлений, как метод научного познания
Абстрактное моделирование с помощью компьютеров - вербальное, информационное, математическое - в наши дни стало одной из информационных технологий, в...
-
Автоматизированная обработка на ЭВМ позволяет составлять различные сводки, таблицы, ведомости, где информация сгруппирована по каким-либо...
-
Процесс экономико-математического моделирования - Экономико-математические методы
Этот процесс состоит из нескольких взаимосвязанных этапов. Разбиение на этапы и выделение на каждом этапе присущих ему процессов условно: на одном из...
-
Наглядное - на базе представлений человека о реальных объектах создаются различные наглядные модели, отображающие явления и процессы, протекающие в...
-
Автоматизированные обучающие системы включают в себя комплекс учебно-методических материалов (демонстрационных, теоретических, практических,...
-
ОПРЕДЕЛЕНИЕ МЕТОДА ФАКТОРНОГО АНАЛИЗА И ЧИСЛА ФАКТОРОВ - Многомерный статистический анализ
Определение метода факторного анализа. Различные методы факторного анализа различаются в зависимости от подходов, которые используются для выделения...
-
Процесс административного сопровождения является вспомогательным процессом и включает в себя: Расчет текущей учебной нагрузки Управление учебным...
-
Прагматические свойства информации - Системная революция и принцип дуального управления
Если семантические свойства информации отражают ситуационный аспект существования системы (осмысленность, оформленность ее бытия), то прагматические...
-
Для достижения поставленной цели предприятию требуются материалы, оборудование, энергия, рабочая сила и другие ресурсы. Каждое предприятие такими...
-
Теоретическое обоснование математического моделирования - Математические методы и модели в экономике
Коммерческая деятельность в том или ином виде сводится к решению таких задач: как распорядиться имеющимися ресурсами для достижения наибольшей выгоды или...
-
Введение - Компьютерное моделирование физических процессов и явлений, как метод научного познания
Важнейшей задачей преподавания физики, является формирование личности, способной ориентироваться в потоке информации в условиях непрерывного образования....
-
Уровень науки и техники Надежность средств, с помощью которых человек достигает космоса высокая, но не идеальна. РН -- сложная конструкция, и даже в...
-
Компьютерное моделирование по сравнению с натурным экспериментом дает возможность: § получать наглядные динамические иллюстрации физических экспериментов...
-
Классификация регионов РФ по степени инновационной развитости методами кластерного анализа и расщепления смесей Российская Федерация состоит из 85...
-
Заключение - Анализ методов прогнозирования
На основании проведенного исследования можно сделать следующие выводы и предложения: 1. Под прогнозом понимается система научно обоснованных...
-
ЗАКЛЮЧЕНИЕ - Основные методы математического моделирования для принятия управленческих решений
В данной работе поставленная цель была достигнута. Мы рассмотрели основные методы математического моделирования (принятия решений) на практике, а именно:...
-
Поляризация электрода - Электрохимические методы анализа
Если к системе электродов, погруженных в раствор, приложить напряжение, то по цепи будет проходить электрический ток. При этом на электродах будут...
-
Введение - Применение метода Монте-Карло в эконометрическом анализе
Метод Монте-Карло можно определить как метод моделирования случайных величин с целью вычисления характеристик их распределений. Возникновение идеи...
-
До появления современных ИТ не было широких возможностей использовать эффективные экономико-математические модели непосредственно в процессе...
-
Программное управление Относительно просто может быть сформулирована так называемая задача программного управления. В ней предполагается, что управляющие...
-
Моделирование начинается с объекта изучения. На 1 этапе формируются законы, управляющие исследованием, происходит отделение информации от реального...
-
Цель и задачи исследования операций Исследование операций - научная дисциплина, занимающаяся разработкой и практическим применением методов наиболее...
-
В настоящее время при изучении различных дисциплин все более широко применяются персональные компьютеры, как в процессе обучения, так и текущего...
-
Иерархия бизнес-процессов В процессе моделирования бизнес-процессов e-learning за основную нотацию был принят стандарт IDEF, однако, в случае глубокой...
-
Рисунок 1 Устройство новой технологической платформы Устройство новой технологической платформы в образовании представлено на Рисунке 1. Ее ключевыми...
-
Первый этап - определение целей моделирования. Основные из них таковы: 1. модель нужна для того, чтобы понять как устроен конкретный объект, какова его...
-
Успешная визуализация и имитирование реальной среды взаимодействия человека и техники посредством компьютера разработана Национальным аэрокосмическим...
-
Операционно-техническое разделение труда в процессе управления - Управление операциями с информацией
Операционно-техническое разделение труда в процессе управления обусловлено его динамикой. Процесс управления в динамике можно представить с помощью...
-
"Репетитор. Физика" - мультимедийный электронный учебник по физике, содержащий демонстрацию физических явлений методами компьютерной анимации,...
-
Общая схема исследования: 1. Составление среднего образца. 2. Извлечение пестицидов из пробы. 3. Очистка экстракта. 4. Анализ экстракта. Прием образцов в...
-
Адсорбционные явления чрезвычайно широко распространены в живой и неживой природе. Толщи горных пород и почвы являются огромными колоннами с...
-
Определение количества кластеров - Кластерный анализ
Существует проблема определения числа кластеров. Иногда можно априорно определить это число. Однако в большинстве случаев число кластеров определяется в...
-
Новые информационные технологии (НИТ) - это технология получения, хранения, поиска, обработки, передачи информации, которая обеспечивает эффективные...
-
Использование современных информационно-коммуникационных технологий в образовательном учреждении позволяет решить ряд фундаментальных задач: Внедрить...
-
Описание процессов, происходящих на поверхности, изобилует специальными терминами, и при рассмотрении адсорбционных явлений приходится говорить на языке,...
-
В основе моделирования лежит теория подобия, которая утверждает, что абсолютное подобие может иметь место лишь при замене одного объекта другим точно...
-
Выборочное наблюдение широко используется для : 1) статистического оценивания и проверки гипотез; 2) решения производственных и управленческих задач; 3)...
Формула Шеннона для определения количества информации - Методы информационного анализа материальных процессов