Формула Шеннона для определения количества информации - Методы информационного анализа материальных процессов

Анализировать общие механизмы энтропийно-информационных закономерностей материальных процессов, являющихся фундаментальной основой всех самопроизвольно протекающих процессов накопления информации, приводящих также и к самоорганизации технологических систем, возможно с помощью использования меры определенности и неопределенности информации. Важно найти адекватные математические модели оптимального решения и постановки задач для информационного анализа материальных процессов процессов с количественной оценкой их собственно технологического совершенства. Рассмотренный подход, на наш взгляд, полностью соответствует основным требованиям системного энтропийно-информационного анализа, так как обеспечивает при моделировании иерархической системы материальных процессов целостность ее рассмотрения за счет общетеоретических и методических концепций, позволяющих удерживать в поле зрения всю систему в целом для решения задачи на всех уровнях.

В своей работе К. Шеннон ввел понятие энтропии в качестве меры неопределенности знания о чем-либо, а сообщение как средство увеличения знания. Для удобства исчисления энтропии сообщений, передаваемых двоичным кодом, Шеннон заменил используемый термодинамикой натуральный логарифм логарифмом с двоичным основанием:

, (1.13)

Где РI - вероятность обнаружения какого-либо однородного элемента системы в их множестве, [9].

Пределами изменения функции, заданной равенством (1.13), являются нуль, когда один из элементов имеет вероятность обнаружения, равную единице, а остальные нулевую, и для случая, когда, :

. (1.14)

Действительно, в случае равной вероятности выполняется условие:

. (1.15)

В результате подстановки (1.15) в (1.13):

. (1.16)

За единицу количества информации принята величина информации, содержащаяся в сообщении об одном из двух равновероятных событий. До получения сообщения выполняются условия:

[10]. (1.17)

Подобный результат был впервые получен Хартли для оценки максимальной пропускной способности каналов связи:

[11] (1.18)

Для энтропийно-информационного анализа материальных процессов необходимо выбрать единую меру статистических и детерминистических начал в любом целом. Наиболее полно эта мера выражается в информации, которая может быть выражена в различных отношениях: свободная и связанная, субъективная и объективная, реальная и потенциальная и т. д. Столь же правомерно использование энтропии как меры неупорядоченности, которая также охватывает весь спектр состояний системы, включая полную упорядоченность.

Информация, как мера определенности, отражает функцию структурного начала в технологической системе, а энтропия, как мера неопределенности, ее бесструктурного дополнения

Для многоуровневой технологической иерархической системы важным является описание нижестоящего уровня как взаимодействие взаимосвязанных подсистем, каждая из которых обладает своими информационными свойствами. Поэтому при получении информационной оценки технологического совершенства основное внимание обращено на внутриуровневые и межуровневые взаимодействия системы.

Создание математической теории энтропии - одно из замечательных достижений математики нашего века. Точные понятия энтропии и информации, появившиеся в конце 40-х годов и утвердившиеся вначале в прикладных областях, а именно в теории связи (К. Шеннон) и кибернетике (Н. Винер), сразу же подверглись тщательной математической переработке и получили развитие в нескольких новых областях математики. Быстрое, почти мгновенное проникновение этих понятий в различные разделы математики было обусловлено тем, что соответствующий математический аппарат для их анализа был уже подготовлен, и, главное имелись задачи, словно ожидавшие понятии энтропии в той или иной форме и решенные вскоре с его помощью. Математическая теория энтропии, в основу которой легли фундаментальные работы Клода Шеннона, была создана трудами выдающихся современных математиков, в первую очередь А. Н. Колмогорова, а также А. Я. Хинчина, И. М. Гельфанда и их последователей. Эта теория дает замечательный пример плодотворного воздействия прикладных областей на фундаментальные направления математики. В самой же математике она сыграла объединяющую роль и дала толчок развитию того, что следовало бы назвать "энтропийным мышлением", пронизывающим многие области нашей науки. Под этим мы имеем в виду исследование характеристик и инвариантов экспоненциального роста - в самых различных ситуациях. Разумеется, в математике и ранее было немало наблюдений и фактов, свойственных такому мышлению, и даже понятие энтропии лишь с натяжкой можно было считать новым, однако нет сомнений, что именно работы Шеннона и Колмогорова и их продолжателей сформировали единый энтропийный подход к различным задачам.

Похожие статьи




Формула Шеннона для определения количества информации - Методы информационного анализа материальных процессов

Предыдущая | Следующая