Мера информации по Шеннону - Измерение информации

Пусть до получения информации потребитель имеет некоторые предварительные (априорные) сведения о системе б. Мерой его неосведомленности о системе является функция H(б), которая в то же время служит и мерой неопределенности состояния системы.

После получения некоторого сообщения в получатель приобрел некоторую дополнительную информацию Iв(б), уменьшившую его априорную неосведомленность так, что апостериорная (после получения сообщения в) неопределенность состояния системы стала Hв (б).

Тогда количество информации Iв(б) о системе, полученной в сообщении в, определится как:

Iв(б) = H(б) - Hв (б),

Т. е. количество информации измеряется изменением (уменьшением) неопределенности состояния системы.

Если конечная неопределенность Hв (б) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации Iв(б) = H(б). Иными словами, энтропия системы H(б) может рассматриваться как мера недостающей информации.

Энтропия системы H(б), имеющая N возможных состояний, согласно формуле Шеннона, равна:

Где Pi - вероятность того, что система находится в i-м состоянии.

Для случая, когда все состояния системы равновероятны, т. е. их вероятности равны Pi =(1/N), ее энтропия определяется соотношением:

Часто информация кодируется числовыми кодами в той или иной системе счисления, особенно это актуально при представлении информации в компьютере. Естественно, что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта, что можно представить в виде соотношения

N=mN,

Где N - число всевозможных отображаемых состояний;

M - основание системы счисления (разнообразие символов, применяемых в алфавите);

N - число разрядов (символов) в сообщении.

Наиболее часто используются двоичные и десятичные логарифмы. Единицами измерения в этих случаях будут соответственно бит и дит.

Коэффициент (степень) информативности (лаконичность) сообщения определяется отношением количества информации к объему данных, т. е.:

,

Причем 0<Y<1.

С увеличением Y уменьшаются объемы работы по преобразованию информации (данных) в системе. Поэтому стремятся к повышению информативности, для чего разрабатываются специальные методы оптимального кодирования информации.[2, 3-4с.]

Пример. На абрисе тахеометрической съемки точки рельефа, между которыми возможна интерполяция горизонталей соединяются стрелками, которые указывают направление ската. До проведения эксперимента допустимо предположение соединения некоторой точки n с остальными n - 1 точками. При этом вероятность каждого соединения равна

Где число соединений.

Однако в результате эксперимента было установлено (получено экспериментально), что точка n соединилась лишь с одной точкой. Вероятность этого события а вероятность соединения с остальными точками равна нулю.

Тогда очевидно, что

Следовательно, количество информации, доставляемой такой линией абриса равно

Похожие статьи




Мера информации по Шеннону - Измерение информации

Предыдущая | Следующая