Ентропія. Властивості ентропії - Кількісні інформаційні характеристики дискретних джерел повідомлень і каналів

Ентропія визначає міру невизначеності всієї безлічі повідомлень на вході каналу і обчислюється як середня кількість власної інформації у всіх повідомленнях:

(5)

Властивості ентропії:

    1. Ентропія H(X) ненегативна: H(X) > 0. 2. Ентропія H(X) < logn. 3. величина logn = d називається інформаційною пропускною спроможністю алфавіту (інформаційною місткістю алфавіту). 4. якщо n = 2, то p(x1) = p, p(x2) = 1p,

H(Х)= - p log p - (1p) log (1p).

5. Найвища невизначеність, а відтак і максимум ентропії досягається при p = 0,5 і тоді

H(Х) = - log 0,5 = log 2 = 1,

Тобто місткість двійкового алфавіту дорівнює 1 біт.

Залежність H(X) від величини р показано на рис. 7.

6. Ентропія для об'єднаних ансамблів:

. (6)

7. Часткова умовна ентропія

. (7)

залежність h(x) від величини р

Рис. 1. Залежність H(X) від величини р

Середнє значення часткових умовних ентропій називається умовною ентропією

. (8)

Вона характеризує невизначеність результату подій у при відомих подіях х.

Якщо врахувати, що математичне очікування є результат усереднювання по всіх станах, то вирази (5), (6) і (8) можна записати у вигляді

,

,

Де М - математичне очікування. З теорії ймовірності відомо, що

P(x, у) = p(x) p(у/x) = p(y) p(x/y).

Після логарифмування і застосування операції пошуку математичного очікування одержуємо співвідношення:

H(X, Y) = H(X) + H(Y/X),

H(X, Y) = H(Y) + H (X/Y). (9)

У іншій формі (9) має вигляд

H(X) H (X/Y) = H(Y) H (Y/X). (10)

Ліву частину (10) можна інтерпретувати як середню кількість інформації I(X, Y), доставлену в пункт прийому, яка дорівнює середній кількості переданої інформації H(X) мінус середню кількість інформації H (X/Y), втрачену унаслідок дії шумів:

I(X, Y) = H(X) H (X/Y).

Права частина (10) містить ентропію шуму H(Y/X) при відомому сигналі X:

H(Y/X) = H(Y) H (Y/X).

Обидві частини рівності (10) однаково придатні для визначення середньої кількості переданою по каналу інформації.

Ентропія систем з безперервною безліччю станів обчислюється за правилами аналізу дискретних систем з попереднім квантуванням щільності ймовірності w (x) з кроком Дх.

Тоді число станів в системі буде дорівнювати

,

А ймовірність станів p(xI)= w (xI) Дх.

Використовуючи відомі формули даного розділу, можемо одержати ентропію

.

Після перетворень і устремління Дх ?до нуля одержуємо

(11)

Величина H*(X) називається приведеною ентропією. Вона дорівнює:

(12)

Похожие статьи




Ентропія. Властивості ентропії - Кількісні інформаційні характеристики дискретних джерел повідомлень і каналів

Предыдущая | Следующая