Кількісна міра інформації - Кількісні інформаційні характеристики дискретних джерел повідомлень і каналів

При введенні кількісної міри інформації (Норберт Вінер і Клод Шеннон) було прийнято смисловий зміст повідомлень (семантику) не враховувати, а обмежитися тільки формальними ознаками, важливими з погляду передачі повідомлень по каналах зв'язку. У результаті враховуються тільки число N повідомлень, що підлягають передачі, і ймовірності р(хI) надходження їх на вхід каналу. Всю сукупність повідомлень представляють у вигляді деякої системи Х із станами xI

, (1)

Де: xi - окремі повідомлення (або їх типи, класи), p(xi) - апріорна ймовірність появи повідомлень xi.

В результаті передачі повідомлення xI по каналу зв'язку буде одержане повідомлення yJ. Воно може з деякою ймовірністю бути схоже на будь-яке з (x1, x2,...xN) повідомлень. Зокрема воно може бути схоже на передане повідомлення xi. Апостеріорна (післядослідна) ймовірність присутності xI в yJ дорівнює p(xI/ yJ).

У основу міри кількості інформації встановлені зміни ймовірності появи повідомлень від апріорного значення p (xI) на вході каналу до апостеріорного значення p (xi/yj) на виході каналу, пов'язані із викривленнями інформації у каналі.

Порівнюючи ймовірність р(xI) і p (xI/yJ) можна встановити міру кількості інформації, переданої через даний канал. Зручною мірою виявився логарифм відношення апостеріорної ймовірності до апріорної.

Кількість інформації, те, що міститься в події yJ щодо події xI визначається по формулі

. (2)

Основою логарифма можуть бути: 2, е 2,72, або 10. Залежно від основи міняються одиниці вимірювання кількості інформації (біти дв. од.; ніт нат. од.; хартлі (діти) дес. од.)

Властивості кількості інформації I(xI; yI):

1. Властивість симетрії. Інформація, що міститься в yj щодо xi, дорівнює інформації, що міститься в xi щодо yj. Це стає очевидним, якщо чисельник і знаменник в (1) помножити на p (yi) і виробити перетворення:

,

Оскільки p (xI, yJ) = p (yJ), p(xI/ yJ) = p (xI), p (yJ/ xI) - ймовірність сумісної появи yJ і xI.

В результаті вказаної властивості величину I(xI;yJ) називають кількістю взаємної інформації між xI і yJ.

2. Властивість адитивності. Інформація, що міститься в парі символів yj, zk щодо xi, дорівнює сумі інформації, що міститься в yj щодо xi і інформації, що міститься в zk щодо xi за умови, що значення yj відоме

. (3)

Кількість власної інформації у xI визначається з (2) при p(xI/ yJ) = 1

. (4)

Ця величина визначає кількість інформації, необхідне для однозначного визначення xi на виході каналу.

З урахуванням введеного поняття (4) можна перетворити вираз (2) до вигляду

,

Де I (xI / yJ) = - log p (xI / yJ) умовна власна інформація.

Середня кількість взаємної інформації виходить шляхом усереднювання (2) по всіх i і j :

.

Похожие статьи




Кількісна міра інформації - Кількісні інформаційні характеристики дискретних джерел повідомлень і каналів

Предыдущая | Следующая