КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ., УСЛОВНАЯ ЭНТРОПИЯ И ЭНТРОПИЯ ОБЪЕДИЕНИЯ - Теория и практика информации и кодирования

Задача 6

Определить объем и количество информации в принятом тексте:

"Товарищ, верь: взойдет она,

Звезда пленительного счастья,

Россия вспрянет ото сна..."

Решение

Число принятых символов, включая пробел,

K=80

Объем информации

Q=klСр =80*7=560 бит.

Количество информации для:

- равновероятностного алфавита:

H1=log2 M=log 32=5 бит/символ,

I1=kH1 =80*5=400 бит;

- неравновероятностного алфавита:

Н2= бит/символ

I2=kH2=80*4.36?348,8 бит.

УСЛОВНАЯ ЭНТРОПИЯ И ЭНТРОПИЯ ОБЪЕДИЕНИЯ

Задача 1

В результате статистических испытаний канала связи № 1 со стороны источника сообщений были получены следующие условные вероятности: 0,9; 0,1; 0; 0,1; 0,8; 0,1; 0;0,1; 0,9.

При испытании канала связи № 2 со стороны приемника сообщений получины условные вероятности: 0,9; 0,08; 0; 0,1; 0,8; 0,08; 0;0,12; 0,92.

Построить соответствующие канальные матрицы и определить частные условные энтропии относительно сигнала А2 (со стороны источника сообщений) и сигнала B3( со стороны приемника).

Решение

Построим канальную матрицу со стороны источника сообщений:

B

A

B1

B2

...

BJ

...

BM

A1

...,

...,

A2

...,

...,

...

...............

...............

...............

...............

...............

...............

AI

...,

...,

...

...............

...............

...,

...............

...,

...............

AM

...,

...,

Подставим значения:

Построим канальную матрицу со стороны приемника сообщений:

В

А

B1

B2

...

BJ

...

BM

A1

...,

...,

A2

...,

...,

...

...............

...............

...............

...............

...............

...............

AI

...,

...,

...

...............

...............

...,

...,

...............

AM

...,

...,

Подставим значения:

Найдем частные условные энтропии относительно:

- сигнала А2 (со стороны источника сообщений)

- сигнала B3( со стороны приемника).

Похожие статьи




КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ., УСЛОВНАЯ ЭНТРОПИЯ И ЭНТРОПИЯ ОБЪЕДИЕНИЯ - Теория и практика информации и кодирования

Предыдущая | Следующая