ВЫЧИСЛЕНИЕ ИНФОРМАЦИОННЫХ ПОТЕРЬ ПРИ ПЕРЕДАЧЕ СООБЩЕНИЙ ПО КАНАЛАМ СВЯЗИ С ШУМАМИ, ОПРЕДЕЛЕНИЕ ИЗБЫТОЧНОСТИ СООБЩЕНИЙ. ОПТИМАЛЬНОЕ КОДИРОВАНИЕ. - Теория и практика информации и кодирования

Задача8

Чему равна пропускная способность канала связи, описанного следующей матрицей:

?

Решение

Найдем безусловные вероятности источника и приемника:

P(a1)=0.2, p(a2)=0.3, p(a3)=0.5,

P(b1)=0.4, p(b2)=0.3, p(b3)=0.3;

Находим условные вероятности видов p(A/B) и p(B/A) и строим соответствующие матрицы условных вероятностей:

Найдем энтропию источника сообщений:

Найдем энтропию приемника:

Условные энтропии:

Пропускная способность:

ОПРЕДЕЛЕНИЕ ИЗБЫТОЧНОСТИ СООБЩЕНИЙ. ОПТИМАЛЬНОЕ КОДИРОВАНИЕ.

Задача 15

Первичный алфавит имеет следующие вероятности появления букв в текстах: A1=0,02; A2=0,5; A3=0,03; A4=0,15; A5=0,04; A6=0,12; A7=0,04; A8=0,1. Построить ОНК методом Шеннона - Фано и методом Хаффмана. Сравнить Эффективность полученных кодов.

Решение

№1Строим ОНК методом Шеннона-Фано.

А

Вероятность

Число знаков в кодовом слове

PILI

A2

0.5

0

1

0.5

A4

0.15

1

0

0

3

0.45

A6

0.12

1

3

0.36

A8

0.1

1

0

3

0.3

A7

0.04

1

0

0

5

0.2

A5

0.04

1

5

0.2

A3

0.03

1

0

5

0.15

A1

0.02

1

5

0.1

Определим среднюю длину кода(lСр), энтропию (H) и коэффициент относительной эффективности (KО. э):

№2 Строим ОНК методом Хаффмана:

- 2 -

А

Вероятность

Код

Число знаков в кодовом слове

PILI

A2

0.5

1

1

0.5

A4

0.15

001

3

0.45

A6

0.12

011

3

0.36

A8

0.1

010

3

0.3

A7

0.04

00011

5

0.2

A5

0.04

00010

5

0.2

A3

0.03

00001

5

0.15

A1

0.02

00000

5

0.1

Определим среднюю длину кода(lСр) и коэффициент относительной эффективности (KО. э):

3) Сравним эти два метода; методы будут равноэффективными, если выполнится условие: .

И рассчитаны в предыдущем пункте. Таким образом, проверяем условие: 2.2458<2.26=2.26. Условие выполняется. Метод Хаффмана и метод Шеннона - Фано равноэффективные; кроме того, и коэффициенты относительной эффективности в обоих методах равны т. е. коды равноэффективны.

Похожие статьи




ВЫЧИСЛЕНИЕ ИНФОРМАЦИОННЫХ ПОТЕРЬ ПРИ ПЕРЕДАЧЕ СООБЩЕНИЙ ПО КАНАЛАМ СВЯЗИ С ШУМАМИ, ОПРЕДЕЛЕНИЕ ИЗБЫТОЧНОСТИ СООБЩЕНИЙ. ОПТИМАЛЬНОЕ КОДИРОВАНИЕ. - Теория и практика информации и кодирования

Предыдущая | Следующая