ВЫЧИСЛЕНИЕ ИНФОРМАЦИОННЫХ ПОТЕРЬ ПРИ ПЕРЕДАЧЕ СООБЩЕНИЙ ПО КАНАЛАМ СВЯЗИ С ШУМАМИ - Теория и практика информации и кодирования

Задача 3

Можно ли назвать полным информационное описание канала связи, предоставленного матрицей вида?

Решение

Для полного и всестороннего описания канала связи необходимо задать: канальную матрицу вида и безусловные вероятности вида или канальную матрицу вида и безусловные вероятности вида, Или канальную матрицу вида . В последнем случае сумма значений матрицы по столбцам дает безусловные

Вероятности вида, а сумма по строкам дает безусловные вероятности вида. Условные вероятности могут быть найдены из выражений:

.

Зная условные и безусловные вероятности, можно найти H(A),H(B),H(A/B) И H(B/A).

Если уровень помех настолько высок, что с равной вероятностью можно ожидать переход любого символа источника сообщения в произвольный символ первичного алфавита, то энтропия канала связи будет равна, а количество информации I=H(A)-, при этом значении I может быть отрицательной величиной, что означает, что канал связи вносит дезинформацию.

Задача8

Канал связи описан матрицей:

.

Определить полные информационные потери при передаче N символов по данному каналу связи.

Решение

Безусловные вероятности источника и приемника определяем как сумму цифр соответственно по строкам и столбцам заданной матрицы:

P(a1)=0.24, p(a2)=0.34, p(a3)=0.38, p(a4)=0.12

P(b1)=0.13, p(b2)=0.29, p(b3)=0.41, p(b4)=0.25,

Найдем энтропию источника сообщений:

Найдем энтропию приемника:

Совместная энтропия источника и приемника:

Найдем информационные потери:

,где k=N=>

Похожие статьи




ВЫЧИСЛЕНИЕ ИНФОРМАЦИОННЫХ ПОТЕРЬ ПРИ ПЕРЕДАЧЕ СООБЩЕНИЙ ПО КАНАЛАМ СВЯЗИ С ШУМАМИ - Теория и практика информации и кодирования

Предыдущая | Следующая