Вимірювання інформації в техніці - Математичний опис джерел інформації, сигналів, завад і каналів зв'язку

У техніці інформацією вважається будь-яка послідовність символів, що зберігається, оброблювана або передана. Часто використовують простий і грубий спосіб визначення кількості інформації, який може бути названий об'ємним. Він заснований на підрахунку кількості символів в повідомленні, тобто пов'язаний з його довжиною і не враховує змісту.

Довжина повідомлення залежить від числа різних символів, що вживаються для запису повідомлення. У обчислювальній техніці застосовуються дві стандартні одиниці вимірювання: біт (двійковий знак двійкового алфавіту {0,1}) мінімальна одиниця вимірювання інформації і байт (який дорівнює восьми бітам, є одним символом, тобто при введенні з клавіатури цього символу машині передається 1 байт інформації). Використовувані в обчислювальній техніці інші одиниці вимірювання інформації уже наведені вище.

Інформаційний об'єм повідомлення (інформаційна місткість повідомлення) кількість інформації в повідомленні, зміряне в бітах, байтах або похідних величинах.

Вимірювання інформації в теорії інформації (інформація, як знята невизначеність).

Палкий закоханий, знаходячись в розлуці, з об'єктом своєї любові, посилає телеграму; "Любиш?". У відповідь приходить не менш лаконічна телеграма: "Так!". Скільки інформації несе у відповідь телеграма? Альтернатив тут дві або "Так", або "Ні". Їх можна позначити знаками двійкового коду 1 і 0. Таким чином, у відповідь телеграму можна було б закодувати всього одним двійковим символом.

Чи можна сказати, що у відповідь телеграма несе одну одиницю інформації? Отримання інформації (її збільшення) одночасно означає збільшення знання або зменшення інформаційної невизначеності.

Книга лежить на одній з двох полиць - верхньої або нижньої. Повідомлення про те, що книга лежить на верхній полиці зменшує невизначеність в два рази.

У простому випадку вибір одного з двох повідомлень ("так" чи "ні", 0 або 1) приймають за одиницю інформації. Вона названа "біт" або двійкова цифра. Питання цінності цієї інформації для одержувача це вже з іншої області і буде розглянуте нижче.

Повідомлення про те, як впала монета "гербом" або "решкою" несе один біт інформації.

Відомо, що Петренко живе на вулиці Весняній. Повідомлення про те, що номер його будинку парний, зменшило невизначеність удвічі, ми стали знати більше, але інформаційна невизначеність залишилася.

Чому в цьому випадку ми не можемо сказати, що інформаційна невизначеність зменшилася удвічі? Якщо вам важко відповісти на це питання, уявіть собі вулицю, на парному боці якої, наприклад, чотири будинки, а на непарній двадцять. Такі вулиці не така вже велика рідкість.

Дуже приблизно можна сказати, що кількість інформації в повідомленні про якусь подію співпадає з кількістю питань, які необхідно задати, щоб одержати ту ж інформацію, відповідь на ці питання може бути лише "так" чи "ні".

У теорії інформації під кількістю інформації розуміють міру зменшення невизначеності знання. Знаходження такої міри вимагає оцінки і обліку кількості переданої інформації. У теорії інформації кількістю інформації називають числову характеристику сигналу, яка не залежить від його форми і змісту і характеризує невизначеність, яка зникає після отримання повідомлення у вигляді даного сигналу. В цьому випадку кількість інформації залежить від вірогідності отримання повідомлення про ту або іншу подію.

Для абсолютно достовірної події (подія обов'язково відбудеться, тому її імовірність дорівнює 1) кількість інформації в повідомленні про неї дорівнює 0. Чим неймовірніша подія, тим більшу інформацію про нього несе повідомлення. Лише при рівноімовірних відповідях відповідь "та" чи "ні" несе один біт інформації.

Існує безліч ситуацій, коли можливі події мають різну імовірність реалізації. Наприклад, якщо монета несиметрична (одна сторона важча іншій), то при її киданні вірогідності випадання "орла" і "решки" розрізнятимуться.

Ми уже мали нагоду обговорити формулу для обчислення кількості інформації, запропоновану Хартлі про об'єкт, який може знаходитися в одному з рівноімовірних N станів:

I = log2N.

Формулу для обчислення кількості інформації для подій з різною вірогідністю запропонував К. Шеннон в 1948 р. В цьому випадку кількість інформації визначається за формулою:

,

Де I кількість інформації, N кількість можливих подій, pI імовірність окремих подій.

Наприклад, хай при киданні несиметричної чотиригранної піраміди вірогідності окремих подій будуть наступними: 1/2, 1/4, 1/8, 1/8. Тоді кількість інформації, яку ми одержимо після реалізації одного з них, можна розрахувати по формулі Шеннона:

I = (1/2*log1/2 + 1/4*log1/4 + 1/8*log1/8 + 1/8*log1/8) біт = 1,75 біт.

Похожие статьи




Вимірювання інформації в техніці - Математичний опис джерел інформації, сигналів, завад і каналів зв'язку

Предыдущая | Следующая