Задание 1. Количественное определение информации. Энтропия и производительность дискретного источника сообщений

Задание:

1.Найти количество информации, содержащейся в каждом из символов источника при их независимом выборе (источник без памяти). Вычислить энтропию и избыточность заданного источника.

.Показать, что при равных объемах алфавитов К, энтропия Н(А) имеет максимальное значение Нмакс(А) = Iog2K при равновероятных символах.

.Описать физические характеристики дискретных каналов и сигналов, а также процесс преобразования дискретных сообщений в электрические сигналы.

Исходные данные:

Источник сообщений выдает символы из ансамбля А={?i} (где i = 1,2,,3,4,5) с вероятностями, представленными в табл.1 в зависимости от последней цифры шифра.

Таблица 1

ПараметрP(?1)P(?2)P(?3)P(?4)P(?5)0,20,30,250,150,1

Решение:

.Количество информации I (ai), содержащееся в символе ai, выбираемом из ансамбля {ai} (i=1,2,3,…,K), где К - объем алфавита, с вероятностью P(?i), причем P(?i) = 1, определяется по формуле

I (?i) = -Iog2 P (?i).

Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации.

Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации - это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью символов.

I (?1) = -Iog2 P (?1) = -log2 (0.2) = 2,322 бита;(?2) = -Iog2 P (?2) = -log2 (0.3) = 1,737 бита;(?3) = -Iog2 P (?3) = -log2 (0.25) = 2,000 бита;(?4) = -Iog2 P (?4) = -log2 (0.15) = 2,737 бита;(?5) = -Iog2 P (?5) = -log2 (0.1) = 3,322 бита;

Средне количество информации Н(А), приходящееся на один символ выдаваемых дискретным источником независимых сообщений с объемом алфавита К, можно найти как математическое ожидание дискретной случайной величины I (?i), определяющей количество информации, содержащейся в одном случайно выбранном символе (знаке) (?i).

H(A) = M{I(ai)} = -

Эта величина называется энтропией источника независимых сообщений.

H(A) = M{I(ai)} = -=

Одной из информационных характеристик дискретного источника является избыточность

u= 1 -

Избыточность источника зависит как от протяженности статистических связей между последовательно выбираемыми символами (памятью источника), так и от степени неравновероятности отдельных символов.

u= 1 -=

Если источник без памяти, т.е. последовательно передаваемые символы независимы, все символы равновероятны P(?i) = 1/K, то Н(А) и избыточность pи=0.

2.Если объем алфавита К=2 и все сообщения источника считать равновероятными, тогда по закону о полной вероятности:

P(a1)+ P(a2)=1 следовательно P(a2)=1- P(a1).

И энтропия определяются следующим образом:

Н(А)=

Данные заносим в таблицу 3

Таблица 3

P(a1)P(a2)Н(А)0100,10,90,4690,20,80,7220,30,70,8810,40,60,9710,50,510,60,40,9710,70,30,8810,80,20,7220,90,10,469101

На графике видно, что энтропия имеет свое максимальное значение НМАКС(А)=log2K при равновероятном распределении вероятностей, т. е. при Р1=Р2=1/2.

Рисунок 1. Зависимость энтропии при равновероятном распределении вероятностей

3.Конкретный канал связи обладает определенными физическими параметрами, от которых зависит возможность передачи по нему тех или иных сигналов. Независимо от назначения непрерывного канала его можно характеризовать тремя основными параметрами: временем , в течение которого он предоставляется для передачи сигнала ТК , шириной полосы пропускания сигнала FK и доступным превышением сигнала над помехой в канале НК. Причем

НК= log(PUmax/P).

Для проводных каналов превышение в основном определяется пробивным напряжением и уровнем перекрёстных помех, для радиоканалов возможностями выявления сигнала на соответствующих расстояниях.

Произведение указанных основных параметров канала связи принято называть ёмкостью канала и обозначать VK:

VK= НК ТК FK

При оценке возможностей передачи сигнала по каналу с заданными физическими характеристиками также ограничивается рассмотрением трех основных параметров сигнала: его длительности ТС, ширины спектра FC и превышением над помехой HC , причем

HC=log(PU/P?)

где PU- средняя мощность передаваемого сигнала; P?-средняя мощность помехи в канале.

Превышение HC связано с возможностями передатчика и дальностью передачи. Чем больше HC , тем меньше вероятность ошибочного приема. Аналогично объёму канала вводится понятие объема (ёмкости ) VC передаваемого сигнала :