Реферат: Математическая теория информации

МАТЕМАТИЧЕСКАЯ ТЕОРИЯ ИНФОРМАЦИИ

1. Количество информации, и еемера

На вход системы передачи информации (СПИ)от источника информации подается совокупность сообщений, выбранных из ансамблясообщений (рис. 1).

Помехи

/>/>x1 y1

x2 y2

…<sub/>…

xn yn

Рис. 1. Система передачиинформации

Ансамбль сообщений – множество возможных сообщений с их вероятностнымихарактеристиками – {Х, р(х)}. При этом: Х={х1, х2,…,хm} – множество возможных сообщений источника; i = 1, 2,…, m,где m – объем алфавита; p(xi) – вероятности появлениясообщений, причем p(xi) ³0 и поскольку вероятности сообщений представляют собой полнуюгруппу событий, то их суммарная вероятность равна единице

/>.

Каждое сообщение несет в себеопределенное количество информации. Определим количество информации,содержащееся в сообщении xi, выбранном из ансамбля сообщенийисточника {Х, р(х)}. Одним из параметров, характеризующих данноесообщение, является вероятность его появления – p(xi),поэтому естественно предположить, что количество информации I(xi)в сообщении xi является функцией p(xi). Вероятностьпоявления двух независимых сообщений x1<sub/>и x2<sub/>равна произведению вероятностей p(x1,<sub/>x2)= p(x1).p(x2), а содержащаяся в них информация должнаобладать свойством аддитивности, т.е.:

I(x1, x2)= I(x1)+I(x2). (1)

Поэтому для оценки количестваинформации предложена логарифмическая мера:

/>. (2)

При этом наибольшее количествоинформации содержат наименее вероятные сообщения, а количество информации всообщении о достоверном событии равно нулю. Т. к. все логарифмыпропорциональны, то выбор основания определяет единицу информации:logax= logbx/logba.

В зависимости от основаниялогарифма используют следующие единицы информации:

2 – [бит] (bynary digit– двоичная единица), используется при анализе ин-формационных процессов в ЭВМ идр. устройствах, функционирующих на основе двоичной системы счисления;

e – [нит] (natural digit – натуральная единица),используется в математических методах теории связи;

10 – [дит] (decimal digit– десятичная единица), используется при анализе процессов в приборах работающихс десятичной системой счисления.

Битом (двоичной единицей информации) –называется количество информации, которое снимает неопределенность в отношениинаступления одного из двух равновероятных, независимых событий.

Среднее количество информации для всейсовокупности сообщений можно получить путем усреднения по всем событиям:

/>. (3)

Количество информации, в сообщении,состоящем из n не равновероятных его элементов равно (эта мерапредложена в 1948 г. К. Шенноном):

/>. (4)

Для случая независимых равновероятныхсобытий количество информации определяется (эта мера предложена в 1928 г. Р. Хартли):

/>. (5)

2. Свойства количестваинформации

1. Количество информации всообщении обратно – пропорционально вероятности появления данного сообщения.

2. Свойство аддитивности – суммарноеколичество информации двух источников равно сумме информации источников.

3. Для события с одним исходомколичество информации равно нулю.

4. Количество информации вдискретном сообщении растет в зависимости от увеличения объема алфавита – m.

Пример 1. Определить количество информации всообщении из 8 двоичных символов (n = 8, m = 2), если вероятности равны: pi0 = pi1<sub/>= 1/2.

Количество информации равно:

I = n log m = 8log2 2 = 8 бит.

Пример 2. Определить количество информации всообщении из 8 двоичных символов (n = 8, m= 2), если вероятности равны:

pi0 = 3/4; pi1<sub/>=1/4.

Количество информации равно:

/>

3. Энтропия информации

Энтропия– содержательность, мера неопределенности информации.

Энтропия – математическое ожидание H(x)случайной величины I(x) определенной на ансамбле {Х, р(х)}, т.е.она характеризует среднее значение количества информации, приходящееся на одинсимвол.

/>. (6)

Определим максимальноезначение энтропии Hmax(x).<sub/>Воспользуемся методомнеопределенного множителя Лагранжа -l для отыскания условного экстремума функции [6]. Находимвспомогательную функцию:

/> (7)

Представим вспомогательнуюфункцию F в виде:

/>. (8)

Найдем максимум этой функции

/> т. к.

/>.

Как видно из выражения, величинавероятности pi не зависит от i, а это может быть вслучае, если все pi<sub/>равны, т.е. p1=p2 =…=pm =1/m.

При этом выражение дляэнтропии равновероятных, независимых элементов равно:

/>. (9)

Найдем энтропию системы двухальтернативных событий с вероятностями p1 иp2.Энтропия равна

/>

4. Свойства энтропиисообщений

1. Энтропия есть величинавещественная, ограниченная, не отрицательная, непрерывная на интервале 0 £p £1.

2. Энтропия максимальна для равновероятныхсобытий.

3. Энтропия длядетерминированных событий равна нулю.

4. Энтропия системы двухальтернативных событий изменяется от 0 до 1.

Энтропия численно совпадает сосредним количеством информации но принципиально различны, так как:

H(x) – выражает среднюю неопределенностьсостояния источника и является его объективной характеристикой, она может бытьвычислена априорно, т.е. до получения сообщения при наличии статистики сообщений.

I(x) – определяется апостериорно, т.е. послеполучения сообщения. С получением информации о состоянии системы энтропияснижается.

5. Избыточность сообщений

Одной из информационныххарактеристик источника дискретных сообщений является избыточность, котораяопределяет, какая доля максимально-возможной энтропии не используетсяисточником

/>, (10)

где ? – коэффициентсжатия.

Избыточность приводит кувеличению времени передачи сообщений, уменьшению скорости передачи информации,излишней загрузки канала, вместе с тем, избыточность необходима для обеспечениядостоверности передаваемых данных, т.е. надежности СПД, повышения помехоустойчивости.При этом, применяя специальные коды, использующие избыточность в передаваемыхсообщениях, можно обнаружить и исправить ошибки.

Пример 1. Вычислить энтропию источника, выдающегодва символа 0 и 1 с вероятностями p(0) = p(1) = 1/m и определить егоизбыточность.

Решение: Энтропия для случая независимых,равновероятных элементов равна: H(x) = log2m = log22 =1 [дв. ед/симв.]

При этом H(x) = Hmax(x)и избыточность равна R = 0.

Пример 2. Вычислить энтропию источника независимыхсообщений, выдающего два символа 0 и 1 с вероятностями p(0) = 3/4, p(1) =1/4.

Решение: Энтропия для случая независимых, неравновероятных элементов равна:

/>

При этом избыточность равнаR = 1–0,815=0,18

Пример 3. Определить количество информации иэнтропию сообщения из пяти букв, если число букв в алфавите равно 32 и всесообщения равновероятные.

Решение: Общее число пятибуквенных сообщенийравно: N = mn<sup/>= 32

Энтропия для равновероятныхсообщений равна:

H= I= – log21/N= log2325 = 5 log232 = 25 бит./симв.

Литература

1    Гринченко А.Г. Теорияинформации и кодирование: Учебн. пособие. – Харьков: ХПУ, 2000.

2    Цымбал В.П. Теорияинформации и кодирование. – М.: Высш. шк., 1986.

3    Кловский Д.Д. Теория передачисигналов. – М.: Связь, 1984.

4    Кудряшов Б.Д. Теорияинформации. Учебник для вузов Изд-во ПИТЕР, 2008. – 320 с.

5    Цымбал В.П. Теорияинформации и кодирование. – М.: Высш. шк., 1986.

6    Асанов М.О., Баранский В.А.,Расин В.В. Дискретная математика: графы матроиды, алгоритмы. – Ижевск:НИЦ «РХД», 2001, 288 стр.