•Следовательно, при двух символах в алфавите максимум энтропии достигается в случае равновероятных символов. То же можно доказать и для большего числа символов в алфавите.

•Найдем значение максимальной энтропии. Пусть все символы равновероятны: pi = 1/m.

m	1			1	m	1
Hmax		log					log	2 m log2 m
			2	m
i 1	m				i 1	m

• Q.e.d.

4.Совместная энтропия независимых источников сообщений равна сумме энтропий.

•Пусть источник А порождает ансамбль Na сообщений (a1, a2,…, aNa), источник B порождает ансамбль Nb сообщений (b1, b2,…, bNb) и источники независимы. Общий алфавит источников представляет собой множество пар вида (ai, bj), общая мощность алфавита равна

•Na ×Nb.

•Совместная энтропия композиции двух источников равна

Na Nb

H(A, B) P(ai ,bj )log P(ai ,bj )

i 1 j 1

•Поскольку A и B независимы, то P(ai,bj) = P(ai)∙P(bj), a log P(ai,bj) = log P(ai) + log P(bj). Отсюда вытекает:

	Na Nb
H(A,B)	P(ai )P(bj )(log P(ai ) log P(bj ))
	i 1 j 1
Na Nb			Na Nb
P(ai )P(bj )log P(ai ) P(ai )P(bj )log P(bj )
i 1 j 1			i 1 j 1
• Изменим порядок суммирования
	Na	Nb	Nb	Na
H(A,B) P(ai )log P(ai ) P(bj ) P(bj )log P(bj ) P(ai )
	i 1	j 1	j 1	i 1

•

•	учитывая, что	Na	Nb	получим
		P(ai ) 1	и , P(bj ) 1
		i 1	j 1
	Na		Nb
	H(A,B) P(ai )log P(ai ) P(bj )log P(bj ) H(A) H(B)
	i 1		j 1

•Вывод можно распространить и на большее количество независимых источников

Условная энтропия

•Найдем совместную энтропию сложной информационной системы (композиции A, B) в том случае, если их сообщения не являются независимыми, т.е. если на содержание сообщения B оказывает влияние сообщение A.

•Например, сообщение «Спартак выиграл в футбольном матче против Динамо»

полностью снимает неопределенность сообщения о том, как сыграло Динамо.

•Другой пример: сообщение А содержит информацию о женщине (фамилию, имя, отчество, год рождения, место рождения, образование, домашние адрес и телефон), а сообщение В содержит аналогичную информацию о ее муже. Очевидно, что сообщение В частично содержит в себе информацию А (а именно: фамилию жены, ее домашний адрес и телефон, скорее всего совпадающие с фамилией, домашним адресом и телефоном мужа, а также вероятностную оценку ее года рождения, который скорее всего близок к году рождения мужа). Таким образом, совместная энтропия двух сообщений не является простой суммой энтропий отдельных сообщений.

•Пусть источник А порождает ансамбль Na сообщений (a1, a2,…, aNa), источник B порождает ансамбль Nb сообщений (b1, b2,…, bNb) и источники зависимы. Общий алфавит источников представляет собой множество пар вида (ai, bj), общая мощность алфавита: Na×Nb.

•Энтропия сложной информационной системы (из двух источников) равна

Na Nb

H(A,B) P(ai ,bj )log P(ai ,bj )

i 1 j 1

•Поскольку A и B зависимы, то P(ai,bj) = P(ai)∙P(bj|ai),

•a log P(ai,bj) = log P(ai) + log P(bj|ai). Подставив это в выражение для

энтропии сложной системы, получаем:

	Na Nb
H(A,B)	P(ai )P(bj | ai )(logP(ai ) log P(bj | ai ))
	i 1 j 1
Na Nb	Na Nb
P(ai )P(bj | ai )log P(ai ) P(ai )P(bj | ai )log P(bj | ai )
i 1 j 1	i 1 j 1

• В первом слагаемом индекс j имеется только у B, изменив порядок

суммирования, получим член вида:	Nb	,
	P(bj | ai )

j 1

• который равен 1 поскольку характеризует достоверное событие (какое-либо сообщений bj в любом случае реализуется). Следовательно, первое слагаемое оказывается равным:

Na

P(ai )log P(ai ) H(A)

i1

•Во втором слагаемом члены вида

Nb

P(bj | ai )log P(bj | ai ) H(B | ai )

j 1

•имеют смысл энтропии источника B при условии, что реализовалось сообщение ai – будем называть ее частной условной энтропией.

•Если ввести данное понятие и использовать его обозначение, то второе слагаемое будет иметь вид:

Na
• P(ai )H(B | ai ) H(B | A)	(10)

i1

•где H(B|A) есть общая условная энтропия источника В относительно источника А. Окончательно получаем для энтропии сложной системы:

• H(A, B) = H(A) + H(B|A)

(11)

•Полученное выражение представляет собой общее правило нахождения энтропии сложной системы. Совершенно очевидно, что выражение (9) является частным случаем (11) при условии независимости источников А и В.

•Относительно условной энтропии можно высказать следующие утверждения:

1. Условная энтропия является величиной неотрицательной.

•Причем H(B|A) = 0 только в том случае, если любое сообщение А полностью определяет сообщение В, т.е.

•	H(B|a1) = H(B|a2) =…= H(B|aN) = 0

•В этом случае H(А,B) = H(A).

2.Если источники А и В независимы, то H(B|A) = H(B), причем это оказывается наибольшим значением условной энтропии.

•Другими словами, сообщение источника А не может повысить неопределенность сообщения источника В; оно может либо не оказать никакого влияния (если источники независимы), либо понизить энтропию В.

•	Приведенные утверждения можно объединить одним неравенством:
•	0 ≤ H(B|A) ≤ H(B),	(12)

•т.е. условная энтропия не превосходит безусловную.

•Из соотношений (11) и (12) следует, что

•H(A, B) ≤ H(A) + H(B),

•причем равенство реализуется только в том случае, если источники А и В независимы.