книги / Математическая теория энтропии

92

Гл. 2. Энтропия и информация

\

Фуйкция рс (о, А)

является

^-измеримой,

поэтому,

применяя

теорему

1.19 и тот

факт, что п.; в. £Ч1л) =

^ ( ‘»

получим,

что п. в.

£ t [ -

1А(ю) log Р5 (©, Л)] — — /* (со, Л) log Pt (о,

Л).

Поскольку для любой

интегрируемой

случайной

величины х

выполнено

равенство £ (£t (х)) = £ (х),

уравнение

(2.8) можно

записать

в виде

;

Н (|/|) =

£

£ [— £6 (1А(со) log PS (©, Л)] =

Д G

5

=

£ |

- £

^ Pi (ю, Л) log«/* (со, Л)j.

(2.9)

(напомним,

что /logf =

0 при f = 0). Функция

-

£

Pi (со, Л) log РЧ«>,

Л)

(2.10)

Л<=1

является ^-измеримой, и ее значение

в точке ю есть энтропия

разбиения

|Г)С

пространства^ Лебега

(С, $F (С),

РЕ(©.•))> где

С —тот

элемент

разбиения

который

содержит

©. Таким

образом,

формулу (2.9) можно переписать как

Я (I/O =

\ Pt (rfC) Я (| П С),

!(2.11)

4

где Я (| П С) = —

sР с (©, Л) log Pt (©, Л)

для

© е С .

Тем

саЦым Я (I/O — это

среднее

по факторпространству (Ос,

с, Рс)

значение энтропий

разбиений |f)C элементов С разбиения £ ').

2.5.СВОЙСТВА ЭНТРОПИИ И УСЛОВНОЙ ЭНТРОПИИ

Вэтом разделе мы установим три основных свойства энтро­ пии и информации счетных разбиений. Эти свойства являются ключевыми для энтропийной теории и допускают простое истол­ кование. Затем определение энтропии будет распространено на произвольные измеримые разбиения.

Первое свойство относится к тому, как информационная функция I и энтропия Я сложных испытаний связаны с инфор­ мацией или энтропией факторйспытаний. Например, энтропия испытания, состоящего в последовательном извлечении из урны двух шаров без возвращения, может быть найдена по энтропии испытания, состоящего в извлечении первого шара, и энтропии испытания, заключающегося в извлечении второго шара при уже извлеченном первом.

1') По этой величине Н (|/£) часто ;еще называют средней условной энтро­ пией разбиения £ относительно разбиения £. — Прим, перев.

2.5. Свойства антропиа			93
Теорема 2.4. Пусть |	и т) — счетные	измеримые	разбиения,
a S - произвольное измеримое разбиение		пространства Лебега
(Q, ЗГ, Р), тогда
I (6V4/0 =	/ (ДО + 1 (П/SVOР-п. в.		(2,12)

Доказательство. Из определения условной информационной функции следует, что для P-почти всех © е й

I (ДО (®) + / № v 0 (®) = - Е 1А (®) log pt (®, А) -

-Е IJB(©) log P5Vt (а, В) =

Вб Т]

= -	Е	Е 1 дпв(<*>) log РЧю, Л) Р5*Ч©,					В).	(2.13)
	Д е | B s ^
Пусть С —любой элемент разбиения £,					такой,		что (С,^"(С)
Р5) — нетривиальное			пространство Лебега		')> а	Л	и	В — эле­
менты разбиений		§	и ti	соответственно.	Разбиение			£ПС =
= (Л' Г) С : А' е	£} является			измеримым разбиением простран­
ства (С, 8Г (С), Pt),		а	из свойства транзитивности			канонических

семейств условных мер следует, что каноническое семейство условных мер этого разбиения образуют меры P*vt. Используя формулу (1.5), получаем, что

РЧ®, ЛПЯГ)С)= \ РЧ®, rf®)P«vС(й, в ПС).

лпс

Ps-п. в. на С, поскольку Л П С е | П С и В П С е * Г ( С ) . Но функ­

ция P*v4®> В ПС) постоянна почти всюду на ЛПС,				поскольку
это множество есть элемент			разбиения |v $ . Таким	образом,
	РЧ®, ЛПВПС) = РЧ©, ЛПС)P6VC(©, ВПС)
для почти всех ю из С. Но			меры Р^ сосредоточены на эле­
ментах	разбиения £,	поэтому для Р-п. в. ю е Й
	РЧ®,	Л П В) =	Р« (©, Л) P5VC (о, В).	(2.14)
Так	как п. в.		Е Чпв (®) log В6 (®, Л П В),
	/ (IVп/0 (®)------Е
		Л ё ^	В е т )

утверждение теоремы вытекает из (2.13) и (2.14).

*) Здесь под

понимается условная мера на элементе С разбиения £,

т. е. р Ч ® . •). © е С , — Прим. лереа.

94	Гл. 2. Энтропия и информация
Следствие 2.5.	Пусть £, г) — счетные измеримые разбиения,

а £ — произвольное измеримое разбиение одного и того же про­ странства Лебега. Тогда

П1М = 1(1) Р-п. в.,					(2.15)
Н (l/v) — Н (1),					(2.16)
Я (£V y\lt) = я m		+ Я Cn/!V£).			(2.17)
/(iVti)==/(i) +		/(ri/|)	Р-п. в.,		(2.18)
Я(|Ул) = Я(!) + #М 1).					(2.19)
Доказательство. Формулы (2.15) и (2.16) немедленно					следу­
ют из определений и того факта,		что Pv(<o, Е) = Р(Е).			Форму­
ла (2.18) следует из (i2.12) и (2.15),		поскольку £ V v =		£,	а фор­
мула (2.19) аналогичным образом		следует из (2.17).		Наконец,
формула (2.17) получается интегрированием (2.12).
Следствие 2.6. Если	1 и rj — счетные		разбиения,	такие, что
К Л, то
i m	< i m	Р-п. в.,			(2.20)
Я ( Ш < Я ( т)/£),					(2.21)
/ ( £ ) < /(л)		Р-п. в.,			(2.22)
,Я(|)<Я(Т1).					(2.23)

Доказательство. Неравенство (2.20) вытекает из (2.12) и не­ отрицательности информационной функции. Остальные нера­ венства следуют из (2.20).

Второе основное свойство связывает отношение порядка измельчения (mod 0) на множестве измеримых разбиений с энт­ ропией и информационной функцией. Напомним, что £<J£ оз­

начает,	что каждый	элемент	разбиения £ содержится.в одно­
значно	определенном	элементе	разбиения | (modO). Таким об­
разом,	если £ < £, то после осуществления испытания, отвечаю­

щего разбиению £, не должно оставаться никакой неопределен­ ности относительно исхода испытания, отвечающего разбие­ нию £.

Теорема 2.7. Пусть £ — счетное измеримое разбиение, а £ — произвольное измеримое разбиение пространства Лебега (Q, Р). Тогда Я(£/£) = 0 тогда и только тогда, когда £ £ (modO), и /(£/£) = 0 тогда и только тогда, когда Н (£/£) = 0.

Доказательство. Пусть £«^£.	Для всякого элемента А раз­
биения | выполнено равенство	(•, А) = Е^ (1д), но, поскольку

	2.5. Свойства энтропии				95
А является ^-множеством,			функция \А ^-измерима и тем		са­
мым Рс (<о, А) — 1А(со) п. в.			Таким образом, п. в.
/ (I/O (© )= = -			£	1л (со) log1А (со) = 0.
Поскольку
	Я (|/|) - $ P (< to )/(!/»(«),
			И
получаем отсюда,	что Я (I/O =			0.
Пусть теперь	Я (I/O =	0. По формуле (2.9)
$ Р (da) j - £		Р; (со, Л) log Рс (со, Л)J = 0,

откуда в силу неотрицательности подынтегрального выражения следует, что п. в.

Рс (со, Л) log Рс (со, Л) = 0.
Зафиксируем некоторый элемент Л разбиения |. Тогда	функ­
ция Р1 (со, Л) принимает почти всюду только значения	ноль

или единица, а поскольку эта функция |''-измерима, то сущест­

вует множество Р е | л, такое, что Рс (со, Л)=1^(оо) п. в. Но для любого множества Е е | л

Р (Л П £) = J Р (dco) РС-(со, Л) = Р (£ П Л . '

в

Используя в этой формуле вместо Е множество F и его допол­ нение FC= Q — F, получаем, что Р (Л f) F) — Р (F) и Р(ЛПРС)==

=0.^Таким образом, Р ( Л А Р ) = 0 и F — A Р-п. в.,		т. е.	А б
(Напомним, что	обозначает совокупность	всех	мно­

жеств, отличающихся от измеримых 1-множеств на множество

меры нуль.)			Тем самым мы доказали, что 1"“ cz		и,	следова­
тельно, 1=^1 (modO).				функция		неотрица­
Наконец,			поскольку информационная
тельна, из формулы (2.8) видно, что если Я (|/|) =					0, то и / (|/|) =
= 0 почти всюду.
Лемма		2.8. Пусть {**} и {yt}, t = l , 2,		... — такие последо­
вательности			неотрицательных вещественных чисел,			что 1 =
= Z	^	Z	Ус- Тогда
2.8.1.		YiiXt \ogx{yj-l > 0 .
2.8.2.		YaiXt l o g x ^ 1 = 0 тогда и только тогда, когда х{ = у
для	всех i.

96	Гл. 2. Энтропия и информация

Доказательство. Заметим, что log/ ^ / — 1 для всех t> О, причем равенство достигается только при / = 1 . Полагая t =

— Hix7l>получаем отсюда, что

t o g i - i t - i - P ,

для некоторого Рг ^

0,

причем

Pt — 0 тогда и только

тогда,

когда Х{ =

yt. Следовательно,

Z х, i°g

Z *

-

Z у* + Z XiPt>

I

1

i

i

i

Поскольку

£ * * > £ * / < ,

отсюда

вытекает

утверждение'2.8.1.

Кроме того,

правая

часть полученного

равенства

обращается

в нуль только в том

случае, когда

Рг =

О

для

всех t,

откуда

следует утверждение

2.8.2.

Теорема 2.9. Пусть £ — счетное измеримое

разбиение,

такое,

что # ( | ) < о о , а £ —произвольное

измеримое

разбиение одного

и того же

пространства Лебега. Тогда Н (£/£) =

Н (£)

тогда и

тоАько тогда,

когда разбиения £ и £ независимы.

!

I

что разбиения |

и £ незави­

Доказательство. Предположим,

симы. Тогда,

если

А — некоторый

элемент

разбиения

|,

то

Р5 (со, Л) =

.Р(Л) P-почти

всюду1и

равенство

#(£/£) =

# (!)

не­

медленно следует из формул (2.9) и (2.6).

формулу

(2.8),

по­

Пусть теперь Я (|/£) =

Я (£). Используя

лучаем

$ р| (dm)

1 ^ (<о>log рС (ю> Л)] =

Sр (da) {

- Z 1*

log Р

и

J Р (dm)

1А (<о) log Рс (со, А) Р (Л)"1J =

0.

Поскольку функция logP^co, Л)Р(Л)

1 является

£~-измеримой,

из теоремы 1.19 и формулы (1.16)

вытекает,

что

$ Р (dm)

Рс (со, A) log Ps (со, А) Р (Л)"1J =

0.

I

В силу леммы 2.8 подынтегральное выражение почти всюду

неотрицательно,	поэтому
£	Рс (со, A) log Рс (со, А) Р (Л)-1 = 0

А&1

	2.5. Свойства энтропии			97
Р*п. в. Еще раз применяя лемму 2.8, получим, что
	Р1(а, Л) = Р(Л)
Р-п. в. для каждого	элемента	/1 разбиения	имеющего	поло­
жительную меру, откуда и следует утверждение теоремы.
Следствие 2.10.	Пусть |	и т\ — счетные	разбиения,	такие,

что Н (|) < оо и Н (т)) < оо, тогда Н (£ V л) — Я (5) + Я (т)) в том. и только том случае, когда £ и л независимы.

Доказательство. Используйте формулу (2.19).

Третье свойство устанавливает, как влияет на условную энтропию изменение разбиения, задающего условие, на более крупное или более мелкое. Пусть £i < £2> а £ — некоторое ко­ нечное разбиение. Величина Н (£/£,) измеряет неопределенность относительно исхода испытания, отвечающего разбиению £, при известном исходе испытания, отвечающего разбиению £*. По­ скольку элементы разбиения однозначно определяются эле­ ментами разбиения £г» знание исхода испытания, отвечающего разбиению %2, дает больше «информации», чем знание исхода испытания, отвечающего разбиению £ь и, следовательно, в пер­ вом случае неопределенность относительно исхода испытания, отвечающего разбиению £, должна быть меньше.

Теорема		2.11. Пусть £, £t, £2.— измеримые разбиения одного
и того же		пространства Лебега, такие, что £ счетно и £t ^				£2.
Тогда Н Ш > Н ( Ш
Доказательство.				Положим Л ( / ) = — flog/.	Используя	вы­
пуклость функции				— Л, теорему 1.18 и теорему 1.20, получаем
я (£/£,) =	Е {—			(®, A) log Ptl (со, Л)} = Е { S Л (£ Cl (1Л))}=
=	Е		Л (£;‘ (Е1г(1д)))} > Е { I Е1'{Л (£с*(1„))}} =
=	Е { -		£ Р;’ (со, A) log Р1г(со, Л)} = Я Ш		-

Следствие 2.12. Если %и ц — счетные измеримые разбиения, а £ — произвольное измеримое разбиение одного и того же про­ странства Лебега, то

Я (л/£)<Я (т|),

Я(£ У 11/£)<Я (Ш + Я (т1/£).

Доказательство. Первое. неравенство следует из формулы (2.16) и теоремы 2.11, поскольку v<J£ для любого разбиения £. Второе неравенство аналогично следует из формулы (2.17).7

7 Зак. 882

98 ■Гл. 2. Энтропия и информация

В теории информации используется и другое выражение, со­ держащее условную энтропию и характеризующее информацию об испытании, отвечающем разбиению %, содержащуюся в зна­ нии исхода испытания, отвечающего разбиению т). В книге Ости и Гуда [107] эта величина называется взаимной информацией разбиений g и л друг относительно друга и обозначается через /(I; л). Напомним, что мерой неопределенности относительно исхода испытания, отвечающего разбиению |, является Я (|); если же нам известен исход испытания, отвечающего разбиению т), то мерой этой неопределенности является условная энтропия Я (|/л ). Таким образом, разность Я (£)— Я (|/л) служит мерой неопределенности, устраняемой знанием исхода испытания, от­

вечающего разбиению TJ. Итак,

для счетных разбиений £ и л

с конечной энтропией величина /(£; л)

определяется формулой

/ (I; Т)) =

Я (|) — Я (!/т)).

(2.24)

Воспользовавшись формулой

(2.19), можно записать

/ (£; т,) = Я ф

+ Я (л) -

Я (| V Л),

(2.25)

откуда видно, что

/ (|; Л) — /(л;'£). Из следствия 2.12 вытекает,

что

I (£; л) ^

0. а

из i следствия

2.10 — что

I (1; л) — 0

тогда

и

только тогда, когда разбиения |

и л независимы.

и инфор­

В заключение

покажем, как ведут себя энтропия

мация при

метрических эндоморфизмах.

Теорема

2.13. Пу^ть (Q, STt Р, Т) — динамическая система, а

$ — счетное

измеримое разбиение пространства Q, £ — произво­

льное измеримое разбиение пространства Q. Тогда

I (T -'l/T -'s) = I Ш ) ° Т

п. в.,

(2.26)

Я (т-|£/т-1£) = я (Ш .

Доказательство.

Сохранение

меры

Р

преобразованием

Т

означает, что РТ- | = Р , где

через РТ-1

обозначается

мера

на

9", значение которой на множестве

Е е

есть Р (Т-1 (£)).

Используя

замену переменной,

получаем, что

$

Р (da>) (Р£ (•, С) о Т (со)) =

J Р (da>) Рс (©, С)

Т ~ 1А

А

для

любых

С е Г

и

Из

определения мер

Р£ (©, С)

следует, что

$

Р(Ао)(Рс(-,С)°Т(©)) =

Р(ЛЛС),

2.6. Энтропия произвольных измеримых разбиений

99

а из определения мер Рт (ю, Т *С) — что

\ Р {da) РТ~Ч (<о, Т- ,С) — Р {А П С). Т“1Л

Поскольку функции Р^(-, С)°Т и РТ-1Ч -. Т_1С) обе являются-

Т_1£~-измеримыми, они должны совпадать почти всюду. Фор­ мулы (2.26) и (2.27) вытекают теперь из определений услов­ ных энтропии и информации.

2.6. ЭНТРОПИЯ ПРОИЗВОЛЬНЫХ ИЗМЕРИМЫХ РАЗБИЕНИИ И ТЕОРЕМЫ О ПРЕДЕЛЬНОМ ПЕРЕХОДЕ

Пока что мы определили только энтропию разбиений, отве­ чающих испытаниям со счетным числом исходов. Полезно рас­ пространить определения энтропии и условной энтропии на про­ извольные измеримые разбиения. Это особенно важно для полу­ чения теорем о предельном переходе, поскольку во многих интересных случаях возникают последовательности {|„} конеч­ ных разбиений, для которых предельное разбиение несчетно.

В этом разделе мы расширим наши определения и докажем теорему Рохлина, которая позволит установить, что и для рас­ ширенного определения энтропии выполняется большинство свойств из предыдущего раздела. Кроме того, будут доказаны основные теоремы о предельном переходе для информации счет­ ных разбиений и энтропии произвольных разбиений.

Определение 2.14. Энтропией измеримого разбиения | про­ странства Лебега (Q, Р) называется величина Я (|), опре­ деленная соотношением

-	I Р (С) log Р (С), если £ счетно,
#(£) =	С <= £
ОО	в противном случае.

Условная энтропия #(£/£) разбиения £ относительно изме­ римого разбиения £ определяется формулой

Н(№ ) = \ Pt (dD)H(tDD).

Здесь Я (5П Щ обозначает энтропию измеримого разбиения I П D = {СП D: С е 5} пространства Лебега {D, ЗГ ф), Pfo, .>), кото­

рая является ЗГ^-измеримой неотрицательной	функцией,	опре­
деленной почти всюду на пространстве (Qt,	Pt) ‘).
*) Если. mn(C) — вес л-го по величине атома условной меры		на эле­

менте С некоторого измеримого разбиения пространства Лебега, то функции тп на соответствующем факторпространстве измеримы (см. доказательство теоремы 2.15 и примечание на стр. 48). Отсюда легко получить, что энтропии разбиений £ (] D зависят от D измеримо. — Прим, перев.

100	Гл. 2. Энтропия и информация
Нетрудно	видеть,	что определенные так функции Н (•) и
#(•/£) на множестве всех измеримых разбиений			пространства
(Q, $Г, Р) действительно являются расширениями			аналогичных
функций, введенных в разд. 2.2 и 2.4.			конечна, то
Заметим,	что если	условная энтропия Я (|/£)
значения функции H(t(]D) конечны для Рс-почти всех £>е£,

т. е. разбиение ! П D является (Pc-mod 0) счетным для Рс-почти всех Z )e£.

Следует здесь отметить, что’ если I и $ — счетные			измери­
мые разбиения, то из формулы 2.17		и теоремы 2.7	следует,
что: Я (1 V л/л)== Я (1/т|). Это утверждение справедливо и для
произвольных измеримых	разбиений |	и rj, поскольку (1 V л) П
П Ь = |Л D Для Рч-почти	всех D e t|.

Следующая теорема является основным техническим сред­ ством для перенесения доказанных ранее результатов на энтро­ пию произвольных измеримых разбиений. Приводимое нами доказ ательство заимствовано у Перри [116].

[Теорема 2.15. (основная теорема Рохлина о сечениях).

Пусть		а и р — измеримые	разбиения		пространства	Лебега (Q,
, Р),		причем для Рр-почти всех		элементов B e р разбиение
«П В	пространства (В, (В), Р*) счетно (modO). Тогда сущест­
вует	счетное измеримое		разбиение	у	пространства	(Q, $Г, Р),
тате, что			Y V Р	(P-mod 0).
		а V Р =

Если Я(а/Р) < оо, то разбиение у может быть выбрано так, что

Я(у) < оо, а если Я (а/Р) < 1 ,				то у может	быть выбрано так,
чтобы выполнялось		неравенство Я (у) < 6 д/Я (а/Р).
Доказательство.		Поскольку		разбиение а	может быть заме­
нено на а V Р,	без потери общности можно				предполагать, что
« ^ р. Кроме	того,	заменяя	пространство		Q на факторпрост-
ранство £20, можно		считать,	что, а = е. В этих предположениях
мы должны построить счетное разбиение у,					такое, что у V Р =
= 81	теоремы и сделанных предположений следует,
Из условия

что ;Рр-почти все элементы В разбиения р состоят из счетного числа атомов положительной меры и некоторого множества Р*1(,-| й)-меры нуль ‘). Пусть

В = {5|, В„	... ,	Вь,	...} U В0,
где Рр В /|6 ) > Р р(В/+,|& )> 0	для	7 = 1 , 2, .. . и РР(В0|6) = 0.

') Здесь через	Ъ обозначается точка факторпространства Qp, отвечаю
шая [элементу B e	р. — Прим, перев.

	2.6. Энтропия произвольных измеримых разбиений			101
Рохлин	[122] доказал, что для каждого		В е р можно	выб­
рать один	из атомов максимальной	меры	(будем считать,	что
это В\), так чтобы множество Ci =		UBepBi было ^-измеримо.

Множество Ci называется максимальным измеримым сечением

разбиения р. Если

заменить

пространство й

на

Q — Сь

то

множество

С2 =

1)верВ2

будет

максимальным

измеримым

сечением

разбиения Pf|(& — Ct).

Продолжая

таким

образом,

получим

последовательность

попарно непересекающихся ^ -и з ­

меримых

множеств

Сь Сг, .... Сп, .... где Сп = \)веф п-

По­

ложим у = {Ci, С2, .. . .

С„, .

.

Тогда

Q

\

во

оо

С*) =

Х

Р(С*)==Е

S Рц(с1Ь)Р*(Ск\Ь) =

1 '

ft-i

fc-I OJJ

00

=

$ P p (d & )£ p p(Bki& )= i,

*-i

и у является (modO) таким

разбиением,

что y V P =

e (modO).

Покажем

теперь, что

из

конечности

//(а/Р)

следует конеч­

ность Я (у).

Пусть

Я (а/Р) =

б2< оо .

Тогда Я (у/Р) =

б2, • поско­

льку у V Р =

Р V а.

и положим

L — { k \ k ^ 2, P(Ck) ^ k ~ s}

Зафиксируем

s > 2

и K = {k: 6 > 2 ,

P(Ck)< k~%

Тогда

Я (у) = -

Р (С,) log Р (Ci) - Е

Р (Ск) log Р (Ск) -

- £ P (C * )lo g P (C k).

(2.28)

к

Оценим теперь по отдельности каждое из трех слагаемых в пра­ вой части этого равенства.

Поскольку Рр-почти всюду Рр (С/1Ъ) = Рр (В/1 b) ^ РР (B/+i | Ь)=

= Pe (С/+1 1В), то Pp(Ci |6 ) > Р Р(С*|&) Рр-п. в. Применяя нера­ венство Иенсена к выпуклой функции—log, получим

б2 =	\	Рр(db) Г	- £ р Р (С *| Ь) logPp (Ск\6 ) ] >
	ар	L	/-1	J
>	$	Bp (db)	log р р (С, | Ь) £	Рр (В, 1ft)j =
	Qp		/-1
=	5	Рр (Л) [ -	log РР (С, |6 ) ] > - log Р (С,),