книги / Математическая теория энтропии

152			Гл. 2. Энтропия и информация
для	всех i = l ,	2,	I. Тогда е, r -энтропия		пространства
(£2$w,	Pjw),	обозначаемая		через tfe,r(£w)»	определяется
формулой			^
	Не, г(£") =		inf | — S	(Л (0) log PEv (Л (0)},

где инфимум берется по всем (£, N, г)-разбиениям л простран­ ства QEW, таким, что ЯЕИи<л(0)*^ 1 — е- Поскольку разбиение £

конечно, этот инфимум всегда достигается.

r-энтропией преобразования Т относительно разбиения 1 называется величина

К (Т, I) = sup lim sup -±- Яе,r (£").

		в > 0 N-Юо		N
г-энтропия обладает следующими свойствами:
R1.	К (Т, 0 <	h (Г, \).	i
R2.	hr (Т, £) = 0, если г!>1.
R3.	Аг(7\ £) — монотонно убывающая				функция г *).
R4.	Если	то Лг (Т, g tX M T ,			У .
R5.	А (Т) =sup {Лг(Т, £ ) : г >		0,	£ — конечное разбиение}.

Эти свойства доказаны в [39], где также доказана теорема Шеннона — Макмиллана для г-энтропии, являющаяся теоремой «второго порядка» по сравнению с обычной теоремой. При из­ менении метрики rf, участвующей в определении (g, N , ^-раз­ биений, возникает г-энтропия, с помощью которой можно по­ лучить аналогичную теорему Шеннона — Макмиллана для эргодических апериодических действий групп Rrt. Эта г-энтропия также используется при доказательстве теоремы об изомор­ физме для таких действий (аналог теоремы 4.39, в которой «бернуллиевость» заменена на «конечную определенность») ме­ тодами, близкими к применяемым в гл. 4 для метрических автоморфизмов.

1) И Пшг^ 0 /гг (Т. |) = Л(Т, |). — Прим, перев.

Глава 3

ТЕОРИЯ ИНФОРМАЦИИ

3.1. МОДЕЛЬ СИСТЕМЫ ПЕРЕДАЧИ ИНФОРМАЦИИ

Теория информации занимается построением математических моделей систем передачи информации и последующим анали­ зом таких моделей. Целью этого анализа является создание ^средств, позволяющих на одном конце канала передачи инфор­ мации (адресату) воспроизвести сообщение (или его достаточно хорошее приближение), полученное на другом конце (из источ­ ника) и переданное по каналу.

Поскольку судить об эффективности такой системы можно только в терминах количества информации, обрабатываемой системой, принципиальное значение для этой задачи имеет выбор меры количества информации, передаваемой по системе. В опре­ делении же количества информации основную роль играет использование понятия энтропии, основанное на приравнивании устраненной неопределенности к приращению количества инфор­ мации. Поскольку энтропия является численной мерой неопре­ деленности, эта интерпретация понятия количества информации ставит энтропию на центральное место. Названная концепция и возникающая на ее основе теория берут свое начало с фун­ даментальной работы К- Э. Шеннона «Математическая теория связи» [138], опубликованной в 1948 г.

В этой главе мы дадим описание стандартной модели сис­ темы передачи информации и покажем, каким образом понятие энтропии используется для измерения количества информации, обрабатываемой системой. Наше внимание будет сосредоточено на построении различных моделей, а также на определениях и теоремах, необходимых для понимания этих моделей.

На рис. 3.1 изображена структура стандартной системы передачи информации. Эта модель системы передачи информа­ ции (или системы связи) является довольно общей, так что охватывает большинство встречающихся систем, и в то же время она остается достаточно простой для исследования. Кодер и декодер часто подразделяют на кодер источника и кодер канала и декодер канала и декодер источника соответственно. Это позволяет конструировать кодирующие и декодирующие

154	Гл. 3. Теория информации
устройства,	относящиеся к каналу, почти независимо от соответ­

ствующих устройств, относящихся к источнику.

Под источником понимается человек или устройство, соз­ дающие информацию, подлежащую передаче. Кодер — это устройство, преобразующее сообщение на выходе источника к виду, пригодному для передачи по данному каналу. Если кодер разбит на кодер источника и кодер канала, то кодер источника осуществляет преобразование сообщений, поступивших из ис­ точника за некоторый промежуток времени, в другую последо­ вательность сообщений (обычно состоящих из двоичных символов),

Рис. 3.1.

которая затем уже кодируется кодером канала (как правило, взаимно однозначно) для передачи по каналу. Каналом называется физическая среда, связывающая источник с адресатом. Декодер преобразует сигнал, поступивший на выход канала, так, чтобы он мог быть использован адресатсм.

В этой схеме возникают два вида трудностей. Прежде всего передача сообщения по каналу может сопровождаться шумом, вследствие чего появятся ошибки. Декодер канала должен по сигналам, поступившим на выход канала за некоторый проме­ жуток времени, решить, какое именно сообщение было пере­ дано, и после преобразования отправить его в декодер источ­ ника, который приведет сообщение к удобному для адресата виду. Другая часто возникающая проблема связана с тем, что источник может создавать информацию со скоростью, превышающей про­ пускную способность канала. В этом случае кодер источника должен отбирать предназначенные для передачи по каналу сообщения с использованием некоторого критерия точности, учитывающего сравнительную важность возможных ошибок. Таким образом, кодер источника и декодер канала являются сложными устройствами, предназначенными для принятия ре­ шений по выбору одной возможности из нескольких, в то время как декодер источника и кодер канала обычно устроены довольно просто и выполняют только взаимно однозначные преобразования.

Не вполне очевидно, что введенное нами разделение сис­ темы связи на отдельные блоки не накладывает ограничений

3:2. Источник

155

на систему в целом. Одним из резулвтатов теории информации является то, что при достаточно . общих условиях возникающие

ограничения несущественны (Блесбург-.и Ван		БлеркоМ	[21]).= *
С задачей о передаче информации	по' каналу с шумом свя­
зана фундаментальная теорема теории	информаций,		согласно
которой при передаче информации по каналу		с шумом веро;

ятность ошибки может быть сделана сколь угодно малой, если скорость передачи меньше пропускной способности канала. По: нятие энтропии участвует в . определении скорости передачи информации, а тем самым и в определении пропускной спо­ собности канала. Хотя доказательство этой теоремы является неконструктивным (т. е. не содержит указания на конкретный способ кодирования), но в последние годы была проделана большая работа по построению эффективных кодов на её основе.

Обращение теоремы о кодировании для канала с шумом дает оценку снизу искажения, возникающего при передаче инфор­ мации по каналу со скоростью, превышающей его пропускную способность. Для того чтобы свести к минимуму последствия этого искажения, необходимо использовать устройство, которое бы от: бирало предназначенные для передачи сообщения в соответствии со степенью их важности для адресата. С этой целью с па­ рой «источник — адресат» связывается функциональная зави­ симость «скорость как функция искажения» (rate-distortion function), имеющая следующий смысл: система связи, которая передает информацию от источника к адресату со средним искажением, не превосходящим d, существует тогда й только тогда, когда пропускная способность канала, соединяющего источник с адресатом, больше значения этой функции в точке

d. Вслед за обсуждением теоремы о кодировании			для канала
с шумом мы кратко коснемся одного	способа		кодирования
для источника, возникшего под влиянием		работ Д. С. Орнс-
тейна по проблеме изоморфизма (см. гл.		4). Поскольку свой­
ства скорости как функции искажения,	включая теорему Шен­

нона о кодировании для источника, подробно рассмотрены у Макелиса [86] и не содержат новых применений энтропии, мы не будем затрагивать их здесь. О кодировании для источника речь будет идти только при рассказе о скользящих блоковых кодах в разд. 3.6.

3.2. ИСТОЧНИК

Дискретным источником называется случайная последова­ тельность элементов конечного множества S (алфавита источ­ ника), параметризованная множеством целых чисел Z. Прила: гательное «дискретный» отражает то обстоятельство, что

156			Гл. 3. Теория информации
алфавит источника			конечен *). В разд.	1.7 мы	видели,	что
случайная	последовательность элементов S может быть описана
как ; четверка		(2(S), s, ц, Т$), где 2 (S) — множество				всех
бесконечных в обе стороны последовательностей					элементов S,
а-алребра	s	порождена алгебр'бй цилиндрических множеств,
а р — вероятностная			мера, построенная	по совместным распре­

делениям случайной последовательности [т. е. (2(S), &"s> р )— пространство реализаций или траекторий случайной последо­ вательности] *2). Отображение Ts является преобразованием сдвига, и мера р, вообще говоря, не обязана быть Т$-инвари- антцой. (Мы будем опускать подстрочный индекс S, за исключенйем тех случаев, когда одновременно рассматривается сразу несколько систем.) Будем интерпретировать п-ю координату ©л

последовательности a e 2 ( S )			как символ, созданный источником
в мбмент времени п. Набор вида					(со*, ©*.ц, ...,		©*+/) назовем
«словом» источника длины /, а				саму		последовательность © =
= (.!.., ©_i, ©о, ©и ...) — сообщением						источника. При заданном
алфавите S пространство 2(S)				и преобразование Т				останутся
всегда	одними	и теми же,	в	то	время как		вероятностная
Mepji р	будет	меняться, представляя различные						источники
с алфавитом S.		Это позволяет		нам использовать для источника

обычное обозначение [2(S), р]. Разумеется, то, что сейчас было описано, — это модель лищь выходной последовательности источника; нас не интересует конкретный механизм, создающий эту [последовательность. С такой точки зрения примеры 1.3 и 1.5,| а также примеры из разд. 1.7 можно рассматривать как примеры дискретных источников. Классификация дискретных иЪточников основывается на связанных с ними преобразованиях

сдвига.	Источник [2(S), р] называется стационарным,	если
(2(S),	s, р, Ts) — динамическая система, т. е. p T s ^ p и	Ts —

метрический автоморфизм. (Это означает, что создаваемая источником случайная последовательность стационарна.) В нашик терминах стационарный источник—это такой, для которого вероятность получения любого слова длины / за промежуток времени от 0 до / совпадает с вероятностью получения этого же jслова за промежуток времени от k до k + 1для всех k е Z (см] разд. 1.7). В этой главе мы рассматриваем только стацио­ нарные источники. Таким образом, названное условие стано­ вится для нас частью определения источника.

') А также и то, что создаваемые источником сообщения дискретны по времени. — Прим, перев.

2)является борелевской а-алгеброй пространства 2 (S) с естествен­

ной |(тихоновской) топологией. Для того чтобы пространство 2 (S) с борелевс;кой мерой ц было пространством Лебега, необходимо еще пополнить а-аЛгебру £FS по мере ц (при этом пополнения по неэквивалентным мерам

различны). — Прим. перев.

3.2. Источник

157

Для удобства использования определений и теорем из пре­ дыдущих глав обозначим через 5s начальное разбиение прост­ ранства 2(S). Элементами этого разбиения являются множества

вида { © e2 (S ): ©о = s) = (©<> = s),		где s e S . Тем	самым слово
источника	(©*, ю*+ 1........ Щ+п) — это	не что иное,	как элемент
разбиения	V**£T-/| S. (Напомним, что факторпространство по

разбиению Is изоморфно алфавиту S источника с соответст­ вующим распределением.) Используя разбиение Is, определим энтропию источника как среднюю скорость," с которой источник создает информацию. В гл. 2 отмечалось, что Я (|$) — это среднее количество информации, возникающей при осущест­ влении испытания Is, т. е. в нашей ситуации это среднее количество информации, создаваемой источником в начальный

момент времени. Аналогично Я (V"~d T-/is) — это среднее ко­ личество информации, создаваемой источником за промежуток

времени	от 0 до	п — 1. Таким		образом,	если	считать,	что
источник	создает		один символ	за единицу		времени,	то
(\/п) Н (y 'lZ o ^ ^ s ) ~			это среднее количество		информации,		соз­
даваемой	за единицу времени в			течение	этого	промежутка.

Естественно определить энтропию источника [2 (S), р] как среднее

количество информации, создаваемой им за

единицу

времени,

т. е. как Нп1п^,0<>(1/л)Я (У /1о^- %)* Мы

виДели

в

гл. 2,

что

этот предел всегда

существует,

и

обозначали

его

там через

А(Т, Is). Поскольку

разбиение

| s

является

образующим

для

сдвига

Т,

из теоремы

2.39 следует,

что

А(Т, ls) =

A(T).

Тем

самым

мы определили

энтропию источника [2 (S), р] как энтро­

пию отвечающего ему преобразования сдвига А(Т).

Говорят, что [2 (S), р] — источник без памяти, если семейство

разбиений

{T'|s : i е

Z}

пространства 2 (S)

является

незави­

симым,

т.

е. если (Т,

| s) — бернуллиевский случайный процесс.

Энтропия

источника

без

памяти

составляет

просто

Я (| s) (см.

пример

2.40). Источник называется марковским,

если

случай­

ный процесс (Т, Is) марковский (см. разд. 2.12.10).

Источник [2(S), р] называется эргодическим, если преобра­

зование

Т эргодично. Напомним, что автоморфизм Т эргодичен,

если у него нет нетривиальных инвариантных множеств. Заме­ тим, что это свойство сохраняется при изоморфизмах, так что

если	источник	[2 (S), р]	эргодичен, то и	всякий	изоморфный
ему	источник	[2 (F), р']	также эргодичен.
Другим свойством, сходным с эргодичностью, является бер-
нуллиевость. Динамическая система (Q,				Р, Т)	(и автомор­

физм Т) называются бернуллиевскими, если эта система изоморфна сдвигу Бернулли (см. разд. 2.12.9). Источник [2(S), р] называется бернуллиевским, если Ts — автоморфизм Бернулли.

158	Гл. 3. Теория информации
Таким образом,	бернуллиевская система — это любая динами­

ческая система, которая изоморфна сдвигу в пространстве реализаций некоторой бесконечной в обе стороны последоваг тельности независимых одинаково распределенных случайных величин. Важно подчеркнуть разницу между понятиями отсут­ ствия памяти или марковости источника, с одной стороны, и бернуллиевости или эргодичности — с другой. Первые —это свойства преобразования и разбиения, т. е. случайного про: цесса (Т, | s), в то время как вторые — это свойства только преобразования. Например, всякий источник без памяти (или

перемешивающий	марковский) является бернуллневским, но
из бернуллиевости	источника вовсе не следует, что (Т, %s) —

бернуллиевский процесс. (Подробнее см. гл. 4.)

3.3. КОДИРОВАНИЕ

На выходе дискретного источника возникает последователь­ ность символов конечного алфавита, распределенных в соот­ ветствии с вероятностной мерой, задающей источник. Для того чтобы передать эту последовательность по некоторому каналу, как правило, необходимо закодировать ее символами уже дру^ того алфавита. Хотелось бы сделать это так, чтобы сообщение

после передачи		могло быть восстановлено хотя бы с достаточно
большой	вероятностью. Если А — алфавит,					символы	которого
используются для кодирования источника [2(S), р],							то	прост­
ранство	(2 (Л),	А) будем называть пространством воспроизве­
дения (здесь SFа есть а-алгебра,				порожденная			алгеброй
цилиндрических		множеств	в 2 (Л)). Кодом		называется		правило,
сопоставляющее		последовательностям		из	2 (S) последователь­
ности из 2 (Л). Точнее, код — это измеримая						функция		из 2(S)
в 2 (Л).	Мы ограничим		множество	рассматриваемых				кодов,

наложив условия на кодирующие функции. Обычно будет предполагаться, что кодирование не зависит от времени, т. е.

стационарно. Это означает,					что если <р — кодирующая функция
из 2 (S) в 2		(Л),	то <роТ5 =		Т,4 0ф. Будем		говорить,			что	код ф:
2 (S)	2 (Л)	обратим, относительно меры					р,	если		существует
подмножество			2'	пространства		2(S),	такое,		что	2 'e i F s,
р (2 ')= 1 , ф ( 2 ') ^ ^ 'а и функция ф взаимно								однозначна			на 2'.
Иными словами,				любое сообщение		источника,			которое		лежит
в 2',	может быть однозначно восстановлено. В терминах опре­

деления 2.35 обратимость кода ф относительно меры р равно­

сильна	изоморфизму динамических	систем (2(S), ЗГs, р, Ts)
и (2 (Л),	рф-1, ТА). Таким образом,	теоремы об изоморфизме

динамических систем могут быть переформулированы как теоремы о существовании кодов. В частности, энтропия — это

ЗА, Канал

159

метрический инвариант динамических систем (следствие 2.38). Следовательно, если [2(S), р] — источник с энтропией А, прост­ ранство воспроизведения 2 (А) построено по алфавиту Л, состо­ ящему из п символов, а <р — обратимый (относительно меры р) код из 2(S) в 2 (Л), то энтропия A^-i динамической системы

(2 (Л), £ГА, рф-1, Тл) должна			равняться А.		Но,	согласно тео­
реме 2.51,	A fT ^ ^ lo g /t для		любой стационарной			мерыв2(Л).
Тем самым	необходимым условием существования обратимого
кода из [2(S), р]		в 2(Л) является		неравенство		A(Ts)^ lo g n .
В гл. 4 мы покажем, что энтропия — это полный						метрический
инвариант	для	сдвигов Бернулли.		Если	[2(S), р] — бернул-

лиевский источник с энтропией A ^logra, то существует инва­ риантная относительно сдвига Тл мера v на 2 (Л), такая, что ди­ намическая система (2 (Л), 9"А, V, Ти) бернуллиевская и h(TA)= h . Следовательно, сдвиги Т$ и ТА с мерами р и v соответственно изоморфны. Таким образом, если [2 (5), р] — бернуллиевский

источник,	то обратимый код из 2 (S) в 2 (Л) существует тогда
и только	тогда, когда энтропия [2 (S), р] не превосходит log п.

Биллингсли [20] был одним из первых, кто заметил связь между проблемой изоморфизма для сдвигов Бернулли и задачей о кодировании (для источника без шума) ').

Коды, обсуждавшиеся нами до этого момента (т. е. приво­ дящие к изоморфизму соответствующих -динамических систем), лишены практического или инженерного значения. Дело в том, что, прежде чем можно будет что-нибудь сказать о ф (со), необ­

ходимо	полностью	знать последовательность со е	2 (S) — как
все ее будущее, так		и все ее прошлое. Поэтому	при доказа­
тельстве	различных теорем о кодировании важно ограничивать

класс рассматриваемых кодов. Мы вернемся к этой проблеме в контексте соответствующих теорем.

3.4. КАНАЛ

Канал — это устройство, которое преобразует входные сиг­ налы одного вида, полученные из источника, в предназначенные для адресата выходные сигналы другого вида. Канал задается множествами возможных входных и выходных сообщений вместе с условными вероятностными распределениями на множестве

выходных		сообщений. Канал называется дискретным, если его
входной и выходной			алфавиты конечны. Обозначим		их через
А	и 5	соответственно. Для		каждого входного	сообщения
и е	2 (4)	на множестве выходных сообщений 2(5) задана
вероятностная мера			5 (со, •).	Если с о е 2 (Л) и C e J s, то

‘) Сразу же после введения Колмогоровым понятия энтропии (т. е. за­ долго до работы [20]) эта связь стала объектом изучения в работах Мешалкина [1959], Синая [1963а] и многих других. — Прим. ред.

160			Гл. 3. Теория информации
Р (со, С) — это вероятность того,						что	выходное сообщение лежит
в С при	условии,		что	входным		сообщением				было со. Будем
предполагать, что для каждого C						e f { функция Р (•, С) : 2 M)-*-R
является ^"д-измеримой. Обозначаться								канал будет как [2 (Л),
Р (со, •), 2(B)]. Заметим, что если для								каждой		последователь­
ности со е		2 (Л) существует последовательность ti е									2 (В), такая,
чтб Р(со, {TJ})— 1,			то возникающий при этом канал — это просто
обратимый		код из 2 (Л) в 2(B). Мы всегда будем предполагать,
что канал		[2 (Л), В (со,		•), 2(B)] стационарен, т. е. Р (Тлсо, ТВС) =
= Р(со, С) для всех с о е 2 (Л)					и С		е в.		мы	в	дальнейшем
Д ля	упрощения наших				рассуждений
ограничимся рассмотрением только							одного		класса		каналов —

так называемых каналов без памяти. Говорят, что дискретный карал является каналом без памяти, если его выходной символ в

любой момент времени зависит только от входного символа в

тот

же! момент времени. Если обозначить через | л и

начальные

разбиения

пространств

2 (Л) и 2(B)

соответственно,

то

отсут­

ствие памяти у канала равносильно

тому,

что для

всех

n e Z

и рсех множеств СеТв£ в функция Р(-,

С) является ГлЕл-изме-

ри)лой.

Таким

образом,

условные

вероятности

В (со, •)

для

кайала

без

памяти

с

входным

алфавитом

Л =

{1, 2, ... , п}

и рыходным

алфавитом В = {1,

2,

... , т}

определяются

мат­

рицей С размера т Х

п,

где

Сц — это

условная

вероятность

получения на выходе символа i при

входном

символе /.

Для

ка|кдой

последовательности

со =

(

.

/

0, ]\,

. . . ) е 2 ( Л )

мера Р(со,

•) определяется

соотношением

о

Р (со, {© €= 2 (В) : щ = ik, р <

k <

q}) — пCikik.

k=p

Если

ввести

вероятностную

меру р на входном пространстве

канала

2 (Л), то [2 (Л), р]

станет источником. Используя

прост­

ранство

с

мерой

(2 (Л), !FА, р)

и

измеримое

пространство

(2 (B), Г в) вместе с вероятностными мерами {Р (со, •): со е

2 (Л)},

мбжно

по

теореме

1.15

получить

меру

р

на

пространстве

(2(Л)Х2(В),

Р'а Х & ' в)- Эта

мера

р

позволяет

определить

мфу q

на

пространстве (2(B),

в) как р-меру множеств

вида

2(Л)ХС Для

Иными ;словами,

q(C) — p (2 (Л) X С)

для

С е У 8.

Э^а мера называется маргинальным распределением. Для

случая	канала	без	памяти
р ({со	: со* = jk,	р <	k < q} X {Л ^Л* =	Р < k < q}) —

			ЗА.	Канал	161
<7({л: л* = **»	р < &< ?}) =
=	Е	Я	Cikik\i ({©: в* = /*, р < k < ?}).
		П
(/р. •••. /?)		*-р
Если и источник	[2 (Л),	ц],	и	канал [2 (Л), Я(©, •), 2(B)]	ста­

ционарны, то прямое вычисление показывает, что меры р и q

сохраняются сдвигами Тлхв и Тв соответственно.

Это

позво­

ляет использовать

результаты,

относящиеся

к

энтропиям

каждого из трех сдвигов:

Т А,

Тдх в

и

Тв. В

разд.

3.2 мы

определили

энтропийную

скорость

источника

[2 (Л), ц]

как

А(Тл),

поскольку

разбиение 1Л — образующее,

и тем

самым

А(ТА)

совпадает

с

«интуитивно

правильной»

величиной

lim ^c. (1/л) Я ( у Д т ; ^ ) .

Мы

аналогичным

образом

опре­

делим

скорость,

с

которой

канал

без

памяти

[2 (Л), Я (а, •),

2 [В)] обрабатывает информацию,

поступающую

из

источника

[2 (Л),

ц].

разбиение

пространства 2 (Л), то раз­

Если 1д — начальное

биение

!д X 2 (В)

пространства

2 (Л) X 2 (В)

обладает

тем

свойством,

что процессы (Тл, £д)

и

(Тлхв. 1лХ2(В))

эквива­

лентны. Поэтому мы будем использовать менее громоздкое обозначение (Тл, 1Л) для процесса (Тлхв, 1л X 2 (В)), равно как и обозначение (Тв, 1в) для процесса (Тлхв, 2(Л)Х£в)-

В разд. 2.5 мы определили взаимную информацию между двумя разбиениями 1 и ц как 7(|; т)) = Я (1) — Я (£Jr\) и заме­ тили, что это есть среднее количество информации о разбиении 1, содержащейся в знании элемента разбиения rj. Это сообра­ жение можно использовать и для измерения скорости обра­ ботки информации каналом. Как и раньше, положим !<{*>=

— V /IQ и 1{B = Y I : ^ B% Для каждого положительного целого га. Таким образом, /(1<^>; l^ ) — это среднее количество информации об источнике, содержащейся в выходных символах

канала за промежуток времени от		0	до	га — 1.	Поскольку
1	6 Р ) -Я (# » )-Я (!й » д е » ). это	есть		среднее	количество
информации, созданной источником		за	время от		0 до га— 1,

минус средняя неопределенность об источнике, оставшаяся после получения выходных сигналов канала за этот проме­ жуток времени. Делением этой величины на я придем к сред­ ней скорости, с которой информация об источнике обрабаты­ вается каналом за соответствующий промежуток времени. Итак, определим скорость передачи информации по каналу [2 (Л), Я (а, •), 2(B)] для источника [2 (Л), ц] как

1