книги / Теория информации
..pdfмехи на полезный сигнал проявляется в непредсказуемых искажениях его формы. Математическая модель помехи представляется также в виде случайного процесса, характеризующегося параметрами, опре деленными на основе экспериментального исследования. Вероятност ные свойства помехи, как правило, отличны от свойств полезного сиг нала, что и лежит в основе методов их разделения.
Учитывая, что все фундаментальные выводы теории информации базируются на указанном статистическом подходе при описании сиг налов (и помех), уточним основные характеристики случайного про цесса как модели сигнала.
Под случайньш (стохастическим) процессом подразумевают та кую случайную функцию времени U (/), значения которой в каждый момент времени случайны. Конкретный вид случайного процесса, зарегистрированный в определенном опыте, называют реализаци ей случайного процесса. Точно предсказать, какой будет реализация в очередном опыте, принципиально невозможно. Могут быть опреде лены лишь статистические данные, характеризующие все множество возможных реализаций, называемое ансамблем. Ценность таких мо делей сигналов в том, что появляется возможность судить о поведении информационной системы не по отношению к конкретной реализации, а по отношению ко всему ансамблю возможных реализаций.
Основными признаками, по которым классифицируются случай ные процессы, являются: пространство состояний, временной пара метр и статистические зависимости между случайными величинами U (f) в разные моменты времени
Пространством состояний называют множество возможных зна чений случайной величины U (t.). Случайный процесс, у которого множество состояний составляет континуум, а изменения состояний возможны в любые моменты времени, называют непрерывным слу чайным процессом. Если же изменения состояний допускаются лишь в конечном или счетном числе моментов времени, то говорят о непре рывной случайной последовательности.
Случайный процесс с конечным множеством состояний, кото рые могут изменяться в произвольные моменты времени, называют дискретным случайным процессом. Если же изменения состояний возможны только в конечном или счетном числе моментов време ни, то говорят о дискретных случайных последовательностях.
Так как в современных информационных системах предпочтение отдается цифровым методам передачи и преобразования информа ции, то непрерывные сигналы с датчиков, как правило, преобразуются в дискретные, описываемые дискретными случайными последова тельностями. Вопросы такого преобразования рассмотрены в гл. 4
Среди случайных процессов с дискрегным множеством состояний нас будут интересовать такие, у которых статистические зависимости распро страняются на ограниченное число к следующих друг за другом значений. Они называются обобщенными марковскими процессами к-го порядка.
В ряде практически важных задач случайный процесс наряду с веро ятностным описанием можно описать совокупностью неслучайных чис ловых характеристик, постоянных или меняющихся во времени. От этих характеристик требуется, чтобы в условиях конкретно поставленной зада чи они отражали самое существенное случайного процесса. Вероятнос тными характеристиками совокупности большого числа реализаций (ан самбля реализаций) являются законы распределения, которые могут быть получены теоретически или на основе экспериментальных данных.
Законы распределения являются достаточно полными характе ристиками случайного процесса. Однако они сложны и требуют для своего определения обработки большого экспериментального матери ала. Кроме того, такое подробное описание процесса не всегда бывает нужным. Для решения многих практических задач достаточно знать более простые (хотя и менее полные) характеристики случайного про цесса. Такими характеристиками являются средние значения и функ ция корреляции случайного процесса.
Имеется несколько различных подходов к тому, как вводить вероятностную меру на множестве реализаций. Для инженерных приложений оказывается удобным определение случайного про цесса как такой функции времени х(/), значение которой в каждый данный момент является случайной величиной. Случайная вели чина полностью характеризуется распределением вероятностей, например плотностью P ^ x J/,); однако, чтобы охарактеризовать случайный процесс, нужно описать, связаны ли (и если да, то как) значения реализации, разделенные некоторыми интервалами времени. Так как связь только двух таких значений, описываемая распределением второго порядка Р 2(х,, х2|tv t7), может неполно ха рактеризовать процесс в целом, вводят распределения третьего,
четвертого, л-го порядков: Рп (*,, хп \ t{, tn). В конкретных задачах обычно ясно, до какого порядка следует доходить в описа ний процесса.
В ряде практически важных задач случайный процесс наряду с ве роятностным описанием можно описать совокупностью неслучайных числовых характеристик, постоянных или меняющихся во времени. От эти* характеристик требуется, чтобы в условиях конкретно поставлен ной задачи они отражали самое существенное случайного процесса.
Вероятностные характеристики случайного процесса. В соот ветствии с определением случайный процесс U (t) может быть описан системой N обычно зависимых случайных величин U. = U (t,) ,..., U. = U (/.), •••> UN= U (/w), взятых в различные моменты времени t1... t. ... При неограниченном увеличении числа N такая система эквивалентна рассмат риваемому случайному процессу U (/). Исчерпывающей характеристикой указанной системы является TV-мерная плотность вероятности pN(С/,,...
ТУ,..., tr ). Она позволяет вычислить вероятность PN реализации, значения которой в моменты времени l2,...,tHбудут находиться соответс твенно в интервалах (м,, м, +Ди|}, ..., (ирм.+Ды.),.... (и^ uN+AuN) , где и. (1< i <п) - значение, принимаемое случайной величиной Uf
Если Ди. выбраны достаточно малыми, то справедливо соотношение
p N ~Рп (“ р tN) Д « ,,..., Дм, ..., Дик Получение TV-мерной плотности вероятности на основе экспери
мента предполагает статистическую обработку реализаций, получен ных одновременно от большого числа идентичных источников данного случайного процесса. При больших N это является чрезвычайно трудо емким и дорогостоящим делом, а последующее использование резуль татов наталкивается на существенные математические трудности.
На практике в таком подробном описании нет необходимости. Обыч но ограничиваются одноили двумерной плотностью вероятности.
Одномерная плотность вероятности/?, (С/,; ?,) случайного процесса U(t) характеризует распределение одной случайной величины £/,, взятой в произвольный момент времени tv В ней не находит отражения зависи мость случайных величин в различные моменты времени.
Двумерная плотность вероятности р 2 = р 2 ({У,, U2; f,, /2) позво ляет определить вероятность совместной реализации любых двух значений случайных величин J7, и U2 в произвольные моменты времени f, и t2 и, следовательно, оценить динамику развития про
цесса. Одномерную плотность вероятности случайного процесса U(t) можно получить из двумерной плотности, воспользовавшись соотношением
J Pi(U\,U2',ti,t2)dU2 |
(3.26) |
-00 |
|
Использование плотности вероятности даже |
низших порядков |
в практических приложениях часто приводит к неоправданным услож нениям. В большинстве случаев оказывается достаточно знания про стейших характеристик случайного процесса, аналогичных числовым характеристикам случайных величин. Наиболее распространенными из них являются моментные функции первых двух порядков: матема тическое ожидание и дисперсия, а также корреляционная функция.
Математическим ожиданием случайного процесса U(t) на зывают неслучайную функцию времени mu(tj), которая при лю бом аргументе tt равна среднему значению случайной величины {/(/,) по всему множеству возможных реализаций:
|
«„('.) = М т О ) = ] UlPl(Ui',tl)dUl |
(3i27) |
Степень разброса случайных значений процесса £/(^) от своего сред |
||
него значения »»(/,) |
для каждого /, характеризуется дисперсией £>ц (/,): |
|
а |
д = М{[и(0-/»„(Л)]2} = Л/{[<7(/,)]2} |
(3.28) |
О
где U(tt) - /я (^) - центрированная случайная величина.
Дисперсия DK(^) в каждый момент времени |
равна квадрату |
среднеквадратического отклонения ом(/,): |
|
= |
(3.29) |
Случайные процессы могут иметь одинаковые математические ожидания и дисперсии, однако резко различаться по быстроте измене ний своих значений во времени.
Для оценки степени статистической зависимости мгновенных значений процесса U(t) в произвольные моменты времени /, и t2 ис пользуется неслучайная функция аргументов Ru (t] t2), называемая ав токорреляционной или просто корреляционной функцией.
При конкретных аргументах /, и t2 она равна корреляционному моменту значений процесса £/(*,) и U(Q:
W 2) = M[U(tl)U(t2)} |
|
(3.30) |
Через двумерную плотность вероятности |
выражение (3.30) |
|
представляется в виде |
|
|
= ] ] [ <>(г,)</(/,)!/>,(£/,, ,t2)dutdu. |
(3.31) |
|
|
|
|
В силу симметричности этой формулы относительно аргументов |
||
справедливо равенство |
|
|
а д / 2) = л(/2/,) |
|
(3.32) |
Для сравнения различных случайных процессов вместо корреля ционной функции удобно пользоваться нормированной функцией ав
токорреляции: |
|
|
|
|
|
_ |
Д>(Уг) |
|
(3.33) |
|
|
|
|
|
Из сравнения (1.69) и (1.70) следует, что при произвольном t - t2 |
||||
автокорреляционная функция вырождается в дисперсию: |
|
|||
К |
М |
= З Д |
) |
(3-34) |
а нормированная функция автокорреляции равна единице: |
||||
п |
_ |
Д Д У г) |
_ 1 |
|
Р" ' |
|
■ |
<3-35> |
Следовательно, дисперсию случайного процесса можно рассмат ривать как частное значение автокорреляционной функции.
Аналогично устанавливается мера связи между двумя случайны ми процессами U(t) и V(t). Она называется функцией взаимной корре
ляции: |
|
H„(tlt2) = M[U(tl)V(t2)] |
(3.36) |
3.4. Стационарные и эргодические случайные процессы
Случайные процессы различаются по степени однородности протека ния их во времени. В общем случае процесс может иметь определенную тенденцию развития и характеристики, зависящие от начала отсчета вре мени. Такие случайные процессы называются нестационарными.
Для описания сигнала математическая модель в виде нестацио нарного случайного процесса подходит наилучшим образом, но не конструктивна в силу своей чрезмерной сложности.
Поэтому очень часто вводят предположение о стационарности случайного процесса, что позволяет существенно упростить матема тический аппарат исследования. Случайный процесс называют стаци онарным в узком смысле, если выражения для плотностей вероятности не зависят от начала отсчета времени, т. е. справедливо соотношение
= PN W 1 /у,tt + т , t/i + т)
(3.37)
Г р
где u i - случайная величина, отражающая значение процесса в мо мент времени t = /. + т ( т - произвольное число).
Иначе говоря, стационарность процесса предполагает его сущес твование и статистическую однородность во всем диапазоне времени от —оо до 00.
Такое предположение противоречит физическим свойствам реаль ных сигналов, в частности тому, что всякий реальный сигнал сущес твует лишь в течение конечного отрезка времени. Однако аналогично установившимся детерминированным процессам случайные процес сы, протекающие в установившемся режиме системы при неизменных внешних условиях на определенных отрезках времени, с известным приближением можно рассматривать как стационарные.
При решении многих технических задач вдут на дальнейшее упрощение модели, рассматривая случайный процесс стационарным в широком смысле. Процесс U(t) принято называть стационарным в широ ком смысле, если выполняется условие постоянства математического ожи дания и дисперсии, а корреляционная функция не зависит от начала отсче та времени и является функцией только одного аргумента x —t2 — т.е.
т (/.) = т |
и |
= const, |
(3.38) |
|
/Лк |
|
(3.39) |
||
Du (0 = D , r const’ |
||||
(3.40) |
||||
Ru(tv t2 + x) = Ru(x). |
Так как условие постоянства дисперсии является частным случа ем требования к корреляционной функции при т = 0:
А Х ',) = а д , / , ) = /^(0 ) = const,
то выполнения соотношений (3.38) и (3.40) достаточно, чтобы рас сматривать случайный процесс U(t) как стационарный.
Всякий стационарный случайный процесс является стационар ным в широком смысле. В дальнейшем, если это не оговорено особо, стационарность будем рассматривать в широком смысле.
Случайные процессы, наблюдаемые в устойчиво работающих реальных системах, имеют конечное время корреляции. Поэтому для стационарных процессов, представляющих практический интерес,
справедливо соотношение |
|
|
lim R (т) = 0. |
(3.41) |
|
T—»со |
и |
|
Если для случайного процесса равенства (3.38), (3.40) не выдержива ются, но на интересующем нас интервале времени изменением указанных параметров можно пренебречь, его называют квазистсщионарным.
Среди стационарных случайных процессов многие удовлетворяют свойству эргодичности. Оно проявляется в том, что каждая реализация случайного процесса достаточной продолжительности несет практически полную информацию о свойствах всего ансамбля реализаций, что позво ляет существенно упростить процедуру определения статистических ха рактеристик, заменяя усреднение значений по ансамблю реализаций ус реднением значений одной реализации за длительный интервал времени.
Следовательно, для стационарных эргодических процессов спра ведливы соотношения
1 Т |
|
|
т“= 1*2 Т \ U^ |
dt = Wo> |
(3.42) |
1 0 |
|
(3.43) |
|
|
|
1Г |
+ т)- и„|rf/, |
(3.44) |
К(') = Иш —||и(0 - |
||
1>т' / п |
|
|
о |
|
|
где u(t) - конкретная реализация случайного процесса U(t). Результаты исследования случайных процессов в их временном
представлении, т.е. с использованием формул (3.42) и (3.44), лежат в основе корреляционной теории сигналов.
Для облегчения практического определения корреляционных функций в соответствии с (3.44) серийно выпускаются специаль ные вычислительные устройства - коррелометры (корреляторы).
Приведем примеры, с которыми часто имеют дело в теории сигналов.
3.5. Некоторые модели ансамбля реализаций
Гауссовский случайный процесс. Удобной моделью помех и не которых полезных сигналов является стационарный нормальный слу чайный процесс. Случайные мгновенные значения величины x(t) пред полагаются подчиненными нормальному закону (с нулевым средним), т.е. плотность распределения первого порядка выражается формулой
Р(х ) |
1 |
ехр |
( х - т х)2 |
л/2пох. |
(3.45) |
||
|
|
2о* |
Нормальный (гауссовский) закон распределения случайных вели чин чаще других встречается в природе. Нормальный процесс особенно характерен для помех в каналах связи. Он очень удобен для анализа. Поэтому случайные процессы, распределение которых не слишком от личается от нормального, часто заменяют гауссовским процессом.
В данном случае рассматривается стационарный и эргодический гаус совский процесс. Поэтому под /и. и о. можно подразумевать соответственно постоянную составляющую и среднюю мощность флукгуационной состав ляющей одной (достаточно длительной) реализации случайного процесса.
Графики плотности вероятности при нормальном законе для не которых значений ох изображены на рис. 3.4. Функция р(х) симмет рична относительно среднего значения. Чем больше ах, тем меньше максимум, а кривая становится более пологой (площадь под кривой р{х) равна единице при любых значениях о .).
Широкое распространение нормального закона распределения в при роде объясняется тем, что при суммировании достаточно большого числа независимых или слабозависимых случайныхвеличинраспределение суммы близко к нормальному при любом распределении отдельных слагаемых.
Это положение, сформулированное в 1901 г. А.М. Ляпуновым, по лучило название центральной предельной теоремы.
Наглядными физическими примерами случайного процесса с нор мальным законом распределения являются шумы, обусловленные теп ловым движением свободных электронов в проводниках электрической цепи или дробовым эффектом в электронных приборах. Не только шумы и помехи, но и полезные сигналы, являющиеся суммой большого числа не зависимых случайных элементарных сигналов, например, гармонических колебаний со случайной фазой или амплитудой, часто можно трактовать как гауссовские случайные процессы.
На основе функции р(х) можно найти относительное время пре бывания сигнала x(t) в определенном интервале уровней, отношение максимальных значений к среднеквадратическому (пик-фактор) и ряд других важных для практики параметров случайного сигнала.
Отношение времени пребывания x(t) в заданном интервале к об щему времени наблюдения можно трактовать как вероятность попада ния x(t) в указанный интервал. При этом следует заметить, что данные о распределении вероятностей не дают никаких представлений о пове дении функции JC(/) во времени.
Белы й шум используют как модель наиболее тяжелого вида по мехи в каналах связи. Он является стационарным случайным процес сом с постоянной спектральной плотностью W (со) = W0 = const. Если
в выражение для корреляционной функции |
|
||||
|
|
|
Ях(г) = J - |
f Wx (со) ey“'d(o |
(3.46) |
подставить WQ, то получим |
|
|
|||
|
|
|
R (T) = W 08(T), |
(3.47) |
|
где 5 (т) - дельта-функция. |
|
|
|||
Для белого шума с |
|
|
|
||
бесконечным и равно |
|
|
|
||
мерным спектром кор |
■ЛТп |
|
|
||
реляционная функция |
|
|
|||
|
|
|
|||
равна нулю |
для всех |
|
|
|
|
значений т, кроме т = |
|
|
|
||
О, при котором |
R^(0) рис 3 4 |
Одномерная плотность вероятности |
|||
обращается |
в |
беско- |
|
нормального распределения |
|
нечность. |
Подобный |
|
|
|
шум, имеющий игольчатую структуру с бесконечно тонкими случай ными выбросами, иногда называют дельта-коррелированным процес сом. Дисперсия белого шума бесконечно велика. Если спектр Wx(ев) ог раничен сверху частотой сов, то такой процесс называется квазибелым шумом.
Сигнал как колебание со случайными огибающей и фазой. Понятия амплитуды и фазы, введенные первоначально для гармони ческих сигналов, с помощью модуляции были обобщены на сигналы, которые уже не являются гармоническими. Можно обобщить их на
59
произвольные сигналы: пока чисто формально можно задать такие функции А(1) и ф(0, чтобы для заданной функции s(t) было выполнено равенство
s(t) = A (t)cos\|/(/). |
(3.48) |
A(t) и yi(t) можно интерпретировать как «огибающую» и «фазу» колебания с частотой со0. Оказывается, свобода выбора в задании фун кций А и\|/ при определенных условиях весьма ограничена. Комплекс этих условий получил название узкополосности сигнала x(t).
Очень наглядным является векторный вариант модели (3.48): А и Ф можно рассматривать как полярные координаты некоторого вектора. Тогда всякое гармоническое колебание s{t) = S cos(co0t + (р), имеющее частоту о>0, изобразится как постоянный вектор с амплитудой S и уг лом (р к направлению, принятому за ось Ох.
3.6.Спектральное представление случайных сигналов
Вп. 3.1 была показана эффективность представления детер минированных сигналов совокупностью элементарных базисных сигналов для облегчения анализа прохождения их через линейные системы. Аналогичный подход может быть использован и в случае сигналов, описываемых случайными процессами.
Рассмотрим случайный процесс U(t), имеющий математическое ожидание mu{t). Соответствующий центрированный случайный про цесс характеризуется в любой момент времени центрированной слу чайной величиной U (t)\
U(t) = ти(/) + U (t). |
(3.49) |
Центрированный случайный процесс U(t) можно, как и ранее [см. (3.1)], выразить в виде конечной или бесконечной суммы ортогональных составляющих, каждая из которых представляет собой неслучайную ба зисную функцию ф4. (г) с коэффициентом Ск, являющимся случайной ве личиной. В результате имеем разложение центрированного случайного процесса U (t) :
т = £ £ > * ( ') • |
(3.50) |
к
Случайные величины Ск называются коэффициентами разложе ния. В общем случае они статистически зависимы и эта связь задается