3.3. Фильтрация аномальных значений в наблюдениях сигналов

3.3.1. Определение аномальных наблюдений сигналов

При решении некоторых задач ЦОС, например оценивания параметров моделей, могут возникать проблемы аномальных наблюдений. Присутствие аномальных значений в наблюдениях сигналов приводит к грубейшим погрешностям в оценках. Как правило, аномальные наблюдения имеют импульсный характер или представляются кратковременно действующими шумами большой интенсивности. Аномальные наблюде­ния возника­ют, в основном, вслед­ствие внезапно­го наруше­ния структу­ры или парамет­ров системы сбора данных.

Аномальные наблюдения определённым образом противопоставляются обычным наблюдениям. Предполагается, что аномальные и обычные наблюдения формируются на основе различных статистических механизмов. Следует отметить, что в практике ЦОС отсутствует общепринятое определение аномальных наблюдений. Так, отдельные наблюдения, которые резко выделяются по своим значени­ям среди ряда обычных наблюде­ний, можно определить как аномальные. Бывают, как аномаль­но боль­шие, так и аномально малые наблюде­ния. Необходимо подчеркнуть, что данное определение является в значительной степени качественным и его уточнение может быть осуществлено с помощью использования математических моделей возникновения аномальных наблюдений.

Рассмотрим частные примеры возникновения аномаль­ных наблюде­ний. Первый пример связан с предмет­ной областью экспертного анализа. Экспертные оценки эффективности некоторых сложных систем, выставляемых коллективом из нескольких экспертов, формируются в конеч­ную последовательность и могут интер­пре­тиро­ваться как произведённые наблюдения эффективности. В основном, значения экспертных оценок группи­руются вблизи некото­рого среднего с неболь­шим разбросом. Однако вполне возможны ситуации, когда кто-либо из экспертов по ряду причин выстав­ляет экспертную оценку, сильно уклоняю­щу­юся от среднего в сторону завыше­ния или занижения. В этом случае, очевид­но, последовательность таких оценок будет содержать видимые на глаз ано­мальные значения. Второй пример связан с предметной областью радиоло­ка­цион­ных измерений координат движущихся объектов. Достаточ­но часто радиолока­ционные измере­ния происходят в условиях примене­ния специ­аль­но организованных помеховых воздей­ствий, имеющих шумовой характер и препятствую­щих процессу измере­ния. В наблюде­ния коорди­нат под действи­ем помех вносятся большие погреш­ности, катастрофически искажаю­щие инфор­мацию – наблюде­ния становят­ся ано­мальны­ми.

Модель статистического механизма возникновения аномальных наблюдений в значи­тель­ной степени зависит от устройства конкретной системы сбора данных. Как правило, эта модель никогда не бывает точно известной, и может быть описана только прибли­жен­но, на основе дополни­тельных гипотез.

Разберём пример упро­щен­ного модель­ного статистического механизма возникновения аномальных наблюдений. Пусть для дискрет­ного момента с номером i формируется погрешность наблюдения w(i). С вероятностью q датчик случайных чисел вырабатывает числа w(i), которые подчиняются нормальному закону распределения с параметрами и с вероятностьювырабатывает числаподчиняющиеся нормальному закону распределения с параметрамиФормирование аномальных погрешностей производится дляи– аномальные наблюдения являются редкими и значительными по величине. Дляq = 1 погрешности w(i) становятся обычными гауссовыми.

Рассматриваемый механизм формирования аномальных наблюдений может быть промоделирован, и наблюдения представятся следующим образом:

(3.3.1)

где параметры случайных погрешностей принимали значенияНа рис. 3.3.1 изображена дискретная модельная последовательность состоящая из обычных и возникающих отдельных аномальных наблюдений в соответствии с механизмом (3.3.1).

Рис.3.3.1. Модельные аномальные наблюдения

Ставится задача разработки алгоритмов фильтрации (обнаружения и устранения) аномальных наблюдений. Здесь будут рассмотрены пороговые и медианные алгоритмы, которые применяются на этапах предварительной обработки сигналов.

3.3.2. Пороговые алгоритмы

Достаточно распространенная группа методов фильтрации аномальных наблюде­ний базируется на применении порого­вых алгорит­мов. Пусть задана последовательность наблюдений с возникающими отдельными (редкими) аномальными наблюдениями.

В простейшем варианте порогового алгоритма фильтрации аномальных наблюдений вычисляются скользящие оценки математического ожидания и дисперсии с временным окном шириной для:

Вычисляется текущий параметр :

который сравнивается с некоторым числом R, так называемым порогом. Достаточно часто имеет место Еслито принимается решение, что соответствующее этому номеру наблюдениеотносится к обычным; еслито считается, что наблюдениеотносится к аномаль­ным и удаляется из последовательности (отбраковывается).

Описанный алгоритм, естественно, не свободен от недостат­ков. Он работает надёжно для случая редких аномальных наблюдений. Эффек­тивность порогового алгоритма зависит от назначаемого порога : при малых значениях порога возможны ложные срабатыва­ния – некоторые наблюдения могут приниматься за аномальные; при завышенных значениях порога возможен пропуск аномальных наблюде­ний.

Данный вариант порогового алго­ритма должен рассмат­риваться всего лишь как основа для реального порогового алгоритма фильтрации аномальных наблюдений. Точная настройка пороговых алгоритмов зависит от дополни­тельной априор­ной информа­ции.

3.3.3. Медианные фильтры

Алгоритмы фильтрации (обнару­жения и устранения) аномальных наблюде­ний, основанные на использовании медианной фильтрации, широко применяются в многочисленных приложениях ЦОС.

Рассмотрим простейший вариант алгоритма медианного фильтра для конечной последовательности из k наблюдений пустьk – нечётное число, . Подвергнем элементы этой последовательности преобразованию упорядоченияобразуем из элементов исходной последовательности новую последовательность, в которой элементы переставлены в порядке возрастания или убывания:

Выберем среднее по номеру в новой последовательности, которое имеет фиксированное обозначение Результатом работы медианного фильтра для последовательностиявляется определённая выше величина:

.

Медианная фильтрация может реализовываться с помощью временного окна шириной k, скользящего по исходной последовательности наблюдений . В результате медианной фильтрации производится вычислениедля точек

Видно, что первые и последние точек в отфильтрованной последовательности отбрасываются.

Для аномальных наблюдений, представленных на рис. 3.3.1, применена медианная фильтрация. Работа медианного фильтра с временным окном шириной проиллюстрирована на рис. 3.3.2.

Рис. 3.3.2. Результаты медианной фильтрации аномальных наблюдений

В табл. 3.3.1 помещена реализация с аномальными наблююдениями и соответствующие результаты медианной фильтрациидля

Таблица 3.3.1

	2	3	4	5	6	7	8	9
	2,7762	2,1206	2,4639	1,2434	2,1455	-5,5005	1,2403	2,6210
	2,7762	2,4639	2,1206	2,1455	1,2434	1,2403	1,2403	2,6210
Продолжение табл. 3.3.1
	10	11	12	13	14	15	16	17
	2,7828	2,1510	1,4643	3,2001	1,7698	2,4053	1,8566	2,5572
	2,6210	2,1510	2,1510	1,7698	2,4053	1,8566	2,4053	2,0359
Окончание табл. 3.3.1
	18	19	20	21	22	23	24	25
	2,0359	-2,9164	1,8595	1,7410	15,9350	2,0894	1,8893	1,3731
	2,0359	1,8595	1,7410	1,8595	2,0894	2,0894	1,8893	1,3731

Видно, что наблюдение для является аномальным: Можно проследить, как происходит фильтрация этого аномального наблюдения. Для окнавыбирается среднееи формируется результат фильтрациидля окнавыбирается среднее 2,0894 и формируется результат фильтрациидля окнавыбирается среднееи формируетсяТаким образом, данный медианный фильтр обнаруживает и устраняет аномальные наблюдения.

В медианных фильтрах реализуется нелинейная обработка наблюдений. Применение медианной фильтрации в ряде случаев оказывается более эффективным с точки зрения точности по сравнению с применением фильтров, основанных на линейной обработке наблюдений. Линейная обработка наблюдений является оптимальной по точности для гауссовых погрешностей и совершенно неудовлетворительной по точности для сигналов с аномальными наблюдениями. В случаях с аномальными наблюдениями медианные фильтры дают лучшую точность, чем традиционные линейные фильтры.

Специфическая особенность медианных фильтров состоит в их слабой чувствительности к наблюдениям, которые резко выделяются на фоне обычных наблюдений, что позволяет применять медианные фильтры для фильтрации аномальных наблюдений. Функцио­ни­рование алгорит­мов медианной фильтра­ции в малой степени зависит от законов распределения случай­ных погрешностей, входящих в последовательность данных, подозритель­ных на наличие аномальных наблюдений.

Медианные фильтры обладают двумя основными достоинствами: 1) хорошим подавлением импульсных помех шириной менее половины временного окна; 2) хорошим пропусканием регулярных сигналов при малой ширине временного окна. Однако медианные фильтры по эффективности уступают линейным при подавлении обычных гауссовых погрешностей.

Повышение эффективности медианных фильтров может быть реализовано с помощью адаптивного изменения ширины временного окна в зависимости от характеристик шумовых погрешностей.