Виды корреляционных алгоритмов систем технического зрения.

Из результатов исследований следует, что в обобщенной форме процесс технического зрения содержит следующие основные этапы: формирование, сегментацию, описание, анализ изображения с распознаванием образов и интерпретацией сцен.

Удельный вес каждого из этапов неодинаков в конкретных разработках СТЗ, и они, в свою очередь, разбиваются на различные подэтапы. В действующих образцах КСТЗ отдельные подэтапы стадии обработки видеоинформации могут совмещаться или вообще отсутствовать.

Первый этап обработки зрительной информации – формирование текущего изображения – включает в себя автоматическую настройку (выбор поля зрения, фокусировка, установка диапазона (дальности) действия), ввод ТИ (запись изображения в накопитель ТИ) и предварительная обработка ТИ (нелинейное масштабирование).

На втором этапе обработки зрительной информации реализуются алгоритмы сегментации и кодирования ТИ.

Третий этап обработки зрительной информации – формирование и анализ корреляционных функций, обеспечивается любым из корреляционных алгоритмов (КА).

Наиболее прост классический КА, проводящий вычисления ВКФ или интеграла типа свертки с последующим поиском максимума этого функционала. В классическом варианте КА требует значительных вычислительных мощностей для осуществления операций умножения и интегрирования при всех сдвигах, разворотах ТИ и ЭИ. Модифицированный КА осуществляет фильтрацию несовпадающих частей (помех) ТИ, ЭИ, ВКФ в предположении о верности аддитивной модели смысл полезного сигнала и шума на ТИ. Разностный КАЮ, основанный на поэлементном вычислении разностей интенсивности ТИ, по объему вычислении имеет преимущество перед классическим КА из-за отсутствия необходимости проводить операцию умножения.

Разновидностью разностного КА является алгоритм последовательного определения сходства изображения, уменьшающий объем вычислений по сравнению с обычным разностным КА в 10 – 50 раза счет проведения точных вычислений только окрестности максимума корреляционной функции.

Корреляционный алгоритм, основанный на обработке с помощью парных функций, осуществляет последовательное поэлементное сравнение ТИ и ЭИ, представленных в цифровой форме. Если каждый из элементов ТИ и ЭИ, имеют уровни квантования соответственно, то парная функция увеличивается на единицу. Здесь – число уровней квантования. Следовательно, функция при равна количеству элементов, уровни интенсивности которых совпадают, а при – количеству элементов, интенсивности которых не совпадают.

Если ТИ и ЭИ размера, идентичны, то корреляционный алгоритм, использующий неизменные инвариантные признаки, основан на применении теории алгебраических инвариантов (инвариантных моментов), не изменяющихся при определенных преобразованиях координат.

Корреляционный алгоритм с амплитудным ранжированием представляет собой семейство корреляционных алгоритмов: двоичных, троичных и более высокого уровня ранжирования.

Троичный алгоритм и алгоритм более высоких уровней получаются путем незначительных изменений двоичного алгоритме, который представляет двухэтапную процедуру. На первом этапе меньшее изображение кодируется е бинарные корреляционные матрицы. Предполагается, что ТИ значительно меньше ЭИ (или наоборот, ЭИ меньше ТИ). На втором этапе эти бинарные матрицы последовательно коррелируются с уменьшением подмножества матрицы, имеющей большие размеры.

Корреляционный алгоритм с использованием градиентных векторов инвариантен к вращению ТИ относительно ЭИ в значительном диапазоне углов их рассогласования. Вначале по данному алгоритму вычисляются градиенты серого уровня (значения видеосигнала) ТИ и ЭИ. Затем из градиентных векторов, попа­дающих в дискретные интервалы углов, для ТИ и ЭИ формируется гистограмма сумм этих векторов. Эти функции обрабатываются с помощью классического либо фазового КА. Особенность рассматриваемого алгоритма заключается в том, что если ТИ (или ЭИ) повернется на определенный угол, то градиентный вектор, вычисленный для соответствующих элементов ТИ и ЭИ, также окажется повернутым на тот же угол.

Суть двухуровневых КА разъясним на примере двух наиболее совершенных алгоритмов этого типа. В начале работы первого алгоритма производится корреляционная обработка ТИ и части ЭИ с наиболее информативными признаками (характерным сюжетом). Данная обработка осуществляется при всех возможных сдвигах ТИ относительно ЭИ. Затем используется полное ЭИ, но сравнение выполняется только для участков изображения с наибольшей корреляцией, которые были выбраны на первом этапе.

Во втором двухуровневом КА уже на первом этапе используется полное ЭИ с пониженным разрешением, которое получается с помощью замены каждых m элементов разрешения исходного изображения так называемым усредненным, блоком, интенсивность которого равна средней интенсивности т элементов. Второй этап этого алгоритма не отличается от соответствующего этапа первого двухуровневого КА.

Структурные (синтаксические или лингвистические) КА базируются на трех процедурах: на выделении контуров ТИ и дескрипторов (линий определенной формы, сегменты), описании их параметров, синтаксическом анализе с использованием грамматики (классификация). При реализации алгоритма производится сравнение его признаков, а не полных изображений. Выделяют два класса признаков: локальные (линии определенной формы, их пересечения, средние интенсивности участков и изображения) и глобальные (области или участка изображений, имеющие замкнутые границы).

Корреляционный алгоритм линейных признаков разработан с учетом возможных значительных геометрических искажений изображений. Причем в качестве ЭИ используется трехмерная модель ОМ, а ТИ представлено двумерным изображением. В эталонную модель включены все линии, которые попадут в нее при различных разворотах ОМ. Каждый линейный признак полностью описывается с помощью координат одной из конечных точек, ее длиной и ориентацией.

Фазовый КА или алгоритм фазовой корреляции основан на использовании фазовой составляющей спектра сигналов. Алгоритм фазовой корреляции включает следующие операции: вычисления дискретных преобразований - Фурье исходных ТИ и ЭИ, формирование матрицы фазовой разности на каждой пространственной час­тоте путем вычисления взаимного энергетического спектра и деления его на модуль этого спектра, вычисление обратного преобразования Фурье полученной функции и поиск максимального значения функции взаимной корреляции ТИ и ЭИ.

Типовые узлы корреляционных систем технического зрения.

К основным узлам КСТЗ относятся: накопители текущего изображения, блоки запоминания и смены эталонного изображения, корреляторы и анализаторы корреляционных функций.

Кратко рассмотрим особенности их построения.

Накопители текущего изображения. Накопители-индикаторы ТИ делятся на оптико-механические, оптоэлектронные, оптико-электронные и электронные. В оптико-механических накопителях текущее изображение проецируется на изотропный материал (например, матовое стекло), являющийся отображающей поверхностью ТИ. Примером реализации такого накопителя является система, проецирующая объекты (детали) в рабочую зону сборочного конвейера с помощью объектива на плоскость ТИ.

В оптоэлектронных накопителях ТИ канал восприятия и передачи изображения выполнен на основе световолоконной оптики. Оптикоэлектронные накопители ТИ основаны на использовании индикаторных устройств (светодиодных матриц, матричных индикаторов на жидких кристаллах) и электронно-лучевых трубках, оптических управляемых транспорантов.

Электронные накопители ТИ, запоминающие сигналы, которые характеризуют изображение, реализованы на аналоговых или цифровых элементах. Из всего ряда перечисленных накопителей ТИ наибольшее распространение в СТЗ получили запоминающие ЭЛТ (ЗЭЛТ), оптические управляемые транспоранты и электронные ЗУ.

Рассмотрим кратко эти накопители ТИ.

Накопители ТИ на ЗЭЛТ обычно содержат кроме ЗЭЛТ блоки разверток и обработки видеосигнала, синхронизатор и источник питания. Такой накопитель ТИ формирует на экране ЗЭЛТ изображение, отображающее форму и пространственное положение исследуемого объекте.

С помощью блока обработки видеосигнала можно формировать контурное или точечное ТИ. Отметим здесь, что основным элементом этих накопителей являются ЗЭЛТ, способные воспроизводить бинарное или полутоновое, черно-белое или цветное ТИ. Разрешающая способность ЗЭЛТ – в пределах 10 – 100 лин/мм. Интерес представляют ЗЭЛТ, в которых имеется возможность поворота ТИ, что необходимо для совмещения сравниваемых изображений по углу. В этой трубке поворот изображения осуществляется с помощью магнитных линз. Оптические управляемые транспоранты по принципу действия делятся на четыре группы:

1) реверсивные приборы (рутиконы)

2) жидкие кристаллы

3) магнитооптические приборы

4) электрооптические приборы

Рутиконы, в свою очередь, делят на эластомерные и фототермопластичные приборы. Прибор состоит из стеклянной подложки, проводника, фотопроводника и эластомера (изолятора).

Перед записью видеоинформации эластомеру сообщают положительный заряд (высоковольтным электрическим зарядом), и между поверхностью эластомера и проводником возникает электрическое поле. После засветки выбранного участка рутикона ТИ запоминается в виде деформации эластомера, сохраняемой после прекращения освещения, рутиконы используются в оптических ОЗУ (в том числе голографических), а также в усилителях изображения. Использование фототермо­пластических пленок позволяет получать изображение с разрешающей способ­ностью до 100 лин/мм, но время перезаписи изображения составляет около 1 мин. Жидкокристаллический прибор состоит из жидкого кристалла толщиной около 2 мк, имеющего нематическую структуру, стеклянной пластины, прозрачного проводящего электрода (окислы индия и олова), фотоприемника (сульфит калия), светозапорного слоя (химически инертный), прокладки. Между двумя электродами подается переменное напряжение (5-10 В) частотой несколько килогерц; ТИ записывается в жидкий кристалл с одной стороны, а считывается - с противоположной при отражении.

Конструкция жидкокристаллического прибора позволяет одно­временно записывать и считывать информацию. Так называемое "включенное" состояние получается за счет эффекта закручивания нематического кристалла. В указаных параметрах описанного прибора: разрешающая способность -60 лин/мм; площадь апертуры - 2,54 см2; контраст - 100:1; число уровней яркости - 9; время записи - 0,1 с; время стирания - 0,015 с; чувствительность -0,1 эрг/мм2. Этот прибор Целесообразно использовать как преобразователь неко­герентного излучения в когерентное. Считывание производится когерентным лучом лазера. Магнитооптические приборы обычно выполняются в виде магнитооптических пленок, нанесенных на толстые диэлектрические подложки. Запись ТИ осуществляется путем воздействия светового потока и магнитного поля. Энергия световых импульсов используется для нагрева материала до температуры, при которой изменяются свойства материала (структура намагниченности).

Электрооптические приборы (модуляторы света) основаны на использовании ячеек Поккельса. Согласно эффекту Поккельса разность фаз световой волны про­порциональна приложенному напряжению видеосигнала. Для записи ТИ (или сигнала) используется синий свет, вызывающий спад напряжения пропорционально коли­честву света, падающего на кристалл, поэтому ТИ запоминается как разность потенциалов. Считывание ТИ производится когерентным, лучем линейно поляри­зованного красного света. Кристалл малочувствителен к красному свету, поэтому считывание не разрушает накопленную информацию. Приборы имеют следующие предельные характеристики: разрешающая способность - 500-1000 лин/мм; конт­растность - 104; время переключения - 0,1 мкс.

Более совершенным представителем этого класса управляемых транспорантов являются гибридные электрооптические элементы типа "Латриксы", в' основе функционирования которых лежат ячейки Поккельса совместно с БИС, управляю­щими работой прибора. Известны индикаторные трубки, в основе которых лежит электрооптический кристалл, обладающий продольным линейным электрооптическим эффектом. Путем модуляции катодного напряжения трубки на поверхности кристалла созда­ется зарядовое изображение, которое осуществляет фазовую и поляризационную модуляции проходящего лазерного луча, ТИ записывается в телевизионном формате. При электронном запоминании ТИ преимущественно применяются запоминающие полупроводниковые устройства с произвольным доступом (ПЗС - линейки, ПЗС - матрицы, электронные диски, регистры сдвига и др.). Блоки запоминания и смены эталонного изображения.

В зависимости от типа используемого коррелятора различают аналоговые (оптические) или цифровые способы записи и хранения ЭИ. Изображения, используемые в оптическом корреляторе, могут запоминаться на оптических управляемых транспорантах, на фото­пленке (негатив или позитив) или на маске, изготовленной вытравливанием на металлической пленке или вырезанием изображения из непрозрачного материала.

Оптические управляемые транспоранты подробно описаны ниже, а изготовление ЭИ первым и третьим способами не вызывает затруднений. Блоки таких ЭИ могут быть выполнены в виде лентопротяжных механизмов или механизмов смены слайдов, причем применение второго типа механизма пред­почтительнее, так как исключает механическое повреждение пленки ЭИ. Предназначенные для использования в цифровых КСТЗ, ЭИ могут запоминаться на ПЗС-структурах, перепрограммируемых постоянных ЗУ (ППЗУ), оперативных ЗУ (ОЗУ), гибких или жестких дисках и магнитных лентах.

Корреляторы. В зависимости от технической реализации корреляторы делятся на оптические, оптико-электронные и цифровые.

Основным недостатком коррелятора является громоздкость из-за наличия трех каналов разделения цвета. В этой связи представляют большой интерес одноканальные оптические корреляторы, осуществляющие разделение цвета путем размещения перед плоским диффузионным источником света управ­ляемого фильтра. Этот фильтр выполняется в двух вариантах: в виде оптического или электро­оптического фильтра. Первый вариант реализации фильтра обеспечивает смену фильтра (от красного до фиолетового) за счет поворота его вокруг оптической осп коррелятора. Второй вариант реализации фильтра, представляющего сложное устройство (хроматические нейтральные поляризаторы, хроматические фазовые пластины, электрооптические фазовые пластины, хроматические поляризаторы и изотропные фильтры), осуществляет электронную смену фильтров красного, синего и зеленого цветов. Следует отметить, что реализация второго фильтра сложнее, чем первого, однако она более надежна. Оптико-электронные корреляторы могут строиться с применением скиатронов, использующих свойство записывать и стирать на прозрачном экране любое изображение за счет окрашивания ионных кристаллов материала мишени под действием электронного луча с энергией 10-15 кВ [1.7].

Известны также гибридные оптико-электронные корреляторы, или корреляторы, выполненные в одном корпусе (колбе). Цифровые корреляторы, используемые для сравнения двумерных изображений, как правило, реализуются на основе универсальных микроЭВМ или спецпроцессоров. Примеры построения таких корреляторов рассмотрены в 1.6. Анализаторы корреляционных функций. В КСТЗ анализаторы корреляционных функций выполнены в виде аналоговых, аналого-цифровых и цифровых вычислителей. Из аналоговых и аналого-цифровых анализаторов наибольшее распространение получили устройства, реализующие поисковые методы оценки координат. Варианты таких анализаторов, содержащие телевизионную передающую трубку (диссектор), блок разверток, видеоусилитель, блок выделения максимума корреляционной функции, блок оценки линейных координат главного максимума корреляционной функции, фокусирующе-отклоняющую систему и источник питания,.