3.3 Оптический поток (Optical Flow)

Оптический поток — это изображение видимого движения объектов, поверхностей или краев сцены, получаемое в результате перемещения наблюдателя (глаз или камеры) относительно сцены. Алгоритмы, основанные на оптическом потоке, — такие как регистрация движения, сегментация объектов, кодирование движений и подсчет диспаритета в стерео, — используют это движение объектов, поверхностей и краев.

Оценка оптического потока

Методы, основанные на оптическом потоке, вычисляют движение между двумя кадрами, взятыми в момент времени и, в каждом пикселе. Эти методы называются дифференциальными, так как они основаны на приближении сигнала отрезкомряда Тейлора; таким образом, они используют частные производные по времени и пространственным координатам.

В случае размерности 2D+t (случаи большей размерности аналогичны) пиксель в позиции с интенсивностьюза один кадр будет перемещен на,и, и можно записать следующее уравнение:

Считая, что перемещение мало, и используя ряд Тейлора, получаем:

.

Из этих равенств следует:

или

отсюда получается, что

где

 — компоненты скорости оптического потока в ,

, , — производные изображения в в соответствующих направлениях.

Таким образом:

или

Полученное уравнение содержит две неизвестных и не может быть однозначно разрешено. Данное обстоятельство известно как проблема апертуры. Задачу решает наложение дополнительных ограничений —регуляризация.

Методы определения оптического потока:

• Фазовая корреляция — инверсия нормализованного перекрестного спектра.

• Блочные методы — минимизация суммы квадратов или суммы модулей разностей

• Дифференциальные методы оценки оптического потока, основанные на частных производных сигнала:

• Алгоритм Лукаса — Канаде — рассматриваются части изображения и аффинная модель движения

• Horn–Schunck — минимизация функционала, описывающего отклонение от предположения о постоянстве яркости и гладкость получаемого векторного поля.

• Buxton–Buxton — основан на модели движения границ объектов в последовательности изображений

• Общие вариационные методы — модификации метода Horn-Schunck, использующие другие ограничения на данные и другие ограничения на гладкость.

• Дискретные методы оптимизации — поисковое пространство квантуется, затем каждому пикселю изображения ставится в соответствие метка таким образом, чтобы расстояние между последовательными кадрами было минимальным. Оптимальное решение часто ищется с помощью алгоритмов нахождения минимального разреза и максимального потока в графе, линейного программирования или belief propagation.

Трекинг при помощи оптического потока часто применяется при использовании стационарных камер, таких как камеры в аэропортах или зданиях, а также стационарные камеры-видеорегистраторы.

В данной работе был использован метод с использованием алгоритма Лукаса-Канаде (рис. 4-6)

Рис. 4 Основное окно модели

Рис. 5 Блоки модели

Рис. 6 Результат работы модели

Данная модель использует метод оценки оптического потока, чтобы определить векторы движения в каждом кадре видеофайла. Путём ограничения и морфологического приближения векторов движения, модель создает бинарные изображения признаков. Модель находит машину в каждом бинарном изображении через блок «Blob Analysis». Затем блок «Draw Shapes» чертит зелёный прямоугольник вокруг машин, которые проходят через белую линию.

Недостаток метода заключается в том, что камера должна быть неподвижна, иначе результат распознавания и трекинга становится непредсказуемым.