Построение трехмерных карт признаков на основе видеофрагментов методом оптического потока

Рассмотрена обобщенная задача воссоздания трехмерной структуры объектов из набора видеофрагментов, на которых изображена заданная сцена. В отличие от распространенных методов фотограмметрии, широко используемых для решения подобных задач, рассматриваемый метод не требует знания параметров камеры, способен работать с любыми категориями согласованных видеофрагментов и справляться с высокими показателями шума. В процессе реконструкции объект представляется как совокупность устойчивых разреженных признаков в трехмерном пространстве, которые первоначально обнаруживаются в отдельных ключевых кадрах (например, с помощью детектора углов Ши-Томаси), затем с помощью разреженного оптического потока их перемещения отслеживаются в последующих кадрах. При наличии информации о движении камеры при помощи простейших геометрических расчетов становится возможным определить положение интересующей точки в пространстве, а многократное определение позиции для одной и той же точки в различных кадрах видео позволяет эффективно устранять погрешности оценки. Помимо разреженного оптического потока (метод Лукаса–Канаде), метод также использует некоторые свойства плотного потока (метод Фарнебака), позволяющие осуществлять сегментацию сцен и выделение объектов на разных уровнях глубины сцены. Полученные трехмерные карты признаков в дальнейшем могут использоваться в качестве макродетектора объектов на отдельных цифровых изображениях, устойчивого к инвариантным трехмерным трансформациям.