基于投影不变描述子的视频同步方法技术

本发明专利技术提出了一种基于投影不变描述子的视频同步方法，用于解决已有技术存在的无法适用多种不同场景的视频同步导致的适用范围较窄的技术问题，实现步骤为：对输入视频进行运动目标轨迹提取及背景图像匹配；估计背景图像间的对极几何；基于五共面点交比为每一个轨迹点构建一个投影不变描述子；采用最近邻比次近邻小于指定阈值的准则建立初始轨迹点匹配对；使用轨迹点联合匹配和对极几何约束剔除错误的轨迹点匹配对；以重复多次采样构建计分矩阵及阈值化的方法获得最终帧匹配对，最后使用随机抽样一致算法计算出输入视频间的时间模型参数。本发明专利技术能适用于多种复杂场景的视频同步，且可以获得较低的平均时间同步误差和较高的正确匹配率。

The projection video synchronization method based on invariant descriptors

The invention provides a synchronization method of projection invariant descriptors based video technology for scope synchronization solution to existing technique are not suitable for a variety of different scenes of the video is narrow, the implementation steps for the input video background extraction and moving target image matching; estimation of epipolar geometry between the background image; five coplanar points based on cross ratio for each trajectory point to construct a projective invariant descriptor; establish the initial trajectory point matching using nearest neighbor nearest neighbor ratio is less than a given threshold criterion; using trajectory combination matching and trajectory of epipolar geometry to eliminate the wrong matching pairs; with repeated sampling method to construct a scoring matrix and the threshold to obtain the final frame matching, finally using random sample consensus algorithm to calculate the parameters of the video input time model. The method can be applied to video synchronization in various complex scenes, and can achieve lower average time synchronization error and higher correct matching rate.

【技术实现步骤摘要】
基于投影不变描述子的视频同步方法
本专利技术属于图像处理
，涉及一种视频同步方法，具体涉及一种基于投影不变描述子的视频同步方法，可应用于目标识别与跟踪、视频拼接、高分辨率视频合成及三维重建等领域。
技术介绍
视频同步是将非标定且放置在不同视角位置的多个摄像机记录的同一动态场景的多个视频进行时间校准的技术，视频同步的核心目标是建立多个视频中来自同一物理时刻的视频帧的对应关系。视频同步大致分为两类：直接法和基于特征的方法。直接法通常以一整个视频帧作为输入，针对所有的像素值进行综合计算处理，其主要使用视频中全局性的灰度值动态信息完成视频同步，例如流水、飘动的旗帜、闪烁的火焰、光照变换等等。基于特征的视频同步方法主要使用视频中具有代表性的动态特征完成视频同步，例如场景中物体的形状变化，运动目标轨迹等。对直接法和基于特征的方法进行对比可以发现。直接法对于视角差异较大，视频间“外貌”差异较大的场景无法获得较好的结果，且由于直接法是对每个像素点都进行计算，所以算法的运算复杂度比较高，计算量非常大。而基于特征的方法比直接法具有较高的效率和较低的计算量，且基于特征的视频同步方法可以应用于不同光谱特性的视频同步问题。所以，基于特征的视频同步方法具有更广泛的适用性，是当前的研究热点。在基于特征的视频同步方法中，基于轨迹的视频同步方法占有主导地位，该类方法的基本思想是，含有重叠视角区域的像机所获得的视频的离散轨迹点集之间含有轨迹点的匹配对应关系，通过轨迹点的匹配对应关系获得视频的时间对应关系。通常情况下，基于轨迹的视频同步方法首先分别从参考视频和待同步视频中提取出各自的轨迹点集，每一个轨迹点包含它的位置信息和时间信息。然后使用投影不变表示或者多视图几何技术建立两个离散轨迹点集之间的轨迹点匹配关系，提取出轨迹点的时间信息，从而获得输入视频的时间对应关系。目前，基于轨迹的视频同步方法中典型的有基于仿射模型、基于投影不变表示和基于对极几何约束三种方法，其中，基于仿射模型的视频同步方法(LuC,MandalM.Arobusttechniqueformotion-basedvideosequencestemporalalignment.IEEETransactionsonMultimedia,2013,15(1):70-82.)，使用仿射变换作为轨迹点集之间的几何变换模型，能够对像机间视角差异较小的平面运动场景获得较好的效果。但是，当像机间视角差异较大或者运动目标做非平面运动时，基于仿射模型的视频同步方法不能正确模拟不同视角之间的几何变换关系，将计算出大量的错误轨迹点匹配对。因此基于仿射模型的视频同步方法不能对存在较大视角差异或者运动目标做非平面运动的两个视频进行同步。基于投影不变表示的视频同步方法(NunziatiW,SclaroffS,DelBimboA.Matchingtrajectoriesbetweenvideosequencesbyexploitingasparseprojectiveinvariantrepresentation.IEEEtransactionsonpatternanalysisandmachineintelligence,2010,32(3):517-529.)，使用当前轨迹点及其四个邻域轨迹点构造出一个五共面点结构，并且以五共面点交比作为轨迹点的描述，因此能够对存在较大视角差异的视频进行同步。但是由于其要求轨迹点共面，所以不能应对运动目标做非平面运动的场景。并且由于其使用邻域轨迹点构造五点结构，且其使用的时间间隔参数与视频帧率比相关，所以当运动目标的轨迹含有较多形状相似的片段或者输入视频间帧率未知不等时，该方法不能将这些轨迹点进行区分，从而导致获得较差的同步结果。基于对极几何约束的视频同步方法(PaduaF,CarceroniR,SantosG,etal,Linearsequence-to-sequencealignment,IEEETransactionsonPatternAnalysisandMachineIntelligence.32(2)(2010)304-320.)，以对极线与轨迹曲线的交点作为待求的匹配轨迹点，因此基于对极几何约束的视频同步方法可以应对运动目标做非平面运动或含有较多相似轨迹片段的场景。但是该方法由于使用对极线与轨迹曲线的交点作为待求的匹配轨迹点，因此仅适用于对极线与轨迹曲线含有较少交点的情况，当场景中含有较多运动目标或者运动目标做复杂运动时，对极线与轨迹曲线含有大量交点，从而导致该方法得到较差的结果。综上所述，当面对摄像机帧率未知不等、像机间视角差较大、多个运动目标及运动目标做平面或者非平面运动等多种场景时，现有的技术往往很难对轨迹点进行有效的描述及匹配，从而导致其仅能部分的应对上述不同场景的视频同步问题，适用范围较窄。
技术实现思路
本专利技术的目的在于克服上述现有技术存在的缺陷，提出了一种基于投影不变描述子的视频同步方法，用于解决现有技术无法适用多种不同场景的视频同步导致的适用范围较窄的技术问题。本专利技术的技术思路是：首先对输入视频进行运动目标轨迹提取及背景图像匹配；接下来利用背景特征点匹配对进行对极几何估计，得到背景图像间的基础矩阵及对极点；利用若干背景特征点及对极点，基于五共面点交比为每一个轨迹点构建投影不变描述子；然后按照最近邻比次近邻小于指定阈值的准则获得初始轨迹点匹配对；采用轨迹点联合匹配及对极几何约束剔除错误轨迹点匹配对；提取轨迹点的时间信息，获得视频间的初级帧匹配对；以重复多次采样构建计分矩阵及阈值化的方法获得最终帧匹配对，最后使用随机抽样一致算法计算出输入视频间的时间模型参数。根据上述技术思路，实现本专利技术的目的所采取的技术方案包括如下步骤：(1)获取同一动态场景的参考视频和待同步视频：使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一动态场景，得到两个视频V1和V2，并将视频V1作为参考视频，视频V2作为待同步视频；(2)运动目标轨迹提取及背景图像匹配：对参考视频V1进行特征提取，得到参考视频V1的运动目标轨迹点集T1＝{p1i|i＝1,2,3...n1}和背景图像I1，对待同步视频V2进行特征提取，得到待同步视频V2的运动目标轨迹点集T2＝{p2j|j＝1,2,3...n2}和背景图像I2，并对背景图像I1和背景图像I2进行图像匹配，得到背景图像I1和背景图像I2之间的特征点匹配对集合B＝{(bi,bi′)|i＝1,2,3...n0}，其中，p1i是轨迹点集T1中的第i个轨迹点，n1是轨迹点集T1中的轨迹点总数，p2j是轨迹点集T2中的第j个轨迹点，n2是轨迹点集T2中的轨迹点总数，bi是背景图像I1中的特征点，bi′是背景图像I2中的特征点，n0是背景特征点匹配对集合B中的特征点匹配对总数；(3)估计背景图像I1和背景图像I2之间的对极几何：利用特征点匹配对集合B，对背景图像I1和背景图像I2之间的对极几何进行估计，得到背景图像I1和背景图像I2之间的基础矩阵F，及背景图像I1的对极点e和背景图像I2的对极点e′；(4)初始化循环控制数及帧匹配对计分矩阵：设置构建帧匹配对计分矩阵的循环控制数为S，循环控制变量s＝0,初始化帧匹配对本文档来自技高网...

【技术保护点】
一种基于投影不变描述子的视频同步方法，包括如下步骤：(1)获取同一动态场景的参考视频和待同步视频：使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一动态场景，得到两个视频V1和V2，并将视频V1作为参考视频，视频V2作为待同步视频；(2)运动目标轨迹提取及背景图像匹配：对参考视频V1进行特征提取，得到参考视频V1的运动目标轨迹点集T1＝{p1i|i＝1,2,3...n1}和背景图像I1，对待同步视频V2进行特征提取，得到待同步视频V2的运动目标轨迹点集T2＝{p2j|j＝1,2,3...n2}和背景图像I2，并对背景图像I1和背景图像I2进行图像匹配，得到背景图像I1和背景图像I2之间的特征点匹配对集合B＝{(bi,bi′)|i＝1,2,3...n0}，其中，p1i是轨迹点集T1中的第i个轨迹点，n1是轨迹点集T1中的轨迹点总数，p2j是轨迹点集T2中的第j个轨迹点，n2是轨迹点集T2中的轨迹点总数，bi是背景图像I1中的特征点，bi′是背景图像I2中的特征点，n0是背景特征点匹配对集合B中的特征点匹配对总数；(3)估计背景图像I1和背景图像I2之间的对极几何：利用特征点匹配对集合B，对背景图像I1和背景图像I2之间的对极几何进行估计，得到背景图像I1和背景图像I2之间的基础矩阵F，及背景图像I1的对极点e和背景图像I2的对极点e′；(4)初始化循环控制数及帧匹配对计分矩阵：设置构建帧匹配对计分矩阵的循环控制数为S，循环控制变量s＝0,初始化帧匹配对计分矩阵MC中所有元素的值为零；(5)构建轨迹点集T1对应的投影不变描述子集合D1和轨迹点集T2对应的投影不变描述子集合D2：5a)设置投影不变描述子的维度数为N，循环控制变量index＝0；5b)从背景图像特征点匹配对集合B中，分块随机采样出在背景图像I1中的3个特征点{b1,b2,b3}，及在背景图像I2中与背景图像I1中的3个特征点匹配的3个特征点{b′1,b′2,b′3}；5c)经过特征点b1和b2做直线l1，经过对极点e和特征点b3做直线l2，并求出直线l1和l2的交点bc；5d)对T1中的每一个轨迹点p1i(i＝1,...,n1)，计算五共面点的交比Γ(p1i,b1,b2,bc,e)，并将其作为轨迹点p1i的投影不变描述子向量的第index个分量；5e)经过特征点b′1和b′2做直线l′1，经过对极点e′和特征点b′3做直线l′2，并求出直线l′1和l′2的交点b′c；5f)对T2中的每一个轨迹点p2j(j＝1,...,n2)，计算五共面点的交比Γ(p2j,b′1,b′2,b′c,e′)，并将其作为轨迹点p2j的投影不变描述子向量的第index个分量；5g)令循环控制变量index加1，判断循环控制变量index是否小于等于投影不变描述子的维度数N，若是，执行步骤5b)，否则，结束循环，得到轨迹点集T1对应的投影不变描述子集合D1和轨迹点集T2对应的投影不变描述子集合D2；(6)获取轨迹点集T1与轨迹点集T2之间的初始轨迹点匹配对集合...

【技术特征摘要】
1.一种基于投影不变描述子的视频同步方法，包括如下步骤：(1)获取同一动态场景的参考视频和待同步视频：使用两台未标定的摄像机，从不同视角位置拍摄含有多个运动目标的同一动态场景，得到两个视频V1和V2，并将视频V1作为参考视频，视频V2作为待同步视频；(2)运动目标轨迹提取及背景图像匹配：对参考视频V1进行特征提取，得到参考视频V1的运动目标轨迹点集T1＝{p1i|i＝1,2,3...n1}和背景图像I1，对待同步视频V2进行特征提取，得到待同步视频V2的运动目标轨迹点集T2＝{p2j|j＝1,2,3...n2}和背景图像I2，并对背景图像I1和背景图像I2进行图像匹配，得到背景图像I1和背景图像I2之间的特征点匹配对集合B＝{(bi,bi′)|i＝1,2,3...n0}，其中，p1i是轨迹点集T1中的第i个轨迹点，n1是轨迹点集T1中的轨迹点总数，p2j是轨迹点集T2中的第j个轨迹点，n2是轨迹点集T2中的轨迹点总数，bi是背景图像I1中的特征点，bi′是背景图像I2中的特征点，n0是背景特征点匹配对集合B中的特征点匹配对总数；(3)估计背景图像I1和背景图像I2之间的对极几何：利用特征点匹配对集合B，对背景图像I1和背景图像I2之间的对极几何进行估计，得到背景图像I1和背景图像I2之间的基础矩阵F，及背景图像I1的对极点e和背景图像I2的对极点e′；(4)初始化循环控制数及帧匹配对计分矩阵：设置构建帧匹配对计分矩阵的循环控制数为S，循环控制变量s＝0,初始化帧匹配对计分矩阵MC中所有元素的值为零；(5)构建轨迹点集T1对应的投影不变描述子集合D1和轨迹点集T2对应的投影不变描述子集合D2：5a)设置投影不变描述子的维度数为N，循环控制变量index＝0；5b)从背景图像特征点匹配对集合B中，分块随机采样出在背景图像I1中的3个特征点{b1,b2,b3}，及在背景图像I2中与背景图像I1中的3个特征点匹配的3个特征点{b′1,b′2,b′3}；5c)经过特征点b1和b2做直线l1，经过对极点e和特征点b3做直线l2，并求出直线l1和l2的交点bc；5d)对T1中的每一个轨迹点p1i(i＝1,...,n1)，计算五共面点的交比Γ(p1i,b1,b2,bc,e)，并将其作为轨迹点p1i的投影不变描述子向量的第index个分量；5e)经过特征点b′1和b′2做直线l′1，经过对极点e′和特征点b′3做直线l′2，并求出直线l′1和l′2的交点b′c；5f)对T2中的每一个轨迹点p2j(j＝1,...,n2)，计算五共面点的交比Γ(p2j,b′1,b′2,b′c,e′)，并将其作为轨迹点p2j的投影不变描述子向量的第index个分量；5g)令循环控制变量index加1，判断循环控制变量index是否小于等于投影不变描述子的维度数N，若是，执行步骤5b)，否则，结束循环，得到轨迹点集T1对应的投影不变描述子集合D1和轨迹点集T2对应的投影不变描述子集合D2；(6)获取轨迹点集T1与轨迹点集T2之间的初始轨迹点匹配对集合按照最近邻比次近邻小于指定阈值的准则，对轨迹点集T1的描述子集合D1和轨迹点集T2的描述子集合D2进行描述子匹配，得到轨迹点集T1与轨迹点集T2之间的初始轨迹点匹配对集合(7)对轨迹点集T1与轨迹点集T2之间的初始轨迹点匹配对集合进行修正：7a)对与初始轨迹点匹配对集合中的每一对轨迹点匹配对来自同一帧的轨迹点子集进行联合匹配，并根据匹配结果，检查初始轨迹点匹配对集合中的每一对轨迹点匹配对是否为正确匹配对；7b)剔除初始轨迹点匹配对集合中的错误的轨迹点匹配对，得到轨迹点匹配对集合(8)对轨迹点匹配对集合进行修正：对轨迹点匹配对集合中的每一对轨迹点匹配对施加对极几何约束，并将错误的轨迹点匹配对从中剔除，得到轨迹点匹配对集合(9)获取初级帧匹配对集合提取轨迹点匹配对集合中的每一对轨迹点的时间信息，得到参考视频V1与待同步视频V2之间的初级帧匹配对集合(10)分别对帧匹配对计分矩阵和循环控制变量进行更新：给帧匹配对计分矩阵MC中与当前的初级帧匹配对集合中的所有帧匹配对所对应的所有元素加1，同时给循环控制变量s加1，并判断循环控制变量s是否小于等于构建帧匹配对计分矩阵的循环控制数S，若是，执行步骤(5)，否则执行步骤(11)；(11)获取最终帧匹配对集合MF：设定帧匹配对选择阈值，并将帧匹配对计分矩阵MC中的各元素分别与帧匹配对选择阈值进行比较，然后选择出所有大于等于帧匹配对选择阈值的元素所对应的帧匹配对，得到最终帧匹配对集合MF；(12)计算时间模型参数：对最终帧匹配对集合MF进行直线拟合，得到参考视频V1与待同步视频V2之间的时间模型参数：帧率比α和时间偏移Δt。2.根据权利要求1所述的基于投影不变描述子的视频同步方法，步骤(3)中所述的对背景图像I1和背景图像I2之间的对极几何进行估计，按如下步骤进行：3a)设置循环控制数为Num，循环控制变量i＝0，对极距离阈值为th1，最大内点集Mmax为空；3b)从背景图像特征点匹配对集合B中，分块随机采样出8对特征点匹配对；3c)对分块随机采样出的8对特征点匹配对，使用归一化八点算法计算出初级基础矩阵F(i)；3d)根据初级基础矩阵F(i)，计算背景图像特征点匹配对集合B中的每一对特征点匹配对的对极距离，并将计算出的对极距离与对极距离阈值th1进行比较，然后选择出所有对极距离小于对极距离阈值th1的特征点匹配对，得到当前内点集Min；3e)将当前内点集Min中的内点总数与最大内点集Mmax中的内点总数进行比较，若Min中的内点总数大于Mmax中的内点总数，则更新Mmax为Min，若Min中的内点总数小于等于Mmax中的内点总数，则保持Mmax不变，循环控制变量i加1，若循环控制变量i小于等于循环控制数Num，且最大内点集Mmax中的内点总数小于0.85倍的背景图像特征点匹配对集合B中的匹配对总数，执行步骤3b)，否则执行步骤3f)；3f)对最大内点集Mmax，使用归一化八点算法计算出背景图像I1和背景图像I2之间的基础矩阵F，并求解Fe＝0，得到背景图像I1的对极点e，求解FTe′＝0，得到背景图像I2的对极点e′。3.根据权利要求...

【专利技术属性】
技术研发人员：张强，邵蓓，关永强，焦强，李亚军，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61