一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法组成比例

本发明专利技术公开了一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，包括：左右视图管道初始化；左右视图管道对应关系构建；管道与标志点ID关联；左右相机同步采集一帧图像；标志点实时检测；帧间标志点实时跟踪；左右视图标志点实时匹配；管道更新；判断是否停止序列图像的实时采集；若是，则结束实时跟踪与匹配；否则，重复执行，实时采集图像、实时跟踪与匹配。本发明专利技术将管道滤波算法、形状上下文算法、单应性变换及极线约束相结合，构建出左右视图管道队列及管道相互对应关系，在完成帧间标志点跟踪的同时实现左右视图中标志点的自动匹配，不需要进行专门的匹配，因此，跟踪与匹配的效率得到极大提升，具有快速、准确、鲁棒等优点。棒等优点。棒等优点。

【技术实现步骤摘要】
一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法


[0001]本专利技术属于双目立体视觉
，涉及一种双目序列图像中标志点跟踪与匹配方法，更进一步涉及一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法。

技术介绍

[0002]双目立体视觉作为计算机视觉的一个重要分支，旨在通过左右两台摄像机去模仿人类的双目视觉机理，来计算目标场景的三维信息。因其具有便捷、低成本、实时性较强且精度较高的特点，在机器人视觉、航空测绘、反求工程、国防军工、医学成像和工业检测等领域中得到了广泛应用。双目立体视觉通常使用人工标志点或自然特征点(角点)作为测量目标。其中，基于人工标志点的测量方式因其精度高、实时性强而应用广泛。获取左右相机序列图像中人工标志点(主要是非编码标志点)的匹配关系是其关键一步，也是保证双目立体视觉实时性和精度的基础。跟踪与匹配的准确性决定了检测的准确性，跟踪与匹配的速度决定了检测的效率。
[0003]中国专利技术专利ZL200710307748.6提出一种基于卡尔曼滤波器的帧间标志点跟踪方法。但该方法在初始化阶段需要通过手本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，包括如下步骤：第一步，左右视图管道初始化控制左右相机同步采集N帧图像，完成管道初始化，N为管道长度；第二步，左右视图管道对应关系构建结合形状上下文算法与极线约束建立左右视图管道对应关系；第三步，管道与标志点ID关联将第二步所构建的左右视图中的对应管道与圆形非编码标志点的ID关联；第四步，左右相机同步采集一帧图像控制左右相机实时同步采集一帧圆形非编码标志点图像；第五步，标志点实时检测提取第四步所采集的图像中标志点的中心坐标；第六步，帧间标志点实时跟踪基于所构建的管道及其对应关系实现第五步所提取的圆形非编码标志点的帧间实时跟踪；第七步，左右视图标志点实时匹配根据第六步帧间标志点跟踪结果，实时匹配左右视图中的圆形非编码标志点；第八步，管道更新根据标志点跟踪与匹配结果，对管道进行更新；第九步，判断是否停止序列图像的实时采集；若是，则结束圆形非编码标志点的实时跟踪与匹配；否则，重复执行第四步至第八步，实时采集图像、实时跟踪与匹配。2.根据权利要求1所述双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，所述第一步左右视图管道初始化包含如下步骤：1)控制左右相机同步采集第1帧图像，其中在采集图像之前对左右相机进行双目标定，获得左右相机的内、外参数，用于后续外极线的求解；2)提取第1)步所采集的左右视图中圆形非编码标志点的中心坐标；3)为左右视图中的每一个圆形非编码标志点构建一个管道，管道中心为圆形非编码标志点的中心，管道的截面积大小为(2L+1)
×
(2L+1)，L为与相机帧率有关的计算参数，取L＝(40～200)d/F，其中d为像元大小，F为相机帧率；将管道计数器设置为1，消失帧计数器设置为0；按照管道构建的先后顺序，将左视图中所有圆形非编码标志点对应的管道加入一个队列，并标记为左视图管道队列；将右视图中所有圆形非编码标志点对应的管道加入另外一个队列，并标记为右视图管道队列；4)控制左右相机同步采集第a帧图像，a＝2,3,4,...,N，并提取所采集的第a帧图像中所有圆形非编码标志点的中心坐标；5)对第4)步所检测的左视图中的圆形非编码标志点进行管道归属，归属方法如下：对第4)步所提取的左视图中的每个圆形非编码标志点，判断其是否落入第3)步所构建的左视图管道队列中的某一个管道；若落入，则该管道的计数器加1，并将该管道的中心更新为该圆形非编码标志点的中心，归属成功；否则，归属失败，按第3)步所述方法为该圆形非编码标志点构建一个新管道，并加入左视图管道队列；
其中判断某一圆形非编码标志点是否落入某个管道的方法为：若该圆形非编码标志点中心坐标与某个管道中心坐标的x坐标分量的差的绝对值小于L，并且y坐标分量的差的绝对值也小于L，则判定该圆形非编码标志点落入该管道内；6)对第4)步所检测的右视图中的圆形非编码标志点进行管道归属，归属方法如下：对第4)步所提取的右视图中的每个圆形非编码标志点，判断其是否落入第3)步所构建的右视图管道队列中的某一个管道；若落入，则该管道的计数器加1，并将该管道的中心更新为该圆形非编码标志点的中心，归属成功；否则，归属失败，按第3)步所述方法为该圆形非编码标志点构建一个新管道，并加入右视图管道队列；7)管道编号若当前帧为第N帧，即a＝N时，对左右视图管道队列中的管道进行编号，过程如下：首先，将左视图管道队列中的每个管道的计数器与阈值K
c
做比较，若计数器大于或等于K
c
，则将该管道的编号设置为M
l
+1，M
l
为左视图管道队列中管道编号的最大值，M
l
初始值为0；若计数器小于K
c
，则将该管道的编号设置为
‑
1；其次，将右视图管道队列中的每个管道的计数器与阈值K
c
做比较，若计数器大于等于K
c
，则将该管道的编号设置为M
r
+1，M
r
为右视图管道队列中管道编号的最大值，M
r
初始值也为0；若计数器小于K
c
，则将该管道的编号设置为
‑
1。3.根据权利要求2所述双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，所述2)、4)以及所述第五步，均利用圆形非编码标志点实时检测算法提取中心坐标，所述的圆形非编码标志点实时检测算法流程包括：首先，在CPU端与GPU端进行初始化，即在CPU端分配足够的锁页内存用于存储所采集的图像、在GPU端的全局内存中分配足够的内存区域用于GPU端处理过程中数据的存储；其次，将所采集的左右视图从CPU端上传至GPU端，传输时采用异步传输，即左视图传输完成后就启动左视图的二值化处理，同时启动右视图的异步上传，左视图二值化后，在GPU端采用两步法进行连通域标记与分析，并在此基础上提取圆形非编码标志点的整像素边缘；接下来，在GPU端基于空间矩法进行亚像素边缘的提取，并采用最小二乘椭圆拟合算法获得圆形非编码标志点的中心坐标；最后，将左视图检测结果从GPU端异步传输至CPU端，同时启动右视图的二值化处理，二值化后进行连通域标记与分析、整像素与亚像素边缘提取及最小二乘椭圆拟合操作，从而获得右视图中圆形非编码标志点的中心坐标，并将检测结果异步传输至CPU端，完成左右视图中圆形非编码标志点的在线实时检测。4.根据权利要求2所述双目序列图像中圆形非编码标志点在线实时跟踪与匹配方法，其特征在于，所述第二步左右视图管道对应关系构建方法如下：1)设左视图管道队列中编号不为
‑
1的管道中心集合为P＝{p1,p2,...,p
n
}，n表示管道数量；首先，任选其中一个管道中心p
i
为参考点，1≤i≤n，建立以p
i
为极点的极坐标系；其次，创建以极点为圆心、R为半径的圆，R＝log(max(p
b
‑
p
i
))，1≤b≤n，max()表示取最大值函数，log()表示对数函数；最后将该圆在极径方向上按对数距离等分为k1份，沿极角方向等分为k2份，则该区域被划分成了k1×
k2个子区域；其中k1取5～7，k2取10～12；2)统计P中其余管道中心在第1)步所划分的子区域中的数量，得到直方图h
i
(k)，1≤k≤k1×
k2，称为p
i
的形状上下文；3)以P中其余管道中心为参考点，重复第1)步与第2)步，计算出P中其余管道中心的形状上下文；
4)设右视图管道队列中编号不为
‑
1的管道中心集合为Q＝{q1,q2...,q
m
}，m表示管道数量，按照第1)步到第3)步所述流程，计算出Q中的管道中心的形状上下文；5)相似性度量矩阵计算，相似性度量矩阵C第i行第j列的值C
ij
的计算方法如下：其中，h
i
(k)与h
j
(k)分别表示计算的左视图管道队列中管道中心p
i
和右视图管道队列中管道中心q
j
的形状上下文，1≤i≤n，1≤j≤m；6)基于第5)步所计算的相似性度量矩阵C，采用二分图匹配算法求解最优匹配π，求解最优匹配π时的优化目标函数为：其中，π表示左视图管道队列中的管道中心与右视图管道队列中的管...

【专利技术属性】
技术研发人员：史宝全，张义炫，顾为晨，阮治江，李胜超，侯天枢，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：