一种基于置信度和特征融合的无纹理三维物体跟踪方法技术

本发明专利技术涉及一种基于置信度和特征融合的无纹理三维物体跟踪方法,该跟踪方法的过程包括：(1)建立颜色模型；(2)使用集束结构将像素点分为轮廓点和区域点；(3)根据轮廓点的置信度与与区域点的置信度，确定边缘项的权重α

【技术实现步骤摘要】
一种基于置信度和特征融合的无纹理三维物体跟踪方法
本专利技术涉及一种基于置信度和特征融合的无纹理三维物体跟踪方法，属于计算机视觉领域。
技术介绍
三维物体跟踪能够连续获得三维物体与相机之间的空间位置关系，是计算机视觉中的一项重要任务。目前三维跟踪已经有着广泛的应用场景，例如工业制造、医学诊断、娱乐游戏、机器人等领域。三维物体跟踪根据使用的视频数据类型不同，可以大致分为两类：基于RGB-D视频数据的三维跟踪和基于RGB视频数据的三维跟踪[LepetitV,FuaP.Monocularmodel-based3dtrackingofrigidobjects:Asurvey.FoundationsandinComputerGraphicsandVision,2005,1(1):1-89.]。基于RGB-D数据跟踪的方法通过深度相机能获得场景中的三维信息，故基于RGB-D视频数据的三维跟踪方法能显著提高算法的稳定性。但该类方法需要配备深度相机，并受限于深度相机的使用条件，往往在室外场景以及物体较远时方法失效。基于RGB视频数据的跟踪根据物体纹理性质可以分为有纹理和无纹理物体跟踪。有纹理物体跟踪容易在图像上检测特征点，如稳定的SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)和ORB(OrientedFASTandRotatedBRIEF，一种快速特征点提取和描述的算法)特征点，并根据特征点间的对应关系获得较为鲁棒稳定的位姿参数。当物体没有纹理或纹理较弱时，不足以提取稳定特征点，会使该类方法失效。目前，无纹理或弱纹理物体的跟踪则仍然面临诸多挑战，其面对的主要问题是无法找到特征点之间准确的对应关系。目前主要的方法分为基于边缘的方法和基于区域的方法；基于边缘的方法通常使用边缘特征匹配找到三维模型投影轮廓与输入图像边缘的对应关系，通过最小化二者之间误差迭代计算出物体的最优位姿[B.Seo,H.Park,J.Park,S.Hinterstoisser,S.Llic:Optimallocalsearchingforfastandrobusttexture-less3dobjecttrackinginhighlyclutteredbackgrounds.IEEETransactionsonVisualizationandComputerGraphics,20(1):99-110,2014],[GuofengWang,BinWang,FanZhong,XueyingQin,BaoquanChen:Globaloptimalsearchingfortextureless3Dobjecttracking.TheVisualComputer31(6-8):979-988(2015)],[WangB,ZhongF,QinX.Robustedge-based3Dobjecttrackingwithdirection-basedposevalidation.MultimediaToolsandApplications,2019,78(9):12307-12331]。该类方法所涉及的采样点较少，因此具有显著的速度优势；基于边缘依赖于图像边缘线提取效果，当背景复杂或运动模糊时，边缘特征不易提取，算法容易跟踪失败。基于区域的方法即基于颜色的方法，通过最大化前景和背景的颜色差异求解最优位姿，其划分前背景区域的过程也是隐式寻找物体轮廓的过程，在背景复杂场景的跟踪中更加具有优势[PrisacariuVA,ReidID.PWP3D:real-timesegmentationandtrackingof3Dobjects.InternationalJournalofComputerVision,2012,98(3):335-354],[H.Tjaden,U.Schwanecke,E.Schomer,andD.Cremers.Aregion-basedgauss-newtonapproachtoreal-timemonocularmultipleobjecttracking.IEEEtransactionsonpatternanalysisandmachineintelligence,2019.]。该类方法根据前背景颜色建立颜色概率模型，因此在一些复杂情况，例如前背景颜色相似、光照变化剧烈等场景，会导致图像颜色变化剧烈，使颜色模型不能及时更新导致跟踪失败。将两种特征融合进行三维物体跟踪可以应对使用单类特征时失败的场景。虽然，目前已有一些基于特征融合的方法，但是这些方法仅仅是将边缘特征能量项与颜色特征能量项简单相加，使用一个平衡参数λ调整两个能量项之间的权重。这使得边缘项涉及的优化点与颜色项涉及的优化点相互独立，丢失二者之间的隐含关系，存在采样点不统一的问题。另外，边缘项与颜色项有着各自的能量函数及优化方式，使其能量函数单位不同，即存在特征度量不统一的问题。尽管λ可以平衡二者之间的度量，但其计算过程中往往包含一些需要手动选取的关键参数，导致在不同场景下关键参数选取的值差异很大，不能满足算法的普适性。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于置信度和特征融合的无纹理三维物体跟踪方法，该跟踪方法在融合颜色特征和边缘特征的基础上，解决单类特征在特定场景下可能失效的问题。边缘特征涉及的采样点为物体轮廓点；颜色特征涉及的采样点为物体轮廓周围的区域点，同时包括前景点和背景点；针对两种特征涉及的不同采样点，本专利技术使用集束结构，将轮廓点与区域点重新组合并统一到一个能量函数中，考虑两类采样点间的隐含关系，解决采样点不统一的问题。本专利技术对边缘点与区域点分别计算置信度，将其自动归一化，并依据置信度计算各个能量项的权重，解决不同特征误差度量不统一的问题，同时避免额外超参数的设置；依据置信度计算每个集束的权重，以此设置其参与优化的权重，屏蔽外点带来的负面影响。术语解释：1.集束结构：由所有模型投影轮廓点的法线构造，每个集束结构由17个采样点构成，包括1个轮廓点、8个前景点和8个背景点。2.三维模型：三维模型是物体的几何表示，储存了物体的顶点信息和面信息，描述物体的顶点和面在物体坐标系下的空间位置。本专利技术的技术方案为：一种基于置信度和特征融合的无纹理三维物体跟踪方法,该跟踪方法包括如下步骤：(1)将跟踪物体的三维模型、RGB单目相机拍摄的每一帧图像、第一帧位姿输入到计算机中，分别根据前景点、背景点和不确定区域点的颜色信息，使用颜色直方图建立对应的前景区域的颜色模型、背景区域的颜色模型和不确定区域的颜色模型；(2)根据第一帧位姿将物体进行投影得到轮廓点，对于任一轮廓点xi，沿其法线方向构造集束Li，每个集束Li包括1个轮廓点xi和16个区域点16个区域点包括8个前景点和8个背景点，同时轮廓点也属于区域点，即所有集束中的点构成优化区域；(3)分别计算轮廓点xi和区域点的能量函数，并根据轮廓点xi的置信度与区域点的置信度，确定集束Li上边缘项的权重αi本文档来自技高网...

【技术保护点】
1.一种基于置信度和特征融合的无纹理三维物体跟踪方法,其特征在于，该跟踪方法包括如下步骤：/n(1)将跟踪物体的三维模型、RGB单目相机拍摄的每一帧图像、第一帧位姿输入到计算机中，分别根据前景点、背景点和不确定区域点的颜色信息，使用颜色直方图建立对应的前景区域的颜色模型、背景区域的颜色模型和不确定区域的颜色模型；/n(2)根据第一帧位姿将物体进行投影得到轮廓点，对于任一轮廓点x

【技术特征摘要】
1.一种基于置信度和特征融合的无纹理三维物体跟踪方法,其特征在于，该跟踪方法包括如下步骤：
(1)将跟踪物体的三维模型、RGB单目相机拍摄的每一帧图像、第一帧位姿输入到计算机中，分别根据前景点、背景点和不确定区域点的颜色信息，使用颜色直方图建立对应的前景区域的颜色模型、背景区域的颜色模型和不确定区域的颜色模型；
(2)根据第一帧位姿将物体进行投影得到轮廓点，对于任一轮廓点xi，沿其法线方向构造集束Li，每个集束Li包括1个轮廓点xi和16个区域点16个区域点包括8个前景点和8个背景点，同时轮廓点也属于区域点，即所有集束中的点构成优化区域；
(3)分别计算轮廓点xi和区域点的能量函数，并根据轮廓点xi的置信度与区域点的置信度，确定集束Li上边缘项的权重αi、颜色项的权重βi；对于每个集束Li，其优化方程为：



式(I)中，Ebundle(xi,ξ)表示集束Li的能量函数，ξ表示位姿参数，由李代数表示；eedge(xi,ξ)表示轮廓点xi的能量函数，表示区域点的能量函数；αi表示边缘项的权重，βi表示颜色项的权重，λ表示边缘项与颜色项的平衡参数；
(4)优化区域中所有集束对应总的能量方程为：



式(II)中，E(ξ)表示最终优化的能量函数，ωi表示集束Li的权重；C表示物体的投影轮廓；
求最优位姿使得对应的最终优化的能量函数最小；即为当前帧图像的返回值，表示算法计算得到了物体相对于相机的位姿，用和物体的三维模型进行渲染，得到当前帧图像上的物体区域；另外，又作为下一帧图像的初始位姿进行跟踪；
(5)从第二帧图像开始，依据当前帧图像、上一帧图像位姿及物体的三维模型进行当前帧的跟踪，重复步骤(2)-(4)，得到当前帧的位姿及当前帧的渲染图像，直到跟踪结束。


2.根据权利要求1所述的一种基于置信度和特征融合的无纹理三维物体跟踪方法,其特征在于，步骤(3)中，根据轮廓点xi的置信度与区域点的置信度，确定集束Li上边缘项的权重αi、颜色项的权重βi，具体过程包括：
A、根据梯度方向计算轮廓点xi的置信度，轮廓点xi的置信度计算公式为：
cedge(xi)＝|cos(oriI(xi)-oriI′(xi))|(III)
式(III)中，cedge(xi)表示轮廓点xi的置信度；oriI(xi)表示输入图像...

【专利技术属性】
技术研发人员：秦学英，李佳宸，钟凡，宋修强，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37