一种基于边缘置信度的三维物体跟踪方法技术

本发明专利技术公开了一种基于边缘置信度的三维物体跟踪方法,计算机视觉技术领域。该跟踪方法包括：(1)在物体投影轮廓上建立颜色模型；(2)使用法向搜索线在边缘图像上采样候选轮廓点；(3)使用边缘点的颜色特征和距离特征计算其边缘置信度，并根据置信度确定匹配的物体轮廓点；(4)使用边缘置信度对匹配轮廓点的能量项进行加权，根据所有匹配轮廓点的能量方程，求最优位姿，重复求解帧图像对应的位姿，实现三维物体的跟踪。本发明专利技术的方法解决复杂背景和遮挡情况下容易产生错匹配轮廓点以及错匹配轮廓点导致跟踪偏移和失败的问题。

【技术实现步骤摘要】
一种基于边缘置信度的三维物体跟踪方法
本专利技术属于计算机视觉
，具体地涉及一种基于边缘置信度的三维物体跟踪方法。
技术介绍
三维物体跟踪能够连续获得三维物体与相机之间的空间位置关系，是计算机视觉中的一项重要任务。目前三维跟踪已经有着广泛的应用场景，例如工业制造、医学诊断、娱乐游戏、机器人等领域。三维物体跟踪根据使用的图像特征类型不同，可以大致分为三类：基于特征点的方法，基于区域的方法和基于边缘的方法。基于特征点的方法需要在图像上检测稳定的尺度不变特征变换(Scale-invariantfeaturetransform，SIFT)和快速特征点提取和描述的算法(OrientedFASTandRotatedBRIEF，ORB)特征点，并根据特征点间的对应关系获得较为鲁棒稳定的位姿参数。当物体没有纹理或纹理较弱时，不足以提取稳定特征点，会使该类方法失效。目前，无纹理或弱纹理物体的跟踪则仍然面临诸多挑战，其面对的主要问题是无法建立特征点之间准确的对应关系。目前适用于无纹理或弱纹理物体的跟踪方法是基于区域的方法和基于边缘的方法。基于区域的方法通过最大化前景和背景的颜色差异求解最优位姿参数，其划分前背景区域的过程也是隐式寻找物体轮廓的过程，在背景复杂场景的跟踪中更加具有优势，该类方法根据前背景颜色建立颜色概率模型，因此在一些复杂情况，例如前背景颜色相似、光照变化剧烈等场景，会导致图像颜色变化剧烈，使颜色模型不能及时更新导致跟踪失败。基于边缘的方法使用边缘特征找到物体的三维模型轮廓点与二维图像轮廓点的对应关系，通过最小化三维轮廓点的重投影误差迭代计算出物体的最优位姿参数，该类方法所涉及的采样点较少，因此具有显著的速度优势；但是该类方法依赖于图像轮廓点的匹配效果，当背景存在大量复杂边缘或物体被遮挡时，现有方法容易产生大量错匹配的物体轮廓点，导致跟踪偏移和失败。虽然，目前一些方法使用局部颜色特征提高物体轮廓点的匹配精度，但是这些方法仅仅使用简单的全局颜色直方图描述轮廓点附近的颜色信息，并不能准确描述复杂前景和背景局部区域的颜色信息。另外，现有方法使用轮廓点的距离特征来判断轮廓点是否被错匹配，并对轮廓点的能量项进行加权，但是当物体存在结构复杂或快速运动时，仅仅使用距离特征并不能有效区分错匹配轮廓点，导致复杂场景和物体快速运动情况下跟踪的稳定性和准确性较差，不能满足增强现实的应用需求。
技术实现思路
针对现有技术中存在的问题，本专利技术提供了一种基于边缘置信度的三维物体跟踪方法，该三维物体跟踪方法在融合边缘的颜色特征和边缘特征，解决了单类特征在特定场景下可能失效的问题。为实现上述目的，本专利技术采用如下技术方案：一种基于边缘置信度的三维物体跟踪方法,具体包括如下步骤：(1)将跟踪物体的三维模型投影到第一帧图像上，在三维模型投影的轮廓附近采用若干个局部圆形区域，根据圆形区域内的第一帧图像的像素颜色建立对应的前景区域颜色模型和背景区域颜色模型；(2)根据第一帧位姿将物体投影到第一帧图像上，得到投影轮廓点，过任一投影轮廓点，在垂直于三维模型投影轮廓的方向上构造法相搜索线，每条法相搜索线上包括：投影轮廓点、前景点和背景点；(3)使用Canny边缘检测算法提取第一帧图像中纹理边缘，将与法相搜索线相交的纹理边缘点作为候选点；(4)分别根据前景区域颜色模型和背景区域颜色模型计算每个候选点属于前景边缘点概率、属于背景边缘点概率和属于物体轮廓点的概率，并保留属于物体轮廓点的概率大于属于前景边缘点概率且属于物体轮廓点的概率大于属于背景边缘点概率的候选点；(5)对步骤(4)保留的每个候选点，结合颜色特征置信度和距离特征置信度计算该候选点属于物体轮廓点的置信度，找到与每条法相搜索线上置信度最大的候选点相匹配的跟踪物体轮廓点；(6)根据步骤(5)得到的跟踪物体轮廓点和投影轮廓点，最小化跟踪物体轮廓点对应的能量函数，估计出第二帧最优位姿；(7)利用步骤(6)估计出第二帧最优位姿重复步骤(2)-(6)，进行三维物体跟踪。进一步地，候选点属于物体轮廓点的概率P(hij|C)的计算过程为：其中，hij表示第i条搜索线上的第j个候选点，Pf(x)表示法相搜索线上采样点x处的颜色值属于前景区域的概率，Pb(x)表示法相搜索线上采样点x处的颜色值属于背景区域的概率，表示候选点hij的左侧区域，表示候选点hij的右侧区域。进一步地，候选点属于前景边缘点概率P(hij|F)的计算过程为：进一步地，候选点属于背景边缘点概率P(hij|B)的计算过程为：进一步地，步骤(5)中距离特征置信度wd(hij)具体为：其中，D(hij)为候选点与投影轮廓点在图像上的欧氏距离，当D(hij)大于阈值λd时，表示该候选点为干扰点,将置信度wd(hij)设置为0。进一步地，步骤(5)中颜色特征置信度具体为：wc(hij)＝[1-(1-P(hij|C))2]2(5)进一步地，该候选点属于物体轮廓点的置信度w(hij)的计算过程为：w(hij)＝wd(hij)wc(hij)(6)进一步地，所述能量函数E(ξ)为：其中，ni表示法向搜索线Li的方向向量，w(si)表示物体轮廓点si的权重；C表示物体模型的投影轮廓；表示最优位姿。与现有技术相比，本专利技术的有益效果是：1.本专利技术提供的一种基于边缘置信度的三维物体跟踪方法。结合边缘点的颜色特征和距离特征计算候选边缘点的边缘置信度，解决单类特征在物体轮廓点匹配和位姿参数优化中可能失效的问题。使用边缘置信度进行三维物体跟踪以应对各种复杂的场景，将颜色特征和距离特征融合可以应用于不同的场景，提高了跟踪鲁棒性。2.本专利技术使用候选边缘点的颜色特征滤除非物体轮廓点：颜色特征涉及的采样点为物体轮廓周围的区域点，同时包括前景点和背景点；不同于以往方法在所有候选边缘点中搜索匹配物体轮廓点。本专利技术考虑候选轮廓点附近的颜色特征计算其属于前景边缘点，背景边缘点和物体轮廓的概率，通过比较这三个概率滤除非物体轮廓点，解决非物体轮廓点容易干扰物体轮廓点搜索和位姿参数优化的问题。3.本专利技术中边缘置信度的加入可以极大提高边缘匹配的精度，边缘置信度结合边缘点的颜色特征和距离特征，可以评判搜索线上所有候选边缘点属于物体轮廓点的置信度，解决以往方法仅使用边缘点的距离特征导致大量错匹配轮廓点的问题。4.本专利技术提供的跟踪方法中，依据边缘置信度计算每个物体轮廓点的权重，根据轮廓点的置信度动态调整其参与位姿优化的权重，可以屏蔽低置信度的错匹配轮廓点带来的负面影响，提高位姿参数优化的精度。5.本专利技术通过在物体轮廓点匹配和位姿参数优化阶段使用边缘置信度，能够完成在复杂场景下(如复杂背景，前背景颜色相似，快速移动造成的运动模糊，光照变化等)的三维物体跟踪；其跟踪速度约为30帧每秒，满足实时性要求。具体实施方式本专利技术提供了一种基于边缘置信度的三维物体跟踪方法,具体包括本文档来自技高网...

【技术保护点】
1.一种基于边缘置信度的三维物体跟踪方法,其特征在于，具体包括如下步骤：/n(1)将跟踪物体的三维模型投影到第一帧图像上，在三维模型投影的轮廓附近采用若干个局部圆形区域，根据圆形区域内的第一帧图像的像素颜色建立对应的前景区域颜色模型和背景区域颜色模型；/n(2)根据第一帧位姿将物体投影到第一帧图像上，得到投影轮廓点，过任一投影轮廓点，在垂直于三维模型投影轮廓的方向上构造法相搜索线，每条法相搜索线上包括：投影轮廓点、前景点和背景点；/n(3)使用Canny边缘检测算法提取第一帧图像中纹理边缘，将与法相搜索线相交的纹理边缘点作为候选点；/n(4)分别根据前景区域颜色模型和背景区域颜色模型计算每个候选点属于前景边缘点概率、属于背景边缘点概率和属于物体轮廓点的概率，并保留属于物体轮廓点的概率大于属于前景边缘点概率且属于物体轮廓点的概率大于属于背景边缘点概率的候选点；/n(5)对步骤(4)保留的每个候选点，结合颜色特征置信度和距离特征置信度计算该候选点属于物体轮廓点的置信度，找到与每条法相搜索线上置信度最大的候选点相匹配的跟踪物体轮廓点；/n(6)根据步骤(5)得到的跟踪物体轮廓点和投影轮廓点，最小化跟踪物体轮廓点对应的能量函数，估计出第二帧最优位姿；/n(7)利用步骤(6)估计出第二帧最优位姿重复步骤(2)-(6)，进行三维物体跟踪。/n...

【技术特征摘要】
1.一种基于边缘置信度的三维物体跟踪方法,其特征在于，具体包括如下步骤：
(1)将跟踪物体的三维模型投影到第一帧图像上，在三维模型投影的轮廓附近采用若干个局部圆形区域，根据圆形区域内的第一帧图像的像素颜色建立对应的前景区域颜色模型和背景区域颜色模型；
(2)根据第一帧位姿将物体投影到第一帧图像上，得到投影轮廓点，过任一投影轮廓点，在垂直于三维模型投影轮廓的方向上构造法相搜索线，每条法相搜索线上包括：投影轮廓点、前景点和背景点；
(3)使用Canny边缘检测算法提取第一帧图像中纹理边缘，将与法相搜索线相交的纹理边缘点作为候选点；
(4)分别根据前景区域颜色模型和背景区域颜色模型计算每个候选点属于前景边缘点概率、属于背景边缘点概率和属于物体轮廓点的概率，并保留属于物体轮廓点的概率大于属于前景边缘点概率且属于物体轮廓点的概率大于属于背景边缘点概率的候选点；
(5)对步骤(4)保留的每个候选点，结合颜色特征置信度和距离特征置信度计算该候选点属于物体轮廓点的置信度，找到与每条法相搜索线上置信度最大的候选点相匹配的跟踪物体轮廓点；
(6)根据步骤(5)得到的跟踪物体轮廓点和投影轮廓点，最小化跟踪物体轮廓点对应的能量函数，估计出第二帧最优位姿；
(7)利用步骤(6)估计出第二帧最优位姿重复步骤(2)-(6)，进行三维物体跟踪。


2.根据权利要求1所述基于边缘置信度的三维物体跟踪方法,其特征在于，候选点属于物体轮廓点的概率P(hij|C)的计算过程为：



其中，hij表示第i条搜索线上的第j个候选点，Pf(x)表示法相搜索线上采样点x处的颜色值属于前...

【专利技术属性】
技术研发人员：李特，黄鸿，陈文轩，钟凡，秦学英，
申请(专利权)人：之江实验室，
类型：发明
国别省市：浙江;33