基于边缘的动态投影映射对象跟踪方法和装置制造方法及图纸

本申请公开了一种基于边缘的动态投影映射对象跟踪方法和装置，涉及对象跟踪领域。该方法包括：检测已知的三维目标模型的轮廓；获取包括目标物体的当前帧；对所述当前帧中的目标物体进行实时跟踪，提取所述目标物体的二维边缘，将所述目标模型的轮廓与所述目标物体的二维边缘相对应，通过最小化所述目标模型的轮廓与所述二维边缘之间的距离，从所述当前帧中估计出所述目标物体的三维姿态。该装置包括：检测模块、获取模块和估计模块。本申请实现了动态投影映射，在保持边缘检测的高速特性的同时，提高了边缘检测的实时性和鲁棒性。

Tracking method and device of dynamic projection mapping object based on edge

【技术实现步骤摘要】
基于边缘的动态投影映射对象跟踪方法和装置
本申请涉及对象跟踪领域，特别是涉及一种基于边缘的动态投影映射对象跟踪方法和装置。
技术介绍
近年来，将图像投影到自由运动的真实目标物体上的动态投影映射作为一种奇异的外观编辑技术受到了广泛的关注。对运动目标的图像投影要求实时、高精度地估计目标的三维姿态。一些经典的方法，例如RAPiD方法和线段法是一种利用高速获取边缘的方法，这些方法通过对图像中线性部分的提取达到高速的要求。近些年一些研究者利用RGB-D相机获得的三维形状来估计目标物体的三维姿态。Christoph提出利用特征点法，通过提取物体的三维特征点获得目标的三维形状，并估计其姿态。但是，经典方法将目标对象限制为具有线性形状的对象，对于边缘模糊的物体精度较差。虽然RGB-D相机可以很容易地根据深度信息获得三维形状，但是由于该相机的不稳定性和时延导致估计精度下降和投影图像对运动目标的不对准。特征点法中三维特征点提取和对齐需要大量的处理时间，因此实时处理十分困难。
技术实现思路
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。根据本申请的一个方面，提供了一种基于边缘的动态投影映射对象跟踪方法，包括：检测已知的三维目标模型的轮廓；获取包括目标物体的当前帧；对所述当前帧中的目标物体进行实时跟踪，提取所述目标物体的二维边缘，将所述目标模型的轮廓与所述目标物体的二维边缘相对应，通过最小化所述目标模型的轮廓与所述二维边缘之间的距离，从所述当前帧中估计出所述目标物体的三维姿态。可选地，检测已知的三维目标模型的轮廓，包括：在已知的三维目标模型上均匀地生成采样点，并通过获取亮度梯度大于指定阈值的采样点来检测轮廓，将检测到的三维轮廓点映射为二维边缘空间中的二维轮廓点。可选地，提取所述目标物体的二维边缘，将所述目标模型的轮廓与所述目标物体的二维边缘相对应，包括：利用Canny边缘检测器提取所述目标物体的二维边缘，所述二维边缘包含从所述目标物体的表面和周围的由不均匀度检测到的外部物体的额外边缘，且每条边缘上都有候选点；将所述目标模型的轮廓投影到所述当前帧中目标物体的二维边缘附近，在所述二维边缘的候选点中，选取与所述目标模型的轮廓中相同边缘上的候选点，确立所述二维边缘与所述目标模型的轮廓的对应关系。可选地，选取与所述目标模型的轮廓中相同边缘上的候选点，包括：以最接近切向方向的边缘为相同边缘，选取与所述目标模型的轮廓中相同边缘上的候选点。可选地，检测已知的三维目标模型的轮廓，包括：在GPU图形处理器上检测已知的三维目标模型的轮廓，且与所述二维边缘的提取并行进行。根据本申请的另一个方面，提供了一种基于边缘的动态投影映射对象跟踪装置，包括：检测模块，其配置成检测已知的三维目标模型的轮廓；获取模块，其配置成获取包括目标物体的当前帧；估计模块，其配置成对所述当前帧中的目标物体进行实时跟踪，提取所述目标物体的二维边缘，将所述目标模型的轮廓与所述目标物体的二维边缘相对应，通过最小化所述目标模型的轮廓与所述二维边缘之间的距离，从所述当前帧中估计出所述目标物体的三维姿态。可选地，所述检测模块具体配置成：在已知的三维目标模型上均匀地生成采样点，并通过获取亮度梯度大于指定阈值的采样点来检测轮廓，将检测到的三维轮廓点映射为二维边缘空间中的二维轮廓点。可选地，所述估计模块具体配置成：利用Canny边缘检测器提取所述目标物体的二维边缘，所述二维边缘包含从所述目标物体的表面和周围的由不均匀度检测到的外部物体的额外边缘，且每条边缘上都有候选点；将所述目标模型的轮廓投影到所述当前帧中目标物体的二维边缘附近，在所述二维边缘的候选点中，选取与所述目标模型的轮廓中相同边缘上的候选点，确立所述二维边缘与所述目标模型的轮廓的对应关系。可选地，所述估计模块具体配置成：以最接近切向方向的边缘为相同边缘，选取与所述目标模型的轮廓中相同边缘上的候选点。可选地，所述检测模块具体配置成：在GPU图形处理器上检测已知的三维目标模型的轮廓，且与所述二维边缘的提取并行进行。根据本申请的又一个方面，提供了一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的方法。根据本申请的又一个方面，提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如上所述的方法。根据本申请的又一个方面，提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述的方法。本申请提供的技术方案，检测已知的三维目标模型的轮廓，获取包括目标物体的当前帧，对所述当前帧中的目标物体进行实时跟踪，提取所述目标物体的二维边缘，将所述目标模型的轮廓与所述目标物体的二维边缘相对应，通过最小化所述目标模型的轮廓与所述二维边缘之间的距离，从所述当前帧中估计出所述目标物体的三维姿态，实现了动态投影映射，在保持边缘检测的高速特性的同时，提高了边缘检测的实时性和鲁棒性，可以应用于各种目标对象，并可用作现实的图像表达技术。根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。附图说明后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：图1是根据本申请一个实施例的基于边缘的动态投影映射对象跟踪方法流程图；图2是根据本申请另一个实施例的基于边缘的动态投影映射对象跟踪方法流程图；图3是根据本申请另一个实施例的基于边缘的动态投影映射对象跟踪装置结构图；图4是根据本申请另一个实施例的计算设备结构图；图5是根据本申请另一个实施例的计算机可读存储介质结构图。具体实施方式图1是根据本申请一个实施例的基于边缘的动态投影映射对象跟踪方法流程图。参见图1，该方法包括：101：检测已知的三维目标模型的轮廓；102：获取包括目标物体的当前帧；103：对当前帧中的目标物体进行实时跟踪，提取目标物体的二维边缘，将目标模型的轮廓与目标物体的二维边缘相对应，通过最小化目标模型的轮廓与二维边缘之间的距离，从当前帧中估计出目标物体的三维姿态。本实施例中，可选的，检测已知的三维目标模型的轮廓，包括：在已知的三维目标模型上均匀地生成采样点，并通过获取亮度梯度大于指定阈值的采样点来检测轮廓，将检测到的三维轮廓点映射为二维边缘空间中的二维轮廓点。本实施例中，可选的，提取目标物体的二维边缘，将目标模型的轮廓与目标物体的二维边缘相对应，包括：...

【技术保护点】
1.一种基于边缘的动态投影映射对象跟踪方法，包括：/n检测已知的三维目标模型的轮廓；/n获取包括目标物体的当前帧；/n对所述当前帧中的目标物体进行实时跟踪，提取所述目标物体的二维边缘，将所述目标模型的轮廓与所述目标物体的二维边缘相对应，通过最小化所述目标模型的轮廓与所述二维边缘之间的距离，从所述当前帧中估计出所述目标物体的三维姿态。/n

【技术特征摘要】
1.一种基于边缘的动态投影映射对象跟踪方法，包括：
检测已知的三维目标模型的轮廓；
获取包括目标物体的当前帧；
对所述当前帧中的目标物体进行实时跟踪，提取所述目标物体的二维边缘，将所述目标模型的轮廓与所述目标物体的二维边缘相对应，通过最小化所述目标模型的轮廓与所述二维边缘之间的距离，从所述当前帧中估计出所述目标物体的三维姿态。


2.根据权利要求1所述的方法，其特征在于，检测已知的三维目标模型的轮廓，包括：
在已知的三维目标模型上均匀地生成采样点，并通过获取亮度梯度大于指定阈值的采样点来检测轮廓，将检测到的三维轮廓点映射为二维边缘空间中的二维轮廓点。


3.根据权利要求1所述的方法，其特征在于，提取所述目标物体的二维边缘，将所述目标模型的轮廓与所述目标物体的二维边缘相对应，包括：
利用Canny边缘检测器提取所述目标物体的二维边缘，所述二维边缘包含从所述目标物体的表面和周围的由不均匀度检测到的外部物体的额外边缘，且每条边缘上都有候选点；
将所述目标模型的轮廓投影到所述当前帧中目标物体的二维边缘附近，在所述二维边缘的候选点中，选取与所述目标模型的轮廓中相同边缘上的候选点，确立所述二维边缘与所述目标模型的轮廓的对应关系。


4.根据权利要求3所述的方法，其特征在于，选取与所述目标模型的轮廓中相同边缘上的候选点，包括：
以最接近切向方向的边缘为相同边缘，选取与所述目标模型的轮廓中相同边缘上的候选点。


5.根据权利要求1所述的方法，其特征在于，检测已知的三维目标模型的轮廓，包括：
在GPU图形处理器上检测已知的三维目标模型的轮廓，且与所述二维边...

【专利技术属性】
技术研发人员：宋旭博，
申请(专利权)人：北京影谱科技股份有限公司，
类型：发明
国别省市：北京;11