视频中三维物体边缘追踪的方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供了一种视频中三维物体边缘追踪的方法、装置、设备及存储介质。该方法包括：获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；确定当前帧图像中与前一帧图像中的边缘点对应的匹配点；根据前一帧图像中的每个边缘点与周围边缘点的位置关系，当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。能够使计算出的目标三维物体的相对姿态更加准确，进而更好地对目标三维物体的边缘进行追踪。

Method, Device, Equipment and Storage Media for Tracking the Edge of 3D Objects in Video

The embodiment of this application provides a method, device, device and storage medium for edge tracking of three-dimensional objects in video. The method includes: acquiring the edge points in the edge contour of the three-dimensional object in the previous frame image; determining the matching points corresponding to the edge points in the current frame image and the previous frame image; and determining the wrong matching points according to the position relationship between each edge point in the previous frame image and the surrounding edge points, the position relationship between the matching points corresponding to each edge point in the current frame image and the surrounding matching points. Collocation point pairs and correct matching point pairs; according to the correct matching point pairs and the model information of the target three-dimensional object, the relative attitude of the target three-dimensional object in the current frame image and the previous frame image is calculated. It can make the relative attitude of the three-dimensional object more accurate, and then better track the edge of the three-dimensional object.

【技术实现步骤摘要】
视频中三维物体边缘追踪的方法、装置、设备及存储介质
本申请实施例涉及视频处理
，尤其涉及一种视频中三维物体边缘追踪的方法、装置、设备及存储介质。
技术介绍
随着视频采集设备的技术成熟，越来越多的领域应用视频作为信息记录和分析的手段。在大量的视频中确定特定三维物体在画面中的位置，并对其进行快速定位和持续追踪，是对视频进行进一步操作与分析的基础。由于对于视频中的三维物体，基于边缘追踪方法相较于基于点的追踪方法更具有鲁棒性。所以通常采用边缘追踪方法对视频中三维物体进行追踪。采用边缘追踪方法对视频中三维物体进行追踪时，由于寻找前后两帧三维物体边缘轮廓的匹配点的过程中，有时会因为光照、背景变化等原因寻找到错误的匹配点对，现有技术中直接采用具有错误匹配点对的数据进行相对姿态的计算，而未对错误匹配点对进行处理，使计算出的三维物体的相对姿态不准确，从而不能更好地对三维物体的边缘进行追踪。
技术实现思路
本申请实施例提供一种视频中三维物体边缘追踪的方法、装置、设备及存储介质，解决了现有技术中的视频中三维物体边缘追踪的方法直接采用具有错误匹配点对的数据进行相对姿态的计算，而未对错误匹配点对进行处理，使计算出的三维物体的相对姿态不准确，从而不能更好地对三维物体的边缘进行追踪的技术问题。本申请实施例第一方面提供一种视频中三维物体边缘追踪的方法，包括：获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；确定当前帧图像中与所述前一帧图像中的边缘点对应的匹配点；根据所述前一帧图像中的每个边缘点与周围边缘点的位置关系，所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；根据所述正确匹配点对和所述目标三维物体的模型信息计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态。本申请实施例第二方面提供一种视频中三维物体边缘追踪的装置，包括：边缘点获取模块，用于获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；匹配点确定模块，用于确定当前帧图像中与所述前一帧图像中的边缘点对应的匹配点；匹配点对确定模块，用于根据所述前一帧图像中的每个边缘点与周围边缘点的位置关系，所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；相对姿态计算模块，用于根据所述正确匹配点对和所述目标三维物体的模型信息计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态。本申请实施例第三方面提供一种终端设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述第一方面所述的方法。本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行如上述第一方面所述的方法。基于以上各方面，本申请实施例通过获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；确定当前帧图像中与前一帧图像中的边缘点对应的匹配点；根据前一帧图像中的每个边缘点与周围边缘点的位置关系，当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；根据正确匹配点对和目标三维物体的模型信息计算当前帧图像和前一帧图像中的目标三维物体的相对姿态。由于在确定前后两帧目标三维物体边缘轮廓的匹配点的过程中，剔除了错误匹配点对，保留了正确匹配点对，根据正确匹配点计算出目标三维物体的相对姿态，使计算出的目标三维物体的相对姿态更加准确，进而更好地对目标三维物体的边缘进行追踪。应当理解，上述
技术实现思路
部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。附图说明图1为本申请实施例一提供的视频中三维物体边缘追踪的方法的流程图；图2为本申请实施例二提供的视频中三维物体边缘追踪的方法的流程图；图3为本申请实施例三提供的视频中三维物体边缘追踪的装置的结构示意图；图4为本申请实施例四提供的视频中三维物体边缘追踪的装置的结构示意图；图5为本申请实施例五提供的终端设备的结构示意图。具体实施方式下面将参照附图更详细地描述本申请的实施例。虽然附图中显示了本申请的某些实施例，然而应当理解的是，本申请可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本申请。应当理解的是，本申请的附图及实施例仅用于示例性作用，并非用于限制本申请的保护范围。本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。以下将参照附图来具体描述本申请的实施例。实施例一图1为本申请实施例一提供的视频中三维物体边缘追踪的方法的流程图，如图1所示，本申请实施例的执行主体为视频中三维物体边缘追踪的装置，该视频中三维物体边缘追踪的装置可以集成在终端设备中。终端设备可以为计算机，笔记本电脑，视频处理设备等，则本实施例提供的视频中三维物体边缘追踪的方法包括以下几个步骤。步骤101，获取前一帧图像中目标三维物体的边缘轮廓中的边缘点。具体地，本实施例中，首先可从相机或摄像机拍摄的视频中获取前一帧图像，在前一帧图像中具有目标三维物体，可利用前一帧图像中的目标三维物体的姿态对目标三维物体的模型进行投影，从投影结果获得目标三维物体的边缘轮廓、具体地，从投影结果获得目标三维物体的边缘轮廓的方法可以为：对目标三维物体进行渲染，从渲染工具中获取zbuffer图像，再对zbuffer图像进行二值化处理，最后对二值图像提取轮廓信息，其中，zbuffer是对在为目标三维物件进行着色时，执行“隐藏面消除”工作的一项技术，所以隐藏目标三维物件背后的部分就不会被显示出来。从目标三维物体的边缘轮廓中获取边缘点。其中，边缘点的获取方式可以为沿着边缘轮廓等间隔地采集边缘点，或者采用移动边缘算法将边缘轮廓划分为一个个短小的线段，将一个个线段的中点确定为边缘轮廓的边缘点。也可采用其他方式获取边缘点，本实施例中对此不做限定。步骤102，确定当前帧图像中与前一帧图像中的边缘点对应的匹配点。本实施例中，首先从相机或摄像机拍摄的视频中获取当前帧图像，在当前帧图像中具有目标三维物体。可采用点匹配的方法确定当前帧图像中与前一帧图像中的边缘点对应的匹配点。具体地，本实施例中，确定当前帧图像中与前一帧图像中的边缘点对应的匹配点可以为：将前一帧图像中的边缘点与当前帧图像中的点采用像素值匹配的方法进行点匹配，确定当前帧图像中与前一帧图像中的边缘点对应的匹配点。确定当前帧图像中与前一帧图像中的边缘点对应的匹配点还可以为：计算前一帧图像中的每个边缘点与当前帧图像中对应的搜索范围内的每个像素点的相似度，将相似度最高的本文档来自技高网...

【技术保护点】
1.一种视频中三维物体边缘追踪的方法，其特征在于，包括：获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；确定当前帧图像中与所述前一帧图像中的边缘点对应的匹配点；根据所述前一帧图像中的每个边缘点与周围边缘点的位置关系，所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；根据所述正确匹配点对和所述目标三维物体的模型信息计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态。

【技术特征摘要】
1.一种视频中三维物体边缘追踪的方法，其特征在于，包括：获取前一帧图像中目标三维物体的边缘轮廓中的边缘点；确定当前帧图像中与所述前一帧图像中的边缘点对应的匹配点；根据所述前一帧图像中的每个边缘点与周围边缘点的位置关系，所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对；根据所述正确匹配点对和所述目标三维物体的模型信息计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态。2.根据权利要求1所述的方法，其特征在于，所述获取前一帧图像中目标三维物体的边缘轮廓中的边缘点，包括：采用移动边缘算法将所述前一帧图像中目标三维物体的边缘轮廓划分为多个线段；将每个线段的中点确定为所述前一帧图像中目标三维物体的边缘轮廓中的边缘点。3.根据权利要求2所述的方法，其特征在于，所述确定当前帧图像中与所述前一帧图像中的边缘点对应的匹配点，包括：计算所述每个线段的中点与所述当前帧图像中对应的搜索范围内的每个像素点的相似度；将相似度最高的像素点确定为所述前一帧图像中的边缘点对应的匹配点。4.根据权利要求3所述的方法，其特征在于，所述计算所述每个线段的中点与所述当前帧图像中对应的搜索范围内的每个像素点的相似度，包括：根据每个线段的方向确定对应的匹配模板；将所述每个线段对应的匹配模板分别与所述当前帧图像中对应的搜索范围内的每个像素点做卷积计算，以得到每个线段中点与对应的所有像素点的卷积值；将所述每个线段中点与对应的所有像素点的卷积值确定为每个线段中点与对应的所有像素点的相似度。5.根据权利要求1所述的方法，其特征在于，所述根据所述前一帧图像中的每个边缘点与周围边缘点的位置关系，所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系确定错误匹配点对和正确匹配点对，具体包括：将所述前一帧图像中的每个边缘点与周围边缘点的位置关系与所述当前帧图像中每个边缘点对应的匹配点与周围匹配点的位置关系进行对比；若所述前一帧图像中的某个边缘点与周围边缘点的位置关系与所述当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差大于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为错误匹配点对；若所述前一帧图像中的某个边缘点与周围边缘点的位置关系与所述当前帧图像中该边缘点对应的匹配点与周围匹配点的位置关系相差小于或等于预设位置范围，则该边缘点和该边缘点对应的匹配点，该边缘点周围边缘点与对应的周围匹配点均为正确匹配点对。6.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述正确匹配点对和所述目标三维物体的模型信息计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态，具体包括：将所述正确匹配点对和所述目标三维物体的模型信息输入到视觉伺服模型中，以计算所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态；输出所述当前帧图像和所述前一帧图像中的所述目标三维物体的相对姿态。7.一种视频中三维物体边缘追踪的装置，其特征在于，包...

【专利技术属性】
技术研发人员：陈思利，刘赵梁，林源，张永杰，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11