一种运动目标位姿跟踪方法及装置制造方法及图纸

本申请适用于计算机机器视觉技术领域，提供了一种运动目标位姿跟踪方法及装置，所述运动目标位姿跟踪方法包括：获取关于待跟踪目标的运动图像集；分别将所述运动图像集内各个运动图像帧导入特征提取网络，输出各个所述运动图像帧对应的特征卷积层图像；将所述特征卷积层图像导入跟踪网络，确定所述待跟踪目标在所述运动图像帧内的位姿信息；基于所述待跟踪目标在各个所述运动图像帧内的所述位姿信息以及所述运动图像集，确定所述待跟踪目标的运动跟踪数据。本申请通过自监督的深度学习来训练用于对运动目标进行位姿跟踪的神经网络，基于训练后的神经网络实时预测运动目标的位姿，实现对运动目标的位姿跟踪。

A method and device for tracking the pose of moving target

【技术实现步骤摘要】
一种运动目标位姿跟踪方法及装置
本申请属于图像处理
，尤其涉及一种运动目标位姿跟踪方法及装置。
技术介绍
人工智能今年来已成为全球范围内的研究热点之一，实现人工智能即使机器如人类一般进行思考，工作，而实现的方式之一就是赋予机械各种感知能力。其中在机械视觉
中，目标位姿跟踪技术具有重要意义。现有技术中目标位姿跟踪技术可以分为运动目标捕捉和目标姿态估计，运动目标捕捉技术包括有光流法、帧间差分法、背景减除法等方法，这些方法存在容易受外界因素影响精度，不能同时兼顾运动目标位置捕捉和目标轮廓检测，泛用性差等缺陷；目标姿态估计方法中ICP姿态估计算法需要在三维点云空间中进行迭代运算，这种方法存在参数获取困难，数据处理速度慢的缺陷。深度学习已经成为机器视觉、图像处理等领域的热点，现有技术中目标位姿跟踪技术基于深度学习，构建卷积神经网络，直接通过2D图像信息预测控制点图像坐标，进而建立2D-3D控制点对应，实现位姿参数的求解，但这种方法存在精度不高的缺陷。
技术实现思路
本申请实施例提供了一种运动目标位姿跟踪方法及装置，可以基于神经网络来预测运动目标的位姿信息，从而确定运动目标的运动跟踪数据，基于该运动跟踪数据实现对运动目标的位姿跟踪，提高对运动目标的运动跟踪精度，解决现有技术中对运动目标的运动跟踪精度不高的问题。第一方面，本申请实施例提供了一种运动目标位姿跟踪方法，包括：获取关于待跟踪目标的运动图像集；分别将所述运动图像集内各个运动图像帧导入特征提取网络，输出各个所述运动图像帧对应的特征卷积层图像；将所述特征卷积层图像导入跟踪网络，确定所述待跟踪目标在所述运动图像帧内的位姿信息；基于所述待跟踪目标在各个所述运动图像帧内的所述位姿信息以及所述运动图像集，确定所述待跟踪目标的运动跟踪数据。在第一方面的一种可能的实现方式中，使用相机获取敢于待跟踪目标的运动图像集，所述运动图像集包含各个运动图像帧的彩色信息和深度信息。示例性的，使用RGB相机获取各个运动图像帧的彩色信息；使用深度相机获取各个运动图像帧的深度信息。应理解，关于待跟踪目标的运动图像集可以从其他渠道进行获取。第二方面，本申请实施例提供了一种装置，包括：图像获取模块，用于获取关于待跟踪目标的运动图像集；特征提取模块，用于分别将所述运动图像集内各个运动图像帧导入特征提取网络，输出各个所述运动图像帧对应的特征卷积层图像；跟踪模块，用于将所述特征卷积层图像导入跟踪网络，确定所述待跟踪目标在所述运动图像帧内的位姿信息；分析模块，用于基于所述待跟踪目标在各个所述运动图像帧内的所述位姿信息以及所述运动图像集，确定所述待跟踪目标的运动跟踪数据。第三方面，本申请实施例提供了一种终端设备，包括：RGBD相机、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面中任一项所述的运动目标位姿跟踪方法。第四方面，本申请实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一项所述的运动目标位姿跟踪方法。第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的运动目标位姿跟踪方法。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。本申请实施例与现有技术相比存在的有益效果是：本申请提供的运动目标位姿跟踪方法，相对于现有技术，能够基于神经网络预测的位姿信息，确定运动目标的运动跟踪数据，基于运动目标的运动跟踪数据，实现对运动目标的位姿跟踪，提高对运动目标的运动的预测精度。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请第一实施例提供的运动目标位姿跟踪方法的实现流程图；图2是本申请一实施例提供的应用场景示意图；图3是本申请第二实施例提供的运动目标位姿跟踪方法S103的实现流程图；图4是本申请本申请一实施例提供的神经网络的结构示意图；图5是本申请第三实施例提供的训练神经网络的实现流程图；图6是本申请本申请第四实施例提供的训练神经网络S502中第一损失获取的实现流程图；图7是本申请第五施例提供的训练神经网络S502中第二损失获取的实现流程图；图8是本申请一实施例提供的运动目标位姿跟踪装置的结构示意图；；图9是本申请一实施例提供的终端设备的结构示意图；具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。在本专利技术实施例中，流程的执行主体为终端设备。该终端设备包括但不限于：服务器、计算机、智能手机以及平板电脑等能够执行目标检测方法本文档来自技高网...

【技术保护点】
1.一种运动目标位姿跟踪方法，其特征在于，包括：/n获取关于待跟踪目标的运动图像集；/n分别将所述运动图像集内各个运动图像帧导入特征提取网络，输出各个所述运动图像帧对应的特征卷积层图像；/n将所述特征卷积层图像导入跟踪网络，确定所述待跟踪目标在所述运动图像帧内的位姿信息；/n基于所述待跟踪目标在各个所述运动图像帧内的所述位姿信息以及所述运动图像集，确定所述待跟踪目标的运动跟踪数据。/n

【技术特征摘要】
1.一种运动目标位姿跟踪方法，其特征在于，包括：
获取关于待跟踪目标的运动图像集；
分别将所述运动图像集内各个运动图像帧导入特征提取网络，输出各个所述运动图像帧对应的特征卷积层图像；
将所述特征卷积层图像导入跟踪网络，确定所述待跟踪目标在所述运动图像帧内的位姿信息；
基于所述待跟踪目标在各个所述运动图像帧内的所述位姿信息以及所述运动图像集，确定所述待跟踪目标的运动跟踪数据。


2.如权利要求1所述的运动目标位姿跟踪方法，其特征在于，所述将所述特征卷积层图像导入跟踪网络，确定所述待跟踪目标在所述运动图像帧内的位姿信息，包括：
将所述特征卷积图像导入Mask-RCNN网络，生成感兴趣区域ROI卷积层图像以及图像特性信息，包括：基于所述ROI卷积层图像确定所述运动图像帧中关于所述待跟踪目标的图像掩码区域；
将所述ROI卷积层图像以及所述图像掩码区域导入到Pose预测网络，确定所述待跟踪目标在所述运动图像帧内的位姿特征参数；
基于所述图像特性信息以及所述位姿特征参数确定所述位姿信息。


3.如权利要求2所述的运动目标位姿跟踪方法，其特征在于，所述将所述ROI卷积层图像以及所述图像掩码区域导入到Pose预测网络，确定所述待跟踪目标在所述运动图像帧内的位姿特征参数，包括：
基于所述图像掩码区域对所述ROI卷积层图像进行掩模处理，得到掩码特征图；
基于所述掩码特征图，确定所述待跟踪目标在所述运动图像帧内的所述位姿特征参数。


4.如权利要求2或3所述的运动目标位姿跟踪方法，其特征在于，所述运动目标位姿跟踪方法包括：
基于训练数据集预训练所述特征提取网络；
将预设的标注数据集导入所述跟踪网络，确定跟踪网络损失；所述跟踪网络损失包括第一损失以及第二损失；
基于所述跟踪网络损失训练所述跟踪网络；
所述标注数据集包括关于各个训练目标的训练图像集、所述训练图像集各个训练图像帧对应的训练卷积特征图以及所述训练目标在所述训练图像集中的各个训练图像帧内对应的标注信息。


5.如权利要求4所述的运动目标位姿跟踪方法，其特征在于，所述标注信息包括所述训练目标在所述训练图像帧内的真值分类、真值边框、真值图像掩码区域；所述将预设的标注数据集导入所述跟踪网络，确定跟踪网络损失，包括：
将所述训练卷积特征图导入所述Mask-RCNN网络，得到训练ROI卷积层图像；
基于所述训练ROI卷积层...

【专利技术属性】
技术研发人员：徐培，刘培超，郎需林，刘主福，
申请(专利权)人：深圳市越疆科技有限公司，
类型：发明
国别省市：广东;44