一种自动机器学习图谱融合的视频物体跟踪方法技术

本发明专利技术提出一种自动机器学习图谱融合的视频物体跟踪方法，属于3D计算机视觉与视觉机器人技术领域。本发明专利技术采用视频目标运动构建目标点云结构用以学习2D映射到6D（包括三维平移和三个旋转自由度）的特征匹配图自动机器学习的新方法，通过图谱融合技术生成匹配预测算子提升了操控精准性的同时达到最优的物体跟踪实时性，无需依赖事先计算机辅助设计模型就可以对实例级和类别级目标物体外观信息进行了更好的泛化，实现了现有最优的视频目标物体动态跟踪，从而实现视觉智能机器人最优自主动作规划和目标最优精准操控。规划和目标最优精准操控。规划和目标最优精准操控。

【技术实现步骤摘要】
一种自动机器学习图谱融合的视频物体跟踪方法


[0001]本专利技术涉及一种基于视频的运动物体跟踪方法，涉及3D计算机视觉与视觉机器人


技术介绍

[0002]在智慧工厂的智能制造场景中视觉智能机器人应用广泛，跟踪视频序列中物体的6D位姿对于视觉智能机器人的精准操作很重要，针对被操控目标物体的运动跟踪是完成机器人后续连贯操作成功的重要环节。
[0003]目前现有其他技术方法适用条件是必须事先具有目标物体实例级或类别级的计算机辅助设计模型，才可以用于离线训练和在线推理。有采用单图像6D位姿估计方法为每个新帧重新估计位姿，这类方法效率较低，导致对连续帧的连贯性估计变差，对规划和控制产生消极影响。
[0004]有方法采用归一化物体坐标在图像上的像素和同类别目标之间建立映射，该方法在推理阶段可以部分消除对事先计算机辅助设计模型的依赖。但存在的问题是实例或类别级目标形状外观差异很大情况下算法泛化性能急剧变差。也有采用数据驱动不依赖事先计算机辅助设计模型的方法，对类别级投影框角的像素坐标通过机器学习进行回归，该方法算力成本极高，且局限于少数类别目标，只能获得无尺度位姿以及模型泛化受限。
[0005]总体来说，现有大多数方法需要具备目标物体的计算机辅助设计模型，才能达到基本的精准性；有采用数据驱动可以不依赖事先准备计算机辅助设计模型的方法，精准性较好但是因为算力成本极高，导致实时性不理想；且现有方法都只能在有限少数目标种类的情况下模型运行有效，对于具有明显不同的外观或形状的新实例或类别目标时，现有方法未能够体现良好的泛化性能。

技术实现思路

[0006]本专利技术所要解决的技术问题是：采用自动机器学习图谱融合技术，无需依赖事先计算机辅助设计模型就可以对实例级和类别级目标物体外观信息进行了更好的泛化，实现了现有最优的视频目标物体动态跟踪，从而实现视觉智能机器人最优自主动作规划和目标最优精准操控。
[0007]本专利技术为解决上述技术问题采用以下技术方案：
[0008]本专利技术提出一种自动机器学习图谱融合的视频物体跟踪方法，包括步骤：
[0009]S1、数据采集：对于待跟踪的每个目标物体，通过视频扫描获得视频帧和对应相机位姿，得到视频数据集；
[0010]S2、数据标注：基于已采集的视频数据集，进行6D目标物体边界框的标注；具体为：
[0011]采用6D标注工具，对图像帧中对应的目标物体进行3D目标边界框BOX
3d
的标注以及旋转位姿标注，其中BOX
3d
包括信息：目标物体的中心位置坐标、目标尺度比例以及和相对于竖直轴的旋转角度；
[0012]S3、根据视频序列的图像帧用以恢复运动目标物体三维结构，从包含目标物体运动信息的一系列二维图像序列中估计物体三维结构，实现3D重建目标物体的稀疏点云其中是关键点，g是关键点索引，的集合构成物体点云；输入是一段运动中的视频或者一串时间序列的2D图像集，通过2D图之间的时序匹配关系推断出相机的位姿参数；
[0013]S4、构建2D
‑
6D映射关联图谱用于表示构建映射图中的2D
‑
6D对应关系，同时在每一帧图像中标定目标对象框架中相机定位；2D描述算子通过图谱融合层聚合到6D描述算子其中2D描述算子中的h是2D特征点索引；
[0014]S5、实时视频在线物体跟踪阶段，即推理阶段，6D描述算子随后与来自查询图像的2D描述算子匹配以生成2D
‑
6D匹配预测算子通过图谱融合技术，最后通过使用匹配预测算子解决透视关键点问题来计算目标物体位姿实现视频在线物体跟踪。
[0015]本专利技术采用以上技术方案与现有技术相比，具有以下技术效果：
[0016]本专利技术充分利用了自动机器学习图注意力网络的优势，利用图卷积注意力层基于卷积来计算注意力分数，构造了可学习的图卷积注意力网络，是一种图神经网络架构，通过添加两个标量参数，自动在每一层的图卷积网络和图注意力层之间进行插值。结果表明，本专利技术能够沿着网络有效地组合不同的图神经网络层，在广泛的数据集中优于现有其他SOTA方法，同时能够产生更强大的注意力模型，减少算法在线推理耗时。采用特征匹配图自动机器学习的新结构，生成匹配预测算子提升了操控精准性的同时达到最优的物体跟踪实时性。使得视觉智能机器人目标物体精准运动跟踪与操控实时性需求的问题得到有效解决。
附图说明
[0017]图1是本专利技术的整体方法流程图。
具体实施方式
[0018]下面结合附图对本专利技术的技术方案做进一步的详细说明：
[0019]本
技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0020]本专利技术解决了视觉智能机器人自主动作规划以及对目标物体进行实时精准运动跟踪的问题。视觉智能机器人通过视觉智能感知实现对运动物体的跟踪，进一步实现机器手臂的自主动作规划，通常还需要确定与下游任务适配的合适抓握。因此需要解决视频物体跟踪的精准性与实时性问题。本专利技术采用一种自动机器学习图谱融合技术，无需依赖事先准备的计算机辅助设计模型，解决了对这样要求的限定。
[0021]本专利技术采用视频目标运动构建目标点云结构用以学习2D映射到6D(包括三维平移和三个旋转自由度)的特征匹配图自动机器学习的新方法，通过图谱融合技术生成匹配预测算子提升了操控精准性的同时达到最优的物体跟踪实时性。使得在智能制造场景中，视觉智能机器人目标物体精准运动跟踪与操控实时性的问题得到有效解决。
[0022]如图1所示，本专利技术的总体方法实施步骤如下：
[0023]S1、数据采集，对于待跟踪的每个目标物体，通过视频扫描获得视频帧和对应相机位姿(Pose)。
[0024]S2、数据标注，基于已采集的视频数据集，进行6D目标物体边界框的标注。
[0025](Step1)针对已经采集的视频数据集，采用6D标注工具(比如3D
‑
BAT)，对图像帧中对应的目标物体进行3D目标边界框BOX
3d
的标注以及旋转位姿标注。
[0026](Step2)标注的6D目标边界框BOX
3d
包括信息：目标物体的中心位置坐标、目标尺度比例以及和相对于竖直轴的旋转角度。
[0027]S3、根据视频序列的图像帧用以恢复运动目标物体三维结构，从包含目标物体运动信息的一系列二维图像序列中估计物体三维结构，实现3D重建目标物体的稀疏点云其中是关键点，g(g＝1,2,
…
,50)是关键点索引，的集合构成物体点云。输入是一段运动中的视频或者一串时间序列的2D图像集，并且不需要任何相机的信息，而是接着通过2D图之间的时序匹配本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动机器学习图谱融合的视频物体跟踪方法，其特征在于，包括步骤：S1、数据采集：对于待跟踪的每个目标物体，通过视频扫描获得视频帧和对应相机位姿，得到视频数据集；S2、数据标注：基于已采集的视频数据集，进行6D目标物体边界框的标注；具体为：采用6D标注工具，对图像帧中对应的目标物体进行3D目标边界框BOX
3d
的标注以及旋转位姿标注，其中BOX
3d
包括信息：目标物体的中心位置坐标、目标尺度比例以及和相对于竖直轴的旋转角度；S3、根据视频序列的图像帧用以恢复运动目标物体三维结构，从包含目标物体运动信息的一系列二维图像序列中估计物体三维结构，实现3D重建目标物体的稀疏点云其中是关键点，g是关键点索引，的集合构成物体点云；输入是一段运动中的视频或者一串时间序列的2D图像集，通过2D图之间的时序匹配关系推断出相机的位姿参数；S4、构建2D
‑
6D映射关联图谱用于表示构建映射图中的2D
‑
6D对应关系，同时在每一帧图像中标定目标对象框架中相机定位；2D描述算子通过图谱融合层聚合到6D描述算子其中2D描述算子中的h是2D特征点索引；S5、实时视频在线物体跟踪阶段，即推理阶段，6D描述算子随后与来自查询图像的2D描述算子匹配以生成2D
‑
6D匹配预测算子通过图谱融合技术，最后通过使用匹配预测算子解决透视关键点问题来计算目标物体位姿实现视频在线物体跟踪。2.根据权利要求1所述的一种自动机器学习图谱融合的视频物体跟踪方法，其特征在于，步骤S1具体包括：步骤101、采用具有位姿传感器的智能摄像移动终端，围绕目标物体运动环绕进行视频扫描获得视频RGB帧和每幅RGB帧图像对应的相机位姿步骤102、给定视频扫描RGB帧{P
h
}和测试图像序列{P
t
}，估计定义在像机坐标系中的物体位姿其中SE(3)代表特殊欧氏群，包括旋转加位移，也称欧式氏变换或刚体变换，下标t是视频图像序列中的关键帧索引。3.根据权利要求1所述的一种自动机器学习图谱融合的视频物体跟踪方...

【专利技术属性】
技术研发人员：曹东，
申请(专利权)人：无锡东如科技有限公司，
类型：发明
国别省市：