一种实时6D位姿估计方法及计算机可读存储介质技术

本发明专利技术提供一种实时6D位姿估计方法及计算机可读存储介质，方法包括：从目标物体的三维模型中选取预设关键点并得到所述预设关键点在所述三维模型中基于三维模型原点坐标系下的坐标；通过网络预测所述目标物体的所述预设关键点在实际场景中基于相机坐标系下的坐标；将所述预设关键点在所述三维模型原点坐标系下的坐标和在所述相机坐标系下的坐标进行拟合计算得到所述目标物体当前的位姿。使得网络具备了优秀的实时性，实现了同等速度下的最高位姿估计精度。高位姿估计精度。高位姿估计精度。

【技术实现步骤摘要】
一种实时6D位姿估计方法及计算机可读存储介质


[0001]本专利技术涉及位姿估计
，尤其涉及一种实时6D位姿估计方法及计算机可读存储介质。

技术介绍

[0002]随着机器人技术的迅猛发展，机器人灵巧操作在工业自动化和人们日常生活中的应用也愈加广泛。对于目标物体的实时6D位姿估计是机器人实现灵巧操作的首要前提，直接影响着机器人对物体操作的稳定性与连贯性。
[0003]目标物体的6D位姿表示物体在笛卡尔空间中的6个自由度，包括3个位移(平移)自由度和3个空间旋转自由度。位姿是一个相对概念，用于表示两个坐标系之间的相对刚性变换关系。由于在实际应用中相机与机器人之间相对关系是已知的，所以在本专利技术中6D位姿估计指的是待估计物体自身坐标系与相机坐标系之间变换关系。
[0004]常见的物体6D位姿估计方法可以分为基于RGB图像、基于点云、基于RGB
‑
D图像三种。基于RGB图像的位姿估计算法主要依靠采用人工设计的特征提取算子或者卷积神经网络来从图像中提取出物体的纹理特征，并依据这些特征来估计待测物体的6D位姿信息。但该方法十分依赖图像中的物体纹理信息，在面对低纹理物体或者光照变化较大的场景时难以保证较好精度。基于点云的位姿估计方法主要依靠激光雷达获取点云信息，但激光雷达价格昂贵且安装条件较为苛刻，难以部署到机械臂上；同时因为雷达的点云信息较为稀疏，不利于实现小物体的位姿估计。随着近些年技术的发展，深度相机价格逐步降低，这也使得基于RGB
‑
D的位姿估计方法得到重视。RBG
‑
D图像中既包含了RGB图像中的纹理信息也包含了深度图像中的几何信息，有利于进一步提高位姿估计算法的精度，但如何快速地处理这些大量的信息也成为一个不容忽视的问题。在先前基于RGB
‑
D图像的位姿估计算法(Frustum
‑
P、PVN3D、FFB6D)等都是在提取特征后不加区分地直接用于位姿估计。由于没有合理对特征进行分类利用，这类网络往往需要非常复杂的特征提取网络来保证位姿估计的速度，这也极大地限制了它们的实时性，因此这类方法很难被部署到实际应用中去。
[0005]以上
技术介绍
内容的公开仅用于辅助理解本专利技术的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述
技术介绍
不应当用于评价本申请的新颖性和创造性。

技术实现思路

[0006]本专利技术为了解决现有的问题，提供一种实时6D位姿估计方法及计算机可读存储介质。
[0007]为了解决上述问题，本专利技术采用的技术方案如下所述：
[0008]一种实时6D位姿估计方法，其特征在于，包括如下步骤：S1：从目标物体的三维模型中选取预设关键点并得到所述预设关键点在所述三维模型中基于三维模型原点坐标系下的坐标；S2：通过网络预测所述目标物体的所述预设关键点在实际场景中基于相机坐标
系下的坐标；S3：将所述预设关键点在所述三维模型原点坐标系下的坐标和在所述相机坐标系下的坐标进行拟合计算得到所述目标物体当前的位姿。
[0009]优选地，通过网络预测所述预设关键点在实际场景中基于所述相机坐标系下的坐标包括如下步骤：S21：获取所述目标物体的RGB
‑
D图像并将所述RGB
‑
D图像中的全局信息转化为局部信息，所述局部信息是所述目标物体的局部RGB图像和所述目标物体的局部点云信息；S22：对所述目标物体的局部RGB图像进行纹理特征提取、对所述目标物体的局部点云信息进行几何特征提取，利用密集融合得到的逐点密集对应进行逐点特征拼接并基于所述逐点特征识别出属于所述目标物体的点云；S23：利用所述目标物体的所述逐点特征预测每个可视点与所述预设关键点之间的偏移向量；利用所述逐点特征与所述偏移向量对每个所述可视点与各个所述预设关键点的映射关系进行评估并根据评估结果对每个所述可视点的预测信息进行筛选和融合，得到所述预设关键点在所述相机坐标系下的坐标。
[0010]优选地，依据预测的边界框对所述目标物体的RGB
‑
D图像进行截取得到所述局部信息；将截取后所述目标物体的局部点云的中心点设置为原点，方向与相机坐标系相同建立一个点云中心点坐标系并将所述目标物体在所述三维模型原点坐标系下的坐标转移到所述点云中心点坐标系下，消除所述相机坐标系中相机到所述点云中心点的偏移量以突出局部信息。
[0011]优选地，使用ResNet与上采样相结合的方法对所述目标物体的局部RGB图像进行纹理特征提取；利用PointNet对所述目标物体的局部点云信息进行几何特征提取。
[0012]优选地，使用最大池化方法获取全局特征并将所述全局特征与每个所述可视点的所述逐点特征作为输入，预测所有所述可视点的语义标签得分，识别出属于所述目标物体的点云；训练时使用softmax交叉熵作为损失函数：
[0013][0014]其中，N为点数，c
n
表示第n个可视点经过softmax处理后各类别的预测置信度，l
n
是与c
n
相对应的真实值，n是可视点的数量，选取各标签得分最高的类别作为预测的结果。
[0015]优选地，结合多层感知器和ResNet设计一个偏移向量预测网络来预测各个所述可视点与每个所述预测关键点之间的逐点的偏移向量；
[0016]对于属于所述目标物体的一组可视点和一组所述预设关键点所述偏移向量预测网络以所述逐点特征f
n
作为输入输出所述偏移向量
[0017]在训练阶段，使用L
vec
监督的预测：
[0018][0019]其中，M为预设关键点个数，为所述偏移向量的真实值；
[0020]各个所述可视点预测所述预设关键点坐标由可视点坐标和所述偏移向量通过如下公式得到：
[0021][0022]优选地，利用所述逐点特征与所述偏移向量对每个所述可视点与各个所述预设关键点的映射关系进行评估并根据所述评估结果对每个所述可视点进行逐点注意力投票进行筛选；训练过程中添加L
infl
作为影响力预测的损失函数，其表达式如下：
[0023][0024]其中，根据预测结果与几何空间中的地面真值之间的距离对逐点预测结果进行分类；低于阈值T
p
的被视为正项，高于阈值T
n
的被视为负项，其余为忽略项；忽略的所述可视点不参与损耗计算；当点为正项时ζ
p
＝1，为负项时ζ
n
＝1，其余情况下ζ
p
和ζ
n
为0。
[0025]优选地，选取预定比例的所述可视点并依据所述可视点的影响力分配投票权重，投票过程可用下式进行表达：
[0026][0027]其中，表示可视点vpc
n
对预设关键点kpc
m
的影响力，δ(x)表示一个权重分布函数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时6D位姿估计方法，其特征在于，包括如下步骤：S1：从目标物体的三维模型中选取预设关键点并得到所述预设关键点在所述三维模型中基于三维模型原点坐标系下的坐标；S2：通过网络预测所述目标物体的所述预设关键点在实际场景中基于相机坐标系下的坐标；S3：将所述预设关键点在所述三维模型原点坐标系下的坐标和在所述相机坐标系下的坐标进行拟合计算得到所述目标物体当前的位姿。2.如权利要求1所述的实时6D位姿估计方法，其特征在于，通过网络预测所述预设关键点在实际场景中基于所述相机坐标系下的坐标包括如下步骤：S21：获取所述目标物体的RGB
‑
D图像并将所述RGB
‑
D图像中的全局信息转化为局部信息，所述局部信息是所述目标物体的局部RGB图像和所述目标物体的局部点云信息；S22：对所述目标物体的局部RGB图像进行纹理特征提取、对所述目标物体的局部点云信息进行几何特征提取，利用密集融合得到的逐点密集对应进行逐点特征拼接并基于所述逐点特征识别出属于所述目标物体的点云；S23：利用所述目标物体的所述逐点特征预测每个可视点与所述预设关键点之间的偏移向量；利用所述逐点特征与所述偏移向量对每个所述可视点与各个所述预设关键点的映射关系进行评估并根据评估结果对每个所述可视点的预测信息进行筛选和融合，得到所述预设关键点在所述相机坐标系下的坐标。3.如权利要求2所述的实时6D位姿估计方法，其特征在于，依据预测的边界框对所述目标物体的RGB
‑
D图像进行截取得到所述局部信息；将截取后所述目标物体的局部点云的中心点设置为原点，方向与相机坐标系相同建立一个点云中心点坐标系并将所述目标物体在所述三维模型原点坐标系下的坐标转移到所述点云中心点坐标系下，消除所述相机坐标系中相机到所述点云中心点的偏移量以突出局部信息。4.如权利要求3所述的实时6D位姿估计方法，其特征在于，使用ResNet与上采样相结合的方法对所述目标物体的局部RGB图像进行纹理特征提取；利用PointNet对所述目标物体的局部点云信息进行几何特征提取。5.如权利要求4所述的实时6D位姿估计方法，其特征在于，使用最大池化方法获取全局特征并将所述全局特征与每个所述可视点的所述逐点特征作为输入，预测所有所述可视点的语义标签得分，识别出属于所述目标物体的点云；训练时使用softmax交叉熵作为损失函数:其中，N为点数，c
n
表示第n个可视点经过softmax处理后各类别的预测置信度，l
n
是与c
n

【专利技术属性】
技术研发人员：梁斌，刘厚德，黄俊楠，夏崇坤，王学谦，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：