一种分割驱动形状先验变形的类别级物体6D位姿估计方法技术

本发明专利技术公开了一种分割驱动形状先验变形的类别级物体6D位姿估计方法，包括通过三维相机获取数据，检测出物体包围框和类别标签，利用多模态特征的实例分割网络分割数据得到图像块和点云，将点云零均值化，形状先验通过形状变形网络输出重建物体模型，通过物体模型和物体点云之间的配准获得物体6D位姿估计，本发明专利技术使得6D位姿估计在适应性、准确率等性能上得到显著提升。到显著提升。到显著提升。

【技术实现步骤摘要】
一种分割驱动形状先验变形的类别级物体6D位姿估计方法


[0001]本专利技术属于机器人环境感知
，尤其涉及一种分割驱动形状先验变形的类别级物体6D位姿估计方法。

技术介绍

[0002]基于计算机视觉的机器人环境感知技术的目标是给机器人提供目标物体的信息，解决物体是什么以及在哪里的问题，该类技术以其适用范围广、高度柔性化的特点已渗透到各个领域，如智能制造、自动驾驶、智能物流等。物体6D位姿估计，是指估计相机坐标系下物体的6D位姿，即3D位置和3D姿态，也等价于相机坐标系到物体坐标系的旋转和平移变换。6D位姿估计的主要应用有虚拟现实、增强现实、智能机器人。
[0003]位姿估计方法根据对物体的泛化能力，分为实例级位姿估计、类别级位姿估计。实例级位姿估计适用于出现在训练集、给定物体模型的物体，它们大致分为三类：基于模板匹配，基于投票的方法和基于对应的方法。模板匹配方法通过手工或深度学习特征描述符将模板与观察到的图像或深度图进行匹配，将模板对应的6D位姿标注作为估计结果。直接从输入图像中回归6D位姿，可以认为是从标注的图像中隐式找到最相似的图像(模板)。基于投票的方法，聚合局部采样的RGB
‑
D图像块产生的6D位姿投票。基于对应的方法依赖于建立2D
‑
3D对应或3D
‑
3D对应，然后通过求解PnP(perspective
‑
n
‑
point)或SVD问题获得6D位姿。
[0004]类别级位姿估计可估计某一类物体的位姿，只要该类别物体在训练集中出现过，该类方法的主要挑战是同类物体间的外观变化，包括形状和颜色变化。现有的方法往往是通过RGB特征或RGB
‑
D特征将同一类别的不同物体转换到一个统一的空间。NOCS(归一化物体坐标空间)就是一种对同一类别中不同物体实例的规范表示，通过配准物体点云与NOCS坐标集可求得6D位姿。
[0005]现有专利所描述的方法均属于实例级位姿估计的范畴，该类方法只适用于已知物体，对于新物体的检测性能较差，难以用于物体频繁更新的场景。Shape prior是类别级位姿估计方法中具有先进性能的方法，通过估计形状先验的变形这一中间步骤更好的生成NOCS坐标集，但仅利用RGB图像分割物体，不准确的分割限制了该方法的性能
[0006]综上所述，现有实例级位姿估计方法存在固有缺陷，泛化性能差，难以用于物体频繁更新的场景，而现有类别级位姿估计方法的性能仍有待提升，本专利技术公开了一种分割驱动形状先验变形的类别级物体6D位姿的估计方法。
[0007]名词解释：
[0008]形状先验：数据形式是点云，可以视为某一类物体的形状的平均值，提供了某类物体的几何先验信息。不同的物体形状各异，但同类物体往往在语义和几何结构上表现出相似性，如马克杯通常有一个圆柱杯体加一个手柄。
[0009]变形场：使形状先验变形的场域，形式为逐点平移向量的集合。

技术实现思路

[0010]为解决上述问题，本专利技术提出一种分割驱动形状先验变形的类别级物体6D位姿估计方法，在物体频繁更新的应用场景下，可实现快速、准确、鲁邦地6D位姿估计。
[0011]为实现上述目的，本专利技术的技术方案为：
[0012]一种分割驱动形状先验变形的类别级物体6D位姿估计方法，包括以下步骤：
[0013]S1:通过三维相机获取数据，所述数据包括2D图像和点云，2D图像输入2D物体检测器得到图像块和类别标签；
[0014]S2：将所述图像块、点云和类别标签输入到多模态特征的实例分割网络中分割，得到物体图像块和物体点云；
[0015]S3：将物体点云每个点的坐标减去点云中心坐标，将点云中心平移到原点，得到零均值化的物体点云；
[0016]S4：引入形状先验，将形状先验、物体图像块和零均值化的物体点云输入形状变形网络得到施加在形状先验上的变形场，形状先验叠加变形场得到重建物体模型；
[0017]S5：通过重建物体模型和物体点云之间的配准获得物体6D位姿估计。
[0018]进一步的改进，所述2D图像通过包围框裁剪得到图像块。
[0019]进一步的改进，所述S2包括如下步骤：
[0020]S21：利用颜色嵌入网络提取图像块的颜色特征；所述包围框通过相机参数投影到三维空间裁剪点云得到点云块，利用点云嵌入网络提取点云块的几何特征；
[0021]S22：所述颜色特征和几何特征逐点融合，得到融合特征，所述融合特征输入多层感知机并经过最大池化得到全局特征；
[0022]S23：融合特征、全局特征和类别标签相连接输入多层感知机预测逐点二值类别的分数，取分数最高的二值类别作为结果实现物体分割，得到物体图像块和物体点云；采用二值交叉熵损失函数L
seg
作为物体分割的损失函数。
[0023]进一步的改进，所述S4包括如下步骤：
[0024]S41：形状先验、物体图像块和零均值化的物体点云作为形状变形网络的输入，
[0025]S42：物体图像块通过颜色嵌入网络提取颜色特征，零均值化的物体点云通过点云嵌入网络提取几何特征，所述颜色特征和几何特征结合得到实例点特征，形状先验通过多层感知机提取先验点特征，其中T
nor
表示零均值化的物体点云、S
c
表示形状先验、R表示实数、N
c
表示形状先验中点的数量、N
t
表示物体点云中点的数量；
[0026]S43：所述实例点特征经过多层感知机和平均池化得到实例全局特征，所述先验点特征经过多层感知机和平均池化得到先验全局特征；
[0027]S44：所述实例点特征、实例全局特征和先验全局特征构成实例融合特征，先验点特征、先验全局特征和实例全局特征构成先验融合特征；
[0028]S45：实例融合特征通过连续卷积生成施加在形状先验上的变形场所述变形场施加在形状先验上，得到重建物体模型S＝S
c
+O；S
c
表示的是形状先验；
先验融合特征通过连续卷积生成对应矩阵A，对应矩阵A中的第i行代表T
nor
中的第i点与S所有点的软对应关系，物体点云对应的NOCS坐标集P通过A乘S获得：P＝A
×
S＝A(S
c
+O)；
[0029]S46：设置若干损失对形状变形网络进行监督。
[0030]进一步的改进，所述损失包括重建损失、对应损失和正则化损失。
[0031]进一步的改进，所述重建损失是使用重建物体模型S与物体的真实模型S
gt
之间的倒角距离来衡量形状差异，用来监督变形场O，重建损失利用如下损失函数得到：
[0032]可以利用L
cd
＝d
cd
(S,S
gt
)＝d
cd
(S
c
+O,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分割驱动形状先验变形的类别级物体6D位姿估计方法，包括如下步骤：S1:通过三维相机获取数据，所述数据包括2D图像和点云，2D图像输入2D物体检测器得到图像块和类别标签；S2：将所述图像块、点云和类别标签输入到多模态特征的实例分割网络中分割，得到物体图像块和物体点云；S3：将物体点云每个点的坐标减去点云中心坐标，将点云中心平移到原点，得到零均值化的物体点云；S4：引入形状先验，将形状先验、物体图像块和零均值化的物体点云输入形状变形网络得到施加在形状先验上的变形场，形状先验叠加变形场得到重建物体模型；S5：通过重建物体模型和物体点云之间的配准获得物体6D位姿。2.如权利要求1所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述2D图像通过包围框裁剪得到图像块。3.如权利要求2所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述S2包括如下步骤：S21：利用颜色嵌入网络提取图像块的颜色特征；所述包围框通过相机参数投影到三维空间裁剪点云得到点云块，利用点云嵌入网络提取点云块的几何特征；S22：所述颜色特征和几何特征逐点融合，得到融合特征，所述融合特征输入多层感知机并经过最大池化得到全局特征；S23：融合特征、全局特征和类别标签相连接输入多层感知机预测逐点二值类别的分数，取分数最高的二值类别作为结果实现物体分割，得到物体图像块和物体点云；采用二值交叉熵损失函数L
seg
作为物体分割的损失函数。4.如权利要求1所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述S4包括如下步骤：S41：形状先验、物体图像块和零均值化的物体点云作为形状变形网络的输入，S42：物体图像块通过颜色嵌入网络提取颜色特征，零均值化的物体点云通过点云嵌入网络提取几何特征，所述颜色特征和几何特征结合得到实例点特征，形状先验通过多层感知机提取先验点特征，其中T
nor
表示零均值化的物体点云、S
c
表示形状先验、R表示实数、N
c
表示形状先验中点的数量、N
t
表示物体点云中点的数量；S43：所述实例点特征经过多层感知机和平均池化得到实例全局特征，所述先验点特征经过多层感知机和平均池化得到先验全局特征；S44：所述实例点特征、实例全局特征和先验全局特征构成实例融合特征，先验点特征、先验全局特征和实例全局特征构成先验融合特征；S45：实例融合特征通过连续卷积生成施加在形状先验上的变形场所述变形场施加在形状先验上，得到重建物体模型S＝S
c
+O；S
c
表示的是形状先验；先验融合特征通过连续卷积生成对应矩阵A，对应矩阵A中的第i行代表T
nor
中的第i点与S所有点的软对应关系，物体点云在NOCS中对应的坐标集P通过A乘S获得：P＝A
×
S＝A(S
c
+O)；
S46：设置若干损失对形状变形网络进行监督。5.如权利要求4所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述损失包括重建损失、对应损失和正则化损失。6.如权利要求5所述的一种分割驱动形状先验变形的类别级物体6D位姿估计方法，其特征在于，所述重建损失是使用重建物体模型S与...

【专利技术属性】
技术研发人员：孙炜，刘崇沛，刘剑，
申请(专利权)人：湖南大学，
类型：发明
国别省市：