基于轻量级特征融合网络的类别级物体6D位姿估计方法技术

本发明专利技术公开了一种基于轻量级特征融合网络的类别级物体6D位姿估计方法，通过将相机采集的物体深度图像经过反投影得到物体点云，然后使用PointNet++网络提取物体点云和形状先验的几何特征，并将其送入轻量级特征融合编码器中进行密集融合，将融合后得到的特征输至多层感知机并进行平均池化得到全局特征，最后，根据几何特征和全局特征重建物体模型，并通过位姿回归求解6D位姿。本发明专利技术有效的将物体点云特征和形状先验特征进行融合，将形状先验几何特征引入到实例中，使其形状信息更加可靠；将实例的几何信息融合到形状先验中，使其对类别内的不同实例有更好的泛化效果，并在6D位姿估计准确性、速度等性能上得到了显著的提升。速度等性能上得到了显著的提升。速度等性能上得到了显著的提升。

【技术实现步骤摘要】
基于轻量级特征融合网络的类别级物体6D位姿估计方法


[0001]本申请属于机器人环境感知
，具体涉及一种基于轻量级特征融合网络的类别级物体6D位姿估计方法。

技术介绍

[0002]随着机器人技术的不断发展，基于三维视觉的机器人环境感知技术以其使用范围广这一特点，现已渗透到各个领域，如智能制造、智能物流等。物体6D位姿估计的任务就是估计从物体坐标系到相机坐标系的刚性变换，即物体坐标系到相机坐标系的旋转和平移变换。6D物体姿态估计具有强大的现实意义，估计6D物体的姿态引起了研究人员的更多关注，它也在许多实际应用中得到越来越广泛的应用，例如机器人操作、自动驾驶和增强现实。
[0003]现有的位姿估计方法根据对物体的泛化能力不同，可以分为实例级物体6D位姿估计和类别级物体6D位姿估计。实例级6D姿态估计是指基于拥有物体的三维模型对物体实例进行姿态预测，实例级6D姿态估计只能估计在训练过程中出现的物体实例，主流方法可分为三类：基于对应的方法、基于模板的方法和基于投票的方法。基于对应的方法是通过寻找观测点云和物体模型点云之间的对应关系，进而通过PnP算法后得到物体6D位姿。基于模板的方式是从标记好6D位姿的模板中，选择与当前观测物体最接近的模板，并将其6D位姿作为预测的6D位姿。基于投票的方法是指物体点云上的每个3D点云通过投票，贡献于最终的6D位姿估计。类别级位姿估计可以估计训练过程中出现过物体类别内所有实例，现有方法是通过提取物体实例的RGB特征和点云特征，将同一类别的不同实例转换到NOCS空间来实现类别内不同实例的泛化，最后通过点云配准算法求得物体6D位姿。
[0004]现有专利大多数使用物体的RGB
‑
D信息提取物体特征，这导致了更复杂的网络模型，降低了实时性；并且现有基于形状先验的6D位姿估计方法未能充分挖掘形状先验和物体之间的几何关系，导致6D位姿估计精度低，无法满足高精度需求。
[0005]名词解释：
[0006]形状先验：数据形式是点云，可以视为某一类物体的平均形状，提供了某类物体的几何先验信息。
[0007]全连接层：神经网络中的一种常见的层类型，也称为密集连接层。全连接层可以将输入特征与每个神经元之间的连接权重进行矩阵乘法和偏置加法操作，从而得到输出结果。

技术实现思路

[0008]本专利技术公开了一种基于轻量级特征融合网络的类别级物体6D位姿估计方法，其构建了端到端的轻量级特征融合网络，有效的将物体点云特征和形状先验特征进行融合，在6D位姿估计准确性上得到了显著的提升，从而可以有效解决
技术介绍
中涉及的至少一个技术问题。
[0009]为实现上述目的，本专利技术的技术方案为：
[0010]一种基于轻量级特征融合网络的类别级物体6D位姿估计方法，包括以下步骤：
[0011]步骤S1，通过三维相机获取物体的深度图像，根据相机内部参数将深度图进行反投影得到物体点云；
[0012]步骤S2，将物体点云和形状先验输入至PointNet++网络，提取物体点云几何特征和形状先验几何特征；
[0013]步骤S3，将物体点云几何特征和形状先验几何特征输至特征融合网络进行密集融合；
[0014]步骤S4，将进行密集融合后得到的融合特征输入多层感知机并进行平均池化，得到物体点云全局特征和形状先验全局特征，并通过变形网络重建得到重建物体模型；
[0015]步骤S5，将物体点云几何特征、物体点云全局特征、形状先验几何特征以及形状先验全局特征通过位姿回归，得到物体的6D位姿。
[0016]作为本专利技术的一种优选改进，在步骤S2中，先通过均匀下采样的方式对物体点云和形状先验采样1024个点，然后基于PointNet++网络利用度量空间距离自适应组合多尺度特征，得到物体点云和形状先验的几何特征。
[0017]作为本专利技术的一种优选改进，步骤S3具体包括以下步骤：
[0018]步骤S31，通过余弦相似度衡量物体点云几何特征F
o
＝{Y1,Y2,Y3…
,Y
n
}和形状先验几何特征F
r
＝{X1,X2,X3…
,X
m
}之间的相关性f(X
i
,Y
i
)，由下式表示：
[0019][0020]其中，n表示物体点云采样的总点数，m表示形状先验采样的总点数，Y
i
表示物体点云中第i个采样点的特征向量，X
i
表示形状先验中第i个采样点的特征向量；
[0021]步骤S32，通过构建多层感知机计算物体点云和形状先验之间的相关性特征F
d
＝{D1，D2，D3，
…
，D
k
}＝MLP(f(X
i
，Y
i
))；
[0022]步骤S33，将物体点云几何特征F
o
、形状先验几何特征F
r
以及相关性特征F
d
进行逐点密集融合，由下式表示：
[0023]F
r
→
o
＝{(X1,Y1,d1),(X2,Y2,d2),
…
,(X
n
,Y
n
,d
n
)}
[0024]F
o
→
r
＝{(Y1,X1,d1),(Y2,X2,d2),
…
,(Y
n
,X
n
,d
n
)}
[0025]其中，F
r
→
o
表示融合了F
r
和F
d
的物体点云特征，F
o
→
r
表示融合了F
o
和F
d
的形状先验特征。
[0026]作为本专利技术的一种优选改进，步骤S4具体包括以下步骤：
[0027]步骤S41，将物体点云特征F
r
→
o
、形状先验特征F
o
→
r
分别输入多层感知机并进行平均池化后得到物体点云全局特征G
o
和形状先验全局特征G
r
；
[0028]步骤S42，将形状先验、形状先验几何特征F
r
、形状先验全局特征G
r
、物体点云几何特征F
o
和物体点云全局特征G
o
作为变形网络输入；
[0029]步骤S43，所述形状先验几何特征F
r
、形状先验全局特征G
r
和物体点云全局特征G
o
构成形状先验融合特征，所述物体点云几何特征F
o
、物体点云全局特征G
o
和形状先验全局特征G
r
构成物体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级特征融合网络的类别级物体6D位姿估计方法，其特征在于，包括以下步骤：步骤S1，通过三维相机获取物体的深度图像，根据相机内部参数将深度图进行反投影得到物体点云；步骤S2，将物体点云和形状先验输入至PointNet++网络，提取物体点云几何特征和形状先验几何特征；步骤S3，将物体点云几何特征和形状先验几何特征输至特征融合网络进行密集融合；步骤S4，将进行密集融合后得到的融合特征输入多层感知机并进行平均池化，得到物体点云全局特征和形状先验全局特征，并通过变形网络重建得到重建物体模型；步骤S5，将物体点云几何特征、物体点云全局特征、形状先验几何特征以及形状先验全局特征通过位姿回归，得到物体的6D位姿。2.根据权利要求1所述的方法，其特征在于，在步骤S2中，先通过均匀下采样的方式对物体点云和形状先验采样1024个点，然后基于PointNet++网络利用度量空间距离自适应组合多尺度特征，得到物体点云和形状先验的几何特征。3.根据权利要求2所述的方法，其特征在于，步骤S3具体包括以下步骤：步骤S31，通过余弦相似度衡量物体点云几何特征F
o
＝{Y1,Y2,Y3…
,Y
n
}和形状先验几何特征F
r
＝{X1,X2,X3…
,X
m
}之间的相关性f(X
i
,Y
i
)，由下式表示：其中，n表示物体点云采样的总点数，m表示形状先验采样的总点数，Y
i
表示物体点云中第i个采样点的特征向量，X
i
表示形状先验中第i个采样点的特征向量；步骤S32，通过构建多层感知机计算物体点云和形状先验之间的相关性特征F
d
＝{D1，D2，D3，
…
，D
k
}＝MLP(f(X
i
，Y
i
))；步骤S33，将物体点云几何特征F
o
、形状先验几何特征F
r
以及相关性特征F
d
进行逐点密集融合，由下式表示：F
r
→
o
＝{(X1,Y1,d1),(X2,Y2,d2),
…
,(X
n
,Y
n
,d
n
)}F
o
→
...

【专利技术属性】
技术研发人员：孙炜，杨慧，刘剑，刘崇沛，
申请(专利权)人：湖南大学，
类型：发明
国别省市：