基于轻量级特征融合网络的类别级物体6D位姿估计方法技术

本发明专利技术公开了一种基于轻量级特征融合网络的类别级物体6D位姿估计方法，通过将相机采集的物体深度图像经过反投影得到物体点云，然后使用PointNet++网络提取物体点云和形状先验的几何特征，并将其送入轻量级特征融合编码器中进行密集融合，将融合后得到的特征输至多层感知机并进行平均池化得到全局特征，最后，根据几何特征和全局特征重建物体模型，并通过位姿回归求解6D位姿。本发明专利技术有效的将物体点云特征和形状先验特征进行融合，将形状先验几何特征引入到实例中，使其形状信息更加可靠；将实例的几何信息融合到形状先验中，使其对类别内的不同实例有更好的泛化效果，并在6D位姿估计准确性、速度等性能上得到了显著的提升。速度等性能上得到了显著的提升。速度等性能上得到了显著的提升。

【技术实现步骤摘要】
基于轻量级特征融合网络的类别级物体6D位姿估计方法


[0001]本申请属于机器人环境感知
，具体涉及一种基于轻量级特征融合网络的类别级物体6D位姿估计方法。

技术介绍

[0002]随着机器人技术的不断发展，基于三维视觉的机器人环境感知技术以其使用范围广这一特点，现已渗透到各个领域，如智能制造、智能物流等。物体6D位姿估计的任务就是估计从物体坐标系到相机坐标系的刚性变换，即物体坐标系到相机坐标系的旋转和平移变换。6D物体姿态估计具有强大的现实意义，估计6D物体的姿态引起了研究人员的更多关注，它也在许多实际应用中得到越来越广泛的应用，例如机器人操作、自动驾驶和增强现实。
[0003]现有的位姿估计方法根据对物体的泛化能力不同，可以分为实例级物体6D位姿估计和类别级物体6D位姿估计。实例级6D姿态估计是指基于拥有物体的三维模型对物体实例进行姿态预测，实例级6D姿态估计只能估计在训练过程中出现的物体实例，主流方法可分为三类：基于对应的方法、基于模板的方法和基于投票的方法。基于对应的方法是通过寻找观测点云和物体模型点云之间的对应关系，进而通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于轻量级特征融合网络的类别级物体6D位姿估计方法，其特征在于，包括以下步骤：步骤S1，通过三维相机获取物体的深度图像，根据相机内部参数将深度图进行反投影得到物体点云；步骤S2，将物体点云和形状先验输入至PointNet++网络，提取物体点云几何特征和形状先验几何特征；步骤S3，将物体点云几何特征和形状先验几何特征输至特征融合网络进行密集融合；步骤S4，将进行密集融合后得到的融合特征输入多层感知机并进行平均池化，得到物体点云全局特征和形状先验全局特征，并通过变形网络重建得到重建物体模型；步骤S5，将物体点云几何特征、物体点云全局特征、形状先验几何特征以及形状先验全局特征通过位姿回归，得到物体的6D位姿。2.根据权利要求1所述的方法，其特征在于，在步骤S2中，先通过均匀下采样的方式对物体点云和形状先验采样1024个点，然后基于PointNet++网络利用度量空间距离自适应组合多尺度特征，得到物体点云和形状先验的几何特征。3.根据权利要求2所述的方法，其特征在于，步骤S3具体包括以下步骤：步骤S31，通过余弦相似度衡量物体点云几何特征F
o
＝{Y1,Y2,Y3…
,Y
n
}和形状先验几何特征F
r
＝{X1,X2,X3…
,X
m
}之间的相关性f(X
i
,Y
i
)，由下式表示：其中，n表示物体点云采样的总点数，m表示形状先验采样的总点数，Y
i
表示物体点云中第i个采样点的特征向量，X
i
表示形状先验中第i个采样点的特征向量；步骤S32，通过构建多层感知机计算物体点云和形状先验之间的相关性特征F
d
＝{D1，D2，D3，
…
，D
k
}＝MLP(f(X
i
，Y
i
))；步骤S33，将物体点云几何特征F
o
、形状先验几何特征F
r
以及相关性特征F
d
进行逐点密集融合，由下式表示：F
r
→
o
＝{(X1,Y1,d1),(X2,Y2,d2),
…
,(X
n
,Y
n
,d
n
)}F
o
→
...

【专利技术属性】
技术研发人员：孙炜，杨慧，刘剑，刘崇沛，
申请(专利权)人：湖南大学，
类型：发明
国别省市：