一种基于Point Transformer网络的类别级姿态估计算法制造技术

本发明专利技术公开了一种基于Point Transformer网络的类别级姿态估计算法，涉及三维物体的姿态估计领域，所述算法包括以下步骤：步骤1、进行图像采集；步骤2、进行点云实例分割与点云滤波，获得点云数据，将滤波后的点云数据记为工件点云；步骤3、进行平移与缩放尺度估计，得到预处理点云步骤4、构建点云重建网络，以预处理点云以及模板点云作为输入，提取姿态特征向量以及形状特征向量，并进行融合得到融合特征向量和重建点云；步骤5、进行点云迭代重建；步骤6、进行点云配准，使用ICP算法对重建点云与模板点云进行配准，获得旋转矩阵的估计值；步骤7、通过网络训练获得类别级姿态估计模型；步骤8、进行模型预测。

【技术实现步骤摘要】

本专利技术涉及三维物体的姿态估计领域，尤其涉及一种基于point transformer网络的类别级姿态估计算法。

技术介绍

1、物体的姿态估计旨在估计目标物体相对于相机的位置和方向，一直是三维计算机视觉研究的关键问题。物体的姿态估计与如今快速发展的机器人抓取、自动驾驶、增强现实等
息息相关。近年来，随着将深度学习技术持续深入引用到物体姿态估计中，实例级物体六自由度姿态估计已经取得了显著进展。然而，多数实例级物体六自由度姿态估计算法需要提前获得精确的目标物体的cad模型，这一前提很大程度上限制了实例级物体六自由度姿态估计算法的应用场景，因为考虑到模型的多样性以及建模的成本，在很多情况下难以甚至无法获得目标物体的cad模型。在此背景下，类别级物体姿态估计开始引起越来越多研究者的关注。

2、在类别级物体姿态估计任务中，需要预测9自由度（9dof）的位置、方向和尺寸，包括旋转r∈so(3)、平移t∈r^3、物体大小s∈r^3。严格来说，应该称类别级物体姿态估计为9dof物体姿态估计。对于实例级姿态估计，经典的算法通常通过建立rgb或者rgbd图本文档来自技高网...

【技术保护点】

1.一种基于Point Transformer网络的类别级姿态估计算法，其特征在于，所述算法包括以下步骤：

2.如权利要求1所述的基于Point Transformer网络的类别级姿态估计算法，其特征在于，所述步骤2的点云实例分割包括以下子步骤：

3.如权利要求1所述的基于Point Transformer网络的类别级姿态估计算法，其特征在于，所述步骤2的点云滤波是使用Open3D库中的remove_statistical_outlier( )函数，并通过统计学方法去除所述点云数据中的离群点。

4.如权利要求1所述的基于Point Transforme...

【技术特征摘要】

1.一种基于point transformer网络的类别级姿态估计算法，其特征在于，所述算法包括以下步骤：

2.如权利要求1所述的基于point transformer网络的类别级姿态估计算法，其特征在于，所述步骤2的点云实例分割包括以下子步骤：

3.如权利要求1所述的基于point transformer网络的类别级姿态估计算法，其特征在于，所述步骤2的点云滤波是使用open3d库中的remove_statistical_outlier( )函数，并通过统计学方法去除所述点云数据中的离群点。

4.如权利要求1所述的基于point transformer网络的类别级姿态估计算法，其特征在于，在步骤4中，采用point transformer block对所述预处理点云进行下采样和特征提取，包括以下子步骤：

5.如权利要求4所述的基于point transformer网络的类别级姿态估计算法，其特征在于，在步骤4中，对于所述模板点云，采用与所述步骤4.1~步骤4.5同样的操作可得到所述形状特征向量。

6.如权利要求5所述的基于point trans...

【专利技术属性】
技术研发人员：严世文，张克勤，杨根科，褚健，
申请(专利权)人：上海交通大学宁波人工智能研究院，
类型：发明
国别省市：