一种基于残缺几何补全的工业零件6D位姿估计方法技术

本发明专利技术公开了一种基于残缺几何补全的工业零件6D位姿估计方法。获取包含目标工业零件的原始RGB

【技术实现步骤摘要】
一种基于残缺几何补全的工业零件6D位姿估计方法


[0001]本专利技术涉及计算机视觉与机器人
的一种位姿估计方法，特别涉及一种基于残缺几何补全的工业零件6D位姿估计方法。

技术介绍

[0002]利用视觉传感器估计目标工业零件在三维空间中的6自由度(6D)位姿，包括一个三自由度的平移向量和一个三自由度的旋转矩阵，是一项基础的计算机视觉技术，并广泛服务于实际工业应用场景中的各类下游机器人操作任务，例如机器人装配、避障规划、机器人数字孪生等。
[0003]传统方法依赖人工设计的各类图像特征，基于特征对应或投票的方式求解位姿，求解准确性、鲁棒性和灵活性十分有限。随着深度学习技术与RGB
‑
D相机的快速发展，数据驱动的基于RGB
‑
D的方法逐渐取得了更好的位姿估计性能，并受到工业界的关注。常见的工业零件目标物通常缺乏有效的表面纹理，由于RGB
‑
D图像中的深度图提供了补充的几何信息，因此这类方法相比仅基于RGB的方法表现的更好。
[0004]然而，在实际应用场景中，从深度传感器中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于残缺几何补全的工业零件6D位姿估计方法，其特征在于，包括以下步骤：S1：利用RGB
‑
D相机拍摄包含目标工业零件的原始RGB
‑
D图像，包括RGB图像与深度图，并将深度图转换为对应的原始点云；S2：对目标工业零件进行分割定位，采用Mask R
‑
CNN方法从RGB图像中分割出目标工业零件的实例掩码与ROI裁剪图像，同时根据RGB图像的像素与深度图的像素之间对齐关系从原始点云中分割出和目标工业零件的实例掩码对应的原始目标点云；S3：通过一个点云补全网络从包含残缺几何结构的原始目标点云中恢复目标工业零件的完整几何结构而得到对应的补全目标点云；S4：分别从S2获得的ROI裁剪图像中提取RGB特征，且从S2获得的原始目标点云中提取原始几何特征以及从S3获得的补全目标点云中提取多尺度几何特征；S5：对S4中得到的所有特征进行多尺度拼接融合得到增强RGB
‑
D特征，以增强RGB
‑
D图像的原始信息；S6：通过监督训练，以置信度方式从增强RGB
‑
D特征中回归评估出目标工业零件的6D位姿。2.根据权利要求1所述的一种基于残缺几何补全的工业零件6D位姿估计方法，其特征在于，所述步骤S1中，原始点云中的目标工业零件区域可能是残缺不完整的且包含噪声的。3.根据权利要求1所述的一种基于残缺几何补全的工业零件6D位姿估计方法，其特征在于，所述步骤S3中，点云补全网络主要由编码器和解码器结构组成，并通过预测残缺几何空间到完整几何空间的映射来实现点云补全，具体为：编码器包括双层堆叠的PointNet网络，解码器包括MLP网络；首先，编码器以S2中得到的包含残缺几何结构的原始目标点云作为输入利用双层堆叠的PointNet网络从中提取得到中间特征向量；然后，解码器以中间特征向量为输入并结合MLP网络以从粗到细的方式分阶段生成稠密补全点云；最后，将稠密补全点云经过一个形状保护网络层调整处理，输出得到最终的补全目标点云。4.根据权利要求3所述的一种基于残缺几何补全的工业零件6D位姿估计方法，其特征在于：所述形状保护网络层的调整过程如下式所述：所述形状保护网络层的调整过程如下式所述：所述形状保护网络层的调整过程如下式所述：其中，p
(i)
为稠密补全点云中的点；为原始目标点云中距离点p
(i)
最近的两个点；为虚拟目标点，用于引导点p
(i)
的调整方向；D为虚拟目标点与点p
(i)
间的距离；为最终调整输出的补全目标点云点；σ为可学习的调整参数，e表示自然底数，|| ||2表示2范数，i表示任意点的索引。5.根据权利要求1所述的一种基于残缺几何补全的工业零件6D位姿估计方法，其特征
在于，所述步骤S4具体包括以下步骤：S41：利用CNN网络从ROI裁剪图像提取RGB特征其中H、W分别为ROI裁剪图像的高和宽，d
rgb
为RGB特征的维度，表示实数集；S42：利用MLP网络从原始目标点云提取原始几何特征其中N为原始目标点云中点的数量，d...

【专利技术属性】
技术研发人员：刘达新，王祺德，刘振宇，许嘉通，谭建荣，
申请(专利权)人：浙江大学，
类型：发明
国别省市：