面向机械臂抓取的透明物体6D姿态估计方法技术

本发明专利技术公开了一种面向机械臂抓取的透明物体6D姿态估计方法。其输入为透明物体的RGB图像、Edge图像以及深度图像，输出为透明物体的6D位姿。构建三分支深度学习网络模型，该模型包括纹理特征提取网络、边缘特征提取网络、几何特征提取网络和关键点检测网络；其中，纹理特征提取网络输入数据为RGB图像，边缘特征提取网络输入数据为Edge图像，几何特征提取网络输入数据为深度图像；其中，关键点检测网络融合三个特征提取网络提取出来的特征，并嵌入自注意力机制来获取全局特征；最大限度利用透明物体的纹理信息和几何信息，结合特征融合思想和注意力机制，研究和探索出一种适用于透明物体6D姿态估计的方法。物体6D姿态估计的方法。物体6D姿态估计的方法。

【技术实现步骤摘要】
面向机械臂抓取的透明物体6D姿态估计方法


[0001]本专利技术涉及机器视觉和机械臂抓取领域，具体涉及一种面向机械臂抓取的透明物体6D姿态估计方法。

技术介绍

[0002]随着人力成本的不断增加和科学技术的发展，全球各行各业的机器人快速发展。机器人可以确保更高质量的生产和服务，代替人力完成一些重复、重型、危险的工作，减少人为错误和满足企业日益增长的需求。如今，机器换人已经成为各行各业发展的重要趋势，机器人相关的研究也越来越多。机械臂抓取就是其中的一个分支。抓取作为机械臂最基本也最重要的功能之一，要想成功抓取到物体，首先就需要估计出物体的6D位姿，即“看”到物体在哪、摆放角度。长久以来，研究者们都是比较重视对非透明物体的研究，对透明物体6D姿态估计的研究相对较少。然而，透明物体在人们生活和工业生产中都是不可或缺的一部分，是机械臂抓取必须解决的问题之一，因此，开展针对透明物体6D姿态估计的研究，具有重要的现实意义。
[0003]透明物体检测的传统方法大多依赖于透明物体的某些特质，如因镜面反射或折射而产生的边缘局部特征。随着深度学习的发展，出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向机械臂抓取的透明物体6D姿态估计方法，其特征在于，包含以下步骤：步骤S1，构建真实透明物体数据集，所述数据集中的每一个物体包含多张RGB图像和深度图像；步骤S2，构建三分支深度学习网络模型，第一个分支输入数据为RGB图像，第二个分支输入数据为Edge图像，第三个分支输入数据为深度图像；所述深度学习网络集成纹理特征提取网络、边缘特征提取网络、几何特征提取网络和关键点检测网络进行姿态估计；所述纹理特征提取网络、边缘特征提取网络以及几何特征提取网络为编解码结构，关键点检测网络融合纹理特征、边缘特征和几何特征，并采用注意力机制，获取全局特征；步骤S3，利用S1构建的真实透明物体数据集对步骤S2构建的深度学习网络模型进行训练；步骤S4，利用步骤S3训练好的模型进行透明物体6D姿态估计。2.根据权利要求1所述的面向机械臂抓取的透明物体6D姿态估计方法，其特征在于：所述步骤S1具体为：S1
‑
1，通过RGB
‑
D传感器采集P个透明物体的Q张RGB图像和Q张深度图像，并采用边缘提取算法，获取P
×
Q张Edge图像；对每张图像标注6D位姿标签；S1
‑
2，利用3D渲染工具合成P个透明物体的3D模型，使用坐标变换和2D
‑
3D投影，将模型投影到二维图像上，再经过人工优化投影图像，得到每张图像的mask图像；S1
‑
3，经过上面两步的处理，得到P个数据样本，每个样本包含数量为Q的RGB图像、数量为Q的深度图像、数量为Q的Edge图像以及数量为Q的mask图像，并且每张图像具有6D位姿标签；将P个样本作为透明物体6D姿态估计数据集。3.根据权利要求1所述的面向机械臂抓取的透明物体6D姿态估计方法，其特征在于：所述步骤S2的具体过程如下：S2
‑
1，将一个样本的一张RGB图像输入纹理特征提取网络，经过纹理特征提取网络的编解码网络，输出大小为的纹理特征图和预测的Edge图像，表示特征图的层数
×
高
×
宽；纹理特征图通过两层卷积层，并利用mask图像随机采样物体上的N...

【专利技术属性】
技术研发人员：邹勤，吴婷，邱雁成，
申请(专利权)人：北湾科技武汉有限公司，
类型：发明
国别省市：