本发明专利技术属于机械臂抓取和机器视觉领域，具体说是一种面向无人实验室的透明物体抓取方法，包括以下步骤：使用Transformer提取RGB‑D的多尺度特征，对彩色图、深度图和RGB‑D交互特征进行联合表征空间增强，最后使用多个多尺度特征融合解码器进行解码，完成对透明物体的识别分类、深度修复和姿态估计；最后，建立透明物体的类别、尺寸、6D姿态与机械臂末端夹爪夹取姿态的映射关系，根据不同对象的尺寸和姿态信息得到最终的夹取姿态进行抓取操作。本发明专利技术在深度修复上使用了基于原始深度置信度的方法，保留了原始深度中正确的数值，使修复的深度图更接近真实；在训练中使用了多任务学习方法，提高网络的鲁棒性；使用类别级姿态估计方法，解决姿态估计任务中依赖精确cad模型的问题，可以有效应对同一类别不同结构、尺寸透明实验器材的抓取问题。
【技术实现步骤摘要】
本专利技术属于机械臂抓取和机器视觉领域，具体说是一种面向无人实验室的透明物体抓取方法。
技术介绍
1、随着机器人行业的快速发展和人力成本的不断提高，机器人代替人力完成一些重复、危险的工作已成为各行各业的重要趋势。机器人实现抓取任务依赖于操作对象的6d姿态估计。姿态估计是根据物体的rgb图像和稀疏深度图像来估计物体的6d姿态，已有许多方法应用于有纹理物体的姿态估计并取得不错的效果，而在一些特定场所如实验室，透明材质实验器材大量存在，由于透明材质独特的反射和折射特性，无论在视觉以及深度测量方面，都难以被传感器准确感知，因此透明材质物体的姿态估计是机械臂抓取操作必须要解决的一个颇具挑战性的难题。
2、此前，已有一些研究都根据先验的物体模型与实际得到的点云进行pnp拟合得到物体的6d姿态，此类方法通常需要严格对应的cad模型来生成训练数据，无法应用于未见过的新物体不具良好的泛化性能。同时由于卷积的局限性，这些方法在全局信息提取方面仍有不足，难以全面表征rgb-d图像之间的关系，以至于模型性能难以进一步提高，抓取精度难以保证。
...
【技术保护点】
1.一种面向无人实验室的透明物体抓取方法，其特征在于，使用Transformer提取RGB-D的多尺度特征，对彩色图、深度图和RGB-D交互特征进行联合表征空间增强，最后使用多个多尺度特征融合解码器进行解码，完成对透明物体的识别分类、深度修复和姿态估计，包括以下步骤：
2.根据权利要求1所述的一种面向无人实验室的透明物体抓取方法，其特征在于，所述构建网络训练所需的数据集，包括以下步骤：
3.根据权利要求1所述的一种面向无人实验室的透明物体抓取方法，其特征在于，所述深度学习网络模型，包括：Swin-Transformer的主干网络、RGB-D信息交互的空间显著注意力...
【技术特征摘要】
1.一种面向无人实验室的透明物体抓取方法，其特征在于，使用transformer提取rgb-d的多尺度特征，对彩色图、深度图和rgb-d交互特征进行联合表征空间增强，最后使用多个多尺度特征融合解码器进行解码，完成对透明物体的识别分类、深度修复和姿态估计，包括以下步骤：
2.根据权利要求1所述的一种面向无人实验室的透明物体抓取方法，其特征在于，所述构建网络训练所需的数据集，包括以下步骤：
3.根据权利要求1所述的一种面向无人实验室的透明物体抓取方法，其特征在于，所述深度学习网络模型，包括：swin-transformer的主干网络、rgb-d信息交互的空间显著注意力网络以及多尺度特征融合网络；
4.根据权利要求3所述的一种面向无人实验室的透明物体抓取方法，其特征在于，构建swin-transformer的主干网络，包括以下步骤：
5....
【专利技术属性】
技术研发人员：赵忆文，胡孟建，罗阳，姜运祥，王逍，赵新刚，孙锦程，李俊龙，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。