一种视觉感知的混叠边界模糊物体空间位姿估计系统技术方案

本发明专利技术公开了视觉感知的混叠边界模糊物体空间位姿估计系统，包括点云获取模块，通过相机执行拍照来获取场景二维图像和三维点云数据；实例分割模块，基于预先训练的深度神经网络模型利用自适应在线损失权重分配策略，实现二维图像数据的分割，获取目标掩膜区域；目标点云目标提取及降噪预处理模块，利用相机外参数对齐二维图像和三维点云数据，基于目标掩膜区域，提取三维点云目标；抓取执行模块，据目标物体的识别得分和姿态信息进行排序，选择识别得分高且姿态合适的目标物体作为最优抓取目标。本发明专利技术通过二维图像与三维点云相结合，结合深度神经网络模型法，对图像和点云数据的融合处理，实现对无序混叠边界模糊物体的精准识别和抓取位姿计算。

【技术实现步骤摘要】

本专利技术涉及混叠边界模糊物体抓取，具体涉及一种视觉感知的混叠边界模糊物体空间位姿估计系统。

技术介绍

1、混叠边界模糊物体抓取(如：软包食品、化工原料、文件袋、物流包裹、薄壁件等)在物流仓储、工业制造、家庭服务等领域具有广泛的应用需求，其作业特点有别于金属、塑料等刚性或弱刚性零部件，多品类软包物体混叠时存在遮档面积大、表面纹理弱、边界模糊等问题，有待进一步研究。针对传统混叠边界模糊物体抓取作业存在人工劳动强度大、易出错、视觉识别定位依赖先验目标模板信息、部署耗时长、相关维护人员学习成本高等问题。

2、混叠边界模糊物体的六维(6d)位姿估计方法按照输入的数据可以分为基于二维(2d)图像的方法和基于三维(3d)点云的方法。传统基于二维图像的位姿估计方法通过提取图像特征点并构建表征性强的描述符获得匹配点对，常见特征描述符有尺度不变特征sift(scale-invariant feature transform)、surf(speededup robust features)和orb(oriented fast and rotated brief)等本文档来自技高网...

【技术保护点】

1.一种视觉感知的混叠边界模糊物体空间位姿估计系统，其特征在于，包括：

2.如权利要求1所述的视觉感知的混叠边界模糊物体空间位姿估计系统，其特征在于，所述深度神经网络模型设置有损失函数，以通过对最小化损失函数，使度神经网络模型模型达到收敛状态。

3.如权利要求2所述的视觉感知的混叠边界模糊物体空间位姿估计系统，其特征在于，所述损失函数包括分类损失Lcls，所述分类损失Lcls使用交叉熵损失函数定义。

4.如权利要求3所述的视觉感知的混叠边界模糊物体空间位姿估计系统，其特征在于，所述损失函数还包括边界框回归损失Lbox，以用于预测目标的边界框位置。...

【技术特征摘要】

1.一种视觉感知的混叠边界模糊物体空间位姿估计系统，其特征在于，包括：

2.如权利要求1所述的视觉感知的混叠边界模糊物体空间位姿估计系统，其特征在于，所述深度神经网络模型设置有损失函数，以通过对最小化损失函数，使度神经网络模型模型达到收敛状态。

3.如权利要求2所述的视觉感知的混叠边界模糊物体空间位姿估计系统，其特征在于，所述损失函数包括分类损失lcls，所述分类损失lcls使用交叉熵损失函数定义。

4.如权利要求3所述的视觉感知的混叠边界模糊物体空间位姿估计系统，其特征在于，所述损失函数还包括边界框回归损失lbox，以用于预测目标的边界框位置。

5.如权利要求4所述的视觉感知的混叠边界模糊物体空间位姿估计系统，其特征在于，所述损失函数还包括掩码分割损失lmask，用于预测目标的像素级掩码。

6.如权利要求5所述的视觉感知的混叠边界模糊物体空间位姿估计系统，其特征在于，所述损失函数整体为l：

7...

【专利技术属性】
技术研发人员：鄢武，吴鸿敏，周雪峰，徐智浩，林旭滨，廖昭洋，
申请(专利权)人：广东省科学院智能制造研究所，
类型：发明
国别省市：