一种基于计算机视觉和深度学习的平面抓取检测方法技术

本发明专利技术属于公开了机械臂抓取计算领域的一种基于计算机视觉和深度学习的平面抓取检测方法，其步骤包括：收集或自制抓取数据集，并进行特定的数据增强；利用深度补全算法补全深度图信息，并对数据集进行深度信息融合、统一裁剪以及训练验证划分；根据训练得到的抓取检测模型，利用真实图像数据作为网络输入，抓取质量分数及抓取框五维表示作为输出，采用反向传播算法和基于标准梯度的优化算法，通过排序优化转换为抓取框四个顶点信息，实现可视化，最终映射到真实世界坐标。使得检测得到的抓取框与真实值差异最小化；本发明专利技术解决了经验抓取检测方法为实现泛化性而很难满足精准性的问题；解决了抓取检测方法在真实场景中难以保证实时性的问题。实时性的问题。实时性的问题。

【技术实现步骤摘要】
一种基于计算机视觉和深度学习的平面抓取检测方法


[0001]本专利技术属于机械臂抓取
，特别涉及一种基于计算机视觉和深度学习的平面抓取检测方法。

技术介绍

[0002]机器人的抓取力远远落后于人类的表现，并且是机器人领域中尚未解决的问题。当人们看到新颖的物体时，他们根据自己的经验本能地快速轻松地抓住任何未知物体。近年来展开了许多与机器人抓取和操纵有关的工作，但是实时的抓取检测仍然是一个挑战。机器人抓取问题可分为三个连续阶段：抓握检测，轨迹规划和执行。抓取检测是一种视觉识别问题，其中机器人使用其传感器来检测其环境中的可抓取物体。用于感知机器人环境的传感器通常是3D视觉系统或RGB
‑
D摄像机。关键任务是根据传感器信息预测潜在的抓取并将像素值映射到真实世界的坐标。这是执行抓握的关键步骤，因为后续步骤取决于在此步骤中计算出的坐标。然后，将计算出的真实世界坐标转换为机器人手臂末端工具的位置和方向。然后计划机械臂的最佳轨迹，以达到目标抓握位置。随后，使用开环或闭环控制器执行机械臂的规划。
[0003]随着越来越多的研究，机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉和深度学习的平面抓取检测方法，其特征在于，包括：步骤1：收集或自制抓取数据集，其中包括RGB图像及相应的标注信息，及深度信息；对数据集进行尺度变换、平移、翻转和旋转的数据增强，扩充数据集；步骤2：根据步骤1得到的扩充后的数据集制作并划分训练数据；利用深度补全算法补全深度图信息，并完成RGB图像与深度信息的融合；对融合图像进行裁剪及缩放，使其满足抓取框的输入格式，并按照9∶1的比例随机划分训练集与验证集，分别用于抓取检测模型的训练和验证；步骤3：利用训练数据对提出的抓取检测模型进行训练，采用反向传播算法和基于标准梯度的优化算法来优化目标函数的梯度，使得检测得到的抓取框与真实值差异最小化；同时利用验证集对抓取检测模型进行测试，来调整抓取检测模型训练过程中的学习率，并一定程度避免抓取检测模型的过拟合；其中目标函数的定义为：L
total
＝L
boxes
+L
Q
+L
angle
其中L
boxes
为boxes损失、L
Q
抓取质量分数损失、L
angle
角度预测损失；步骤4：根据训练得到的抓取检测模型，利用真实图像数据作为网络输入，抓取质量分数及抓取框五维表示作为抓取检测模型输出，通过排序选取最优并将其转换为抓取框四个顶点信息，实现可视化，最终映射到真实世界坐标。2.根据权利要求1所述基于计算机视觉和深度学习的平面抓取检测方法，其特征在于，所述五维抓取表示，在近年的相关工作中得到了广泛的应用；五维抓取表示为把抓取框描述为：g＝{x，y，，θ，h，w}所述抓取检测模型输出为：g＝{x，y，θ，h，w，Q}其中(x，y)为抓取框的中心点，h和w分别为抓取框的高和宽，θ为其相对于图像水平轴的方向，Q为抓取质量分数，用0到1之间的一个数值来评估抓取的可能性，Q越大表示该抓取框的可行性越大。3.根据权利要求1所述基于计算机视觉和深度学习的平面...

【专利技术属性】
技术研发人员：石敏，路昊，朱登明，李兆歆，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：