【技术实现步骤摘要】
一种基于检测约束的快速动态目标抓取方法
[0001]本专利技术涉及计算机视觉，深度学习领域，具体涉及一种基于检测约束的快速动态目标抓取方法。
技术介绍
[0002]21世纪开始以来，机器人已在人们生产生活的各个领域发挥的重大的作用，工业上自动分拣机器人、物流机器人已逐渐取代人工，工业上的机器人抓取也发挥了极大的作用。工业上的机器人抓取大都是结构化的物品，通过简单的识别甚至是设定好的流程，但是机器人在非结构化的生活物品的抓取还是一项富有挑战性的工作。
[0003]深度相机能够实时采集当前实验场景中的RGB图像和深度图像数据流，利用物体检测算法从RGB图像中提取出需要的信息，并且用于目标检测的大型公开数据集包含的全面对不同的非结构化的场景中的物体分类与检测都能达到很好的效果。
[0004]随着深度学习的发展，深度学习已经应用到非结构化的生活物品抓取中，很多研究者用深度学习的方法进行抓取检测。通过抓取检测数据集对构建的神经网络训练，再形成合理的抓取位姿(喻群超等.基于三级卷积神经网络的物体抓取检测[J].安徽，合肥...
【技术保护点】
【技术特征摘要】
1.一种基于检测约束的快速动态目标抓取方法，其特征在于，包括以下步骤：S1、建立快速目标检测模型；S2、对快速目标检测模型进行预训练，再使用标注的数据集训练快速目标检测模型；S3、使用训练好的快速目标检测模型对摄像头获取的RGB图像数据流进行目标检测，对真实环境中抓取物体进行分类与标注，所述标注包括标注物体边界框；S4、对步骤S3中的物体边界框进行矫正，减小图像中标注的边界框与真实边界框的偏差；S5、利用深度信息算法估计目标物体抓取点的深度值；S6、利用机器人视觉抓取系统的标定结果，将抓取位姿映射到机器人操作空间中的三维抓取位姿。2.根据权利要求1所述的一种基于检测约束的快速动态目标抓取方法，其特征在于，所述快速目标检测模型为MobileNetV3
‑
YOLOv4模型，MobileNetV3
‑
YOLOv4模型的主干特征提取网络为MobileNet V3的特征提取网络，所述特征提取网络包括若干个瓶颈结构网络结构，所述瓶颈结构网络结构为线性瓶颈的倒残差结构。3.根据权利要求2所述的一种基于检测约束的快速动态目标抓取方法，其特征在于，每个瓶颈结构网络结构包括若干个卷积核、池化层、两个全连接层。4.根据权利要求3所述的一种基于检测约束的快速动态目标抓取方法，其特征在于，向瓶颈结构网络输入一个特征图a，使用一个卷积核对输入的特征图进行降维操作，再经过另一卷积核的深度可分离卷积，提取抽象的特征图b，然后依次池化层和两个全连接层，将前面高度抽象化的特征图进行整合，经过第一个全连接层时先将特征图的通道数缩小为原来的h倍，经过第二个全连接层时再将特征图的通道数扩张h倍，变回原来的通道数；经过两个全连接层得到的特征图C再与特征图b进行相乘操作，得到特征图D，最后特征图D经过卷积核的卷积层，得到特征图E，最后该瓶颈结构网络输出的是特征图a和特征图E相加得到的特征图F。5.根据权利要求1所述的一种基于检测约束的快速动态目标抓取方法，其特征在于，步骤S2中，利用开源数据集PASCAL VOC数据集对模型进行训练，将数据集分为训练集和验证集，使用验证集对训练完的快速目标检测模型进行验证，训练结果达到峰值的的平均准确率后，保存训练得到的参数。6.根据权利要求1所述的一种基于检测约束的快速动态目标抓取方法，其特征在于，步骤S4包括以下步骤：S401、遍历物体边界框中所有的像素的深度值，设置阈值d
t
＝d
c
‑
d0，d0为常数，d
c
为边界框中心点的深度值；S402、假设生成的边界框的四个顶点分别是A、B、C、D，读取边界A
‑
B所有像素的深度值，如果存在深度值小于阈值d
t
的像素点，则将A
‑
B上移一个像素，读取移动后的A
‑
B的所有像素的深度值，如果仍存在深度值小于阈值d
t
的像素点，则将边界A
‑
B上移，直到边界A
‑
B及其上方3个像素的边界上所有像素的深度值均大于d
t
，将此时边界的端点分别设置为第一端点A1和第二端点B1；反之，如果边界A
‑
B所有...
【专利技术属性】
技术研发人员：魏武，冯凯月，余秋达，高天啸，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。