一种基于全局方向上下文特征的机器人抓取检测方法技术

本说明书实施例提供一种基于全局方向上下文特征的机器人抓取检测方法，该方法包括对抓取数据集进行预处理，获取网络训练集；将网络训练集作为输入，训练初始抓取检测网络，得到抓取检测网络模型；基于网络训练集，通过抓取检测网络的全局方向上下文特征提取模块，获取全局方向的特征图像；全局方向上下文特征提取模块用于提取输入数据的全局方向特征；基于全局方向的特征图像，通过抓取检测网络，获取有效抓取框；通过对有效抓取框进行坐标转换，获取抓取指令，使工业机器人完成抓取检测任务

【技术实现步骤摘要】
一种基于全局方向上下文特征的机器人抓取检测方法


[0001]本说明书涉及计算机
，特别涉及一种基于全局方向上下文特征的机器人抓取检测方法
。

技术介绍

[0002]抓取任务是工业生产中的一种常见任务，且部分场景中的危险系数较高
。
近年来，越来越多的机器人应用于抓取检测任务中，通过在待抓取物体上生成抓取区域，规划抓取路径实现对物体的抓取检测
。
但因为环境的复杂性，机器人需要对大量数据进行处理，来提高抓取区域的准确率，但处理时间大大增加；机器人通过对局部特征进行处理，从而减少了处理时间，同时抓取检测准确率也会降低
。
[0003]为了解决以上问题，提出了一种基于全局方向上下文特征的机器人抓取检测方法
。

技术实现思路

[0004]本说明书一个或多个实施例提供一种基于全局方向上下文特征的机器人抓取检测方法
。
所述基于全局方向上下文特征的机器人抓取检测方法包括：
S1
：对抓取数据集进行预处理，获取网络训练集；
S2
：将所述网络训练集作为输入，训练初始抓取检测网络，得到抓取检测网络模型；
S3
：基于所述网络训练集，通过所述抓取检测网络的全局方向上下文特征提取模块，获取全局方向的特征图像；所述全局方向上下文特征提取模块用于提取输入数据的全局方向特征；
S4
：基于所述全局方向的特征图像，通过所述抓取检测网络，获取有效抓取框；
S5
：通过对所述有效抓取框进行坐标转换，获取抓取指令，使工业机器人完成抓取检测任务
。
[0005]本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行以上任一项所述的方法
。
[0006]在本说明书的一些实施例中，处理器通过对采集的
RGB
图像和深度图像进行处理，得到预测的有效抓取框
。
在这个过程中，处理器通过增加通道维度和空间维度的权重，在保留局部信息的基础上提取到了全局信息；处理器通过对输入数据从各个方向上提取特征，可以过滤背景部分的无效抓取点，提高模型的性能和机器人的抓取检测成功率
。
并且，该方法减少了采样次数和不必要的候选检测框生成次数，大大提高了抓取检测速度
。
附图说明
[0007]本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述
。
这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
[0008]图1是根据本说明书一些实施例所示的一种基于全局方向上下文特征的机器人抓取检测方法的示例性流程图；
[0009]图2是根据本说明书一些实施例所示的获取修复后的深度图像文件的示例性流程图；
[0010]图3是根据本说明书一些实施例所示的获取全局方向的特征图像方法的示例性流程图；
[0011]图4是根据本说明书一些实施例所示的抓取检测网络模型的示例性示意图
。
具体实施方式
[0012]为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍
。
显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景
。
除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作
。
[0013]应当理解，本文使用的“系统”、“装置”、“单元”和
/
或“模块”是用于区分不同级别的不同组件
、
元件
、
部件
、
部分或装配的一种方法
。
然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语
。
[0014]如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和
/
或“该”等词并非特指单数，也可包括复数
。
一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素
。
[0015]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作
。
应当理解的是，前面或后面操作不一定按照顺序来精确地执行
。
相反，可以按照倒序或同时处理各个步骤
。
同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作
。
[0016]图1是根据本说明书一些实施例所示的一种基于全局方向上下文特征的机器人抓取检测方法的示例性流程图
。
如图1所示，流程
100
包括下述步骤
。
在一些实施例中，流程
100
可以由处理器执行
。
[0017]步骤
110
，处理器对抓取数据集进行预处理，获取网络训练集
。
[0018]抓取数据集是基于自然语言语句合成的图像数据集合
。
例如，抓取数据集可以包括康奈尔数据集
、
提花数据集等
。
[0019]在一些实施例中，处理器可以通过网络获取抓取数据集
。
例如，处理器可以将从网络上获取的康奈尔数据集或提花数据集作为抓取数据集等
。
[0020]网络训练集是用于训练抓取检测网络模型的数据集
。
例如，网络训练集可以包括数据格式转换后的康奈尔数据集等
。
[0021]在一些实施例中，处理器可以基于预处理的方式确定网络训练集
。
例如，处理器可以通过对抓取数据集中的
RGB
图像和深度图像进行数据格式转换，获取网络训练集
。
[0022]RGB
图像是具有多种颜色信息的图像，其中每一个像素具有三个通道
。
[0023]深度图像是反映图像中各点到摄像头平面的距离的图像
。
[0024]在一些实施例中，处理器可以基于网络训练集，通过图像信息提取，获取网络训练集中的目标
RGB
图像和对应的深度图像
。
[0025]关于获取网络训练集的更多细节可以参见图2及其相关描述
。
[0026]步骤
120
，处理器将所述网络训练集作为输入，训练初始抓取检测网络，得到抓取检测网络模型
。
[0027]抓取检测网络模型是用于预测有效抓取框的网络模型
。
例如，抓取网络模型可以包括深度神经网络模型...

【技术保护点】

【技术特征摘要】
1.
一种基于全局方向上下文特征的机器人抓取检测方法，其特征在于，包括：
S1
：对抓取数据集进行预处理，获取网络训练集；
S2
：将所述网络训练集作为输入，训练初始抓取检测网络，得到抓取检测网络模型；
S3
：基于所述网络训练集，通过所述抓取检测网络的全局方向上下文特征提取模块，获取全局方向的特征图像；所述全局方向上下文特征提取模块用于提取输入数据的全局方向特征；
S4
：基于所述全局方向的特征图像，通过所述抓取检测网络，获取有效抓取框；
S5
：通过对所述有效抓取框进行坐标转换，获取抓取指令，使工业机器人完成抓取检测任务
。2.
根据权利要求1所述的一种基于全局方向上下文特征的机器人抓取检测方法，其特征在于，步骤
S1
具体包括：
S11
：对所述抓取数据集进行排序和遍历，获取多个无结构文件；所述抓取数据集是康奈尔数据集；
S12
：基于所述无结构的文件，通过预设算法，获取对应尺寸的深度图像；
S13
：对所述深度图像进行数据修复，获取浮点数类型的
TIFF
图像文件，作为所述网络训练集
。3.
根据权利要求2所述的一种基于全局方向上下文特征的机器人抓取检测方法，其特征在于，所述步骤
S12
具体包括：获取初始深度图像；所述初始深度图像是初始值为0矩阵的图像；读取所述无结构文件的每一行的文件内容，获取有效行数据；所述有效行数据是列表长度为5且第一个位置数据转换的浮点数为有效值的行的数据；基于有效行数据，通过计算，获取对应的行号
r
和列号
c
：
r
＝
i/shape[1]、c
＝
i
％
shape[1]
；基于有效行数据中的第二
、
第三和第四位置的值，计算欧氏距离，将结果存储于所述矩阵的对应位置
(r,c)
上，获取所述深度图像
。4.
根据权利要求2所述的一种基于全局方向上下文特征的机器人抓取检测方法，其特征在于，所述步骤
S13
具体包括：对所述深度图像的边界进行复制扩展，获取扩展图像；创建与所述扩展图像大小相同的掩膜；所述掩膜中缺失值对应的像素为1，其余像素为0；对所述扩展图像进行缩放，获取取值范围在
[
‑
1,1]
之间的扩展图像；基于
OpenCV
的
inpaint
函数，修复所述扩展图像，通过所述掩膜填充将缺失的像素，获取修复后的扩展图像；将所述修复后的扩展图像恢复到原始大小和取值范围，获取修复后的深度图像；对所述修复后的深度图像进行数据转换，获取所述浮点数类型的
TIFF
图像文件
。5.
根据权利要求1所述的一种基于全局方向上下文特征的机器人抓取检测方法，其特征在于，所述步骤
S2
具体包括：基于
Smooth L1
损失函数，调整初始抓取检测网络模型的参数；所述
Smooth L1
损失函
数为：其中，所述

【专利技术属性】
技术研发人员：和红杰，胡耿源，陈帆，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：