【技术实现步骤摘要】
一种非完全信息条件下的机械臂视觉抓取方法与装置
[0001]本专利技术涉及机械臂控制的
,尤其涉及一种非完全信息条件下的机械臂视觉抓取方法与装置。
技术介绍
[0002]视觉系统被广泛应用到工业制造领域。利用视觉信息跟踪运动目标并实施抓取是机械臂在现实工业制造中的一个重要任务。然而,由于遮挡等原因,常常会导致目标信息采样缺失,影响机械臂抓取效果。
技术实现思路
[0003]有鉴于此,本专利技术提供一种非完全信息条件下的机械臂视觉抓取方法与装置,引入随机模型提高机械臂抓取鲁棒性,增强机械臂在非完全信息条件下的抓取效果,目的在于:1)基于粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络构建目标缺失信息推理模型,粗粒度推理网络在编码阶段首先使用下采样操作获取输入图像的缩略图,并利用空洞残差卷积层进行多层次特征融合以及获得更宽广的感受野,实现基于多层次特征融合以及感受野的初步图像推理补全,进而利用解码结构将编码后的结果恢复到原始尺寸,细粒度推理网络通过引入self
‑
attenti ...
【技术保护点】
【技术特征摘要】
1.一种非完全信息条件下的机械臂视觉抓取方法与装置,其特征在于,所述方法包括:S1:构建目标缺失信息推理模型,其中所述目标缺失信息推理模型包含粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络,模型的输入为存在缺失信息的图像,输出为推理补全后的图像;S2:对构建的目标缺失信息推理模型进行优化求解,得到优化后的目标缺失信息推理模型;S3:利用机械臂的视觉系统获取环境图像,判断环境图像是否缺失信息;S4:若环境图像中存在缺失信息,将缺失信息的环境图像输入到优化后的目标缺失信息推理模型中得到推理补全后的环境图像;S5:检测不存在缺失信息以及推理补全后的环境图像中是否存在抓取目标,若检测到抓取目标,则控制机械臂进行目标抓取。2.如权利要求1所述的一种非完全信息条件下的机械臂视觉抓取方法,其特征在于,所述S1步骤中构建目标缺失信息推理模型,包括:构建目标缺失信息推理模型,其中所述目标缺失信息推理模型包含粗粒度推理网络、细粒度推理网络、局部评估网络以及全局评估网络,目标缺失信息模型的输入为存在缺失信息的图像,依次利用粗粒度推理网络以及细粒度推理网络对存在缺失信息的图像进行推理补全,并利用局部评估网络以及全局评估网络对推理补全效果进行评估,若评估结果高于阈值则输出推理补全后的图像,否则返回粗粒度推理网络以及细粒度推理网络进行推理补全;所述粗粒度推理网络的结构为编码
‑
解码结构,其中编码结构包括4层普通卷积层以及两层空洞残差卷积层,4层普通卷积层的卷积核尺寸为3
×
3像素,步长均为2,所述空洞残差卷积层包括残差单元以及空洞卷积层,空洞卷积层的卷积核尺寸为3
×
3像素,解码结构包括4层反卷积层,其中反卷积层的卷积核尺寸为3
×
3像素,步长均为1/2;所述细粒度推理网络的结构为编码
‑
解码结构,细粒度推理网络的输入问为粗粒度推理网络的,其中编码结构包括4层普通卷积层,普通卷积层的卷积核尺寸为3
×
3像素,步长均为2,且每层普通卷积层前添加self
‑
attention自注意力感知层,解码结构包括4层反卷积层,其中反卷积层的卷积核尺寸为3
×
3像素,步长均为1/2;所述全局评估网络由4个卷积层和1个全连接层组成,每个卷积层的卷积核尺寸均为5
×
5像素,且步长均为2,全局评估网络将细粒度推理网络的推理补全结果以及原始图像作为输入,通过4个级联的卷积层将卷积特征图分辨率进行压缩,同时对卷积特征图的通道数进行扩充,在全连接层输出一维向量作为全局评估结果;所述局部评估网络由4个卷积层和1个全连接层组成,每个卷积层的卷积核尺寸均为5
×
5像素,且步长均为2;将细粒度推理网络的推理补全结果以及原始图像划分为9个等大的区域图像,对每个区域图像进行灰度化处理,并计算每个区域图像的灰度级范围,局部评估网络的输入为原始图像中灰度级范围最小的区域图像以及对应推理补全结果中的区域图像,在全连接层输出一维向量作为局部评估结果。3.如权利要求2所述的一种非完全信息条件下的机械臂视觉抓取方法,其特征在于,所述S2步骤中对构建的目标缺失信息推理模型进行优化求解,包括:获取N幅图像,并对每幅图像添加缺失信息,其中缺失信息包括图像模糊处理,得到模
型优化求解的训练集其中y
n
表示第n幅图像,表示对y
n
添加缺失信息后的结果;构建目标缺失信息推理模型的训练损失函数Loss(θ):构建目标缺失信息推理模型的训练损失函数Loss(θ):其中:θ=[θ1,θ2,θ3,θ4]表示目标缺失信息推理模型的模型参数,包括卷积核权重以及全连接层权重,θ1,θ2,θ3,θ4依次为粗粒度推理网络、细粒度推理网络、全局评估网络以及局部评估网络的参数;表示依次利用粗粒度推理网络D以及细粒度推理网络G对进行推理补全,SIFT(
·
)表示SIFT特征提取,sim(
·
)表示余弦相似度计算;表示利用全局评估网络对细粒度推理网络输出结果进行评估,表示利用局部评估网络对细粒度推理网络输出结果进行评估;基于目标缺失信息推理模型的训练损失函数进行模型优化求解,所述模型优化求解流程为:S21:初始化两个点集,每个点集中包含M个参数结果,并初始化每个点集的搜索半径,其中M表示目标缺失信息推理模型中的待优化求解参数总数,并将两个点集中的参数结果依次作为模型参数;S22计算两个点集的对应训练损失函数结果,并保存训练损失函数结果最小的点集,更新当前算法迭代次数;S23:对两个点集中的任意第m个参数结果进行随机优化:S23:对两个点集中的任意第m个参数结果进行随机优化:δ1(k)=δ1(k
‑
1)
‑
[δ1(k
‑
1)/a]δ2(k)=δ2(k
‑
1)+[δ2(k
‑
1)/a]其中:s
1,m
(k)表示保存点集中第m个参数结果在第k次优化的结果,rand(0,1)表示0
‑
1之间的随机数,m∈[1,M]s
2,m
(k)表示另一个点集中第m个参数结果在第k次优化的结果,rand(0,1)表示0
‑
1之间的随机数;δ1(k)表示保存点集第k次优化的搜索半径,δ2(k)表示另一个点集第k次优化的搜索半径,a表示扩张因子,将其设置为2;S24:若达到最大迭代次数,则计算此时两个点集的对应训练损失函数结果,将训练损失函数结果最小的点集作为优化求解结果,并基于优化求解结果构建得到优化后的目标缺失信息推理模型,否则返回步骤S22。
4.如权利要求1所述的一种非完全信息条件下的机械臂视觉抓取方法,其特征在于,所述S3步骤中利用机械臂的视觉系统获取环境图像,判断环境图像是否缺失信息,包括:利用机械臂的视觉系统获取环境图像,所述机械臂的视觉系统为摄像头,环境图像为机械臂周围...
【专利技术属性】
技术研发人员:王振宇,马季,
申请(专利权)人:无锡宇辉信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。