一种基于图像的物体抓取点获取方法和装置制造方法及图纸

本发明专利技术涉及一种基于图像的物体抓取点获取方法和装置，属于图像预处理及识别技术领域，解决现有水平框目标检测算法未考虑空间抓取场景下物体形态多样以及需要准确定位等的问题。方法包括：获取历史物体平面图像；构建训练数据集同时构建预训练数据集；构建神经网络模型，利用预训练数据集进行预训练，然后利用训练数据集进行微调；获取包括待抓取物体的实时图像并输入训练好的神经网络预测模型以预测实时图像中待抓取物体的目标框，并根据目标框坐标获取待抓取物体的二维平面信息；基于二维平面信息和距离信息，获取待抓取物体的抓取点信息。通过待抓取物体的定位及分类能够准确抓取不同物体。抓取不同物体。抓取不同物体。

An image-based method and device for acquiring object capture points

【技术实现步骤摘要】
一种基于图像的物体抓取点获取方法和装置


[0001]本专利技术涉及图像预处理及识别
，尤其涉及一种基于图像的物体抓取点获取方法和装置。

技术介绍

[0002]随着人工智能时代的到来，人们的工作方式正在发生着变化，机械臂、机器人等应用场景越来越普及，例如在先进智能制造行业的自动装配、金属加工等，在物流行业分拣中心的包裹自动分拣等等，都离不开工业机器人的运用，而这一重要前提就是能够实现对物体的自动抓取，这就需要一种快捷准确的空间物体定位及分类方法。目前，实现对物体的定位主要有三种方法，一种是传统方法例如角点检测，这类传统的方法虽然速度较快，但是在较为复杂的环境中的检测能力较弱，并且无法对物体进行分类；一种是水平框目标检测，这类方法虽然能够适应复杂的环境，但是无法对被检测物体实现精确的定位，尤其是当物体重叠时；还有一类是语义分割，这类方法虽然能对物体实现精确定位，但是计算量极大，不能在工业现场得到广泛应用。因此设计一套能够在复杂环境中快速定位并能够对物体进行分类的软件算法及系统是很有必要的。

技术实现思路

[0003]鉴于上述的分析，本专利技术实施例旨在提供一种基于图像的物体抓取点获取方法和装置，用以解决传统图像处理方法对复杂场景中识别效果较差、物体分类准确率不高，传统水平框目标检测算法未考虑空间抓取场景下物体形态多样以及需要准确定位的问题，语义分割等算法计算量较大等问题。
[0004]一方面，本专利技术实施例提供了一种基于图像的物体抓取点获取方法，包括：获取历史物体平面图像；对所述历史物体平面图像进行任意角度目标框标注以构建训练数据集，同时基于开源数据集构建预训练数据集；构建神经网络模型，利用所述预训练数据集对所述神经网络模型进行预训练，然后利用所述训练数据集对预训练后的神经网络模型进行微调以生成训练好的神经网络预测模型；获取包括待抓取物体的实时图像并将所述实时图像输入所述训练好的神经网络预测模型以预测所述实时图像中待抓取物体的目标框，并根据所述目标框坐标获取所述待抓取物体的二维平面信息；由测距传感器获取物体与机械臂之间的距离信息，然后基于所述二维平面信息和所述距离信息，获取所述待抓取物体的抓取点信息。
[0005]上述技术方案的有益效果如下：使用基于任意角度旋转目标框的定位及分类网络模型，完成待抓取物体的定位及分类，克服使用传统方法进行定位及分类的弊端。结合协同装置确定物体相对空间位置，从而为后续机械装置抓取物体提供保障，克服了传统方法复杂场景下识别效果差、分类准确率不高，传统水平框目标检测法不考虑空间物体形态多样性导致定位不准确，现代语义分割算法计算量大等缺点。
[0006]基于上述方法的进一步改进，获取历史物体平面图像进一步包括：通过ZYNQ平台
工业面阵相机采集目标物体的平面图像；通过所述ZYNQ平台工业面阵相机内的FPGA对所述目标物体的平面图像进行实时增强；以及将增强后的目标物体的平面图像存储在数据库中作为所述历史物体平面图像；以及获取待抓取物体的实时图像进一步包括：通过所述ZYNQ平台工业面阵相机实时采集所述待抓取物体的图像；通过所述FPGA对所述待抓取物体的图像进行实时增强；以及将增强后的图像传输至PC端作为所述待抓取物体的实时图像。
[0007]基于上述方法的进一步改进，对所述历史物体平面图像进行任意角度目标框标注包括使用以下5个参数对所述目标物体的平面图像进行任意角度目标框标注：通过目标框的中心点、所述目标框的长度、所述目标框的宽度、所述目标框与水平方向的夹角以及所述目标物体的类别。
[0008]基于上述方法的进一步改进，所述水平方向的夹角包括通过以下公式将所述夹角由连续角度数值转换为离散序列，对所述离散序列进行编码以获得编码序列Ω(n)，以及对所述编码序列加窗函数以将所述离散序列转换为离散夹角区间θ(n)：，，其中，G(n)为窗函数，m=n
‑
2r，r为窗口半径。
[0009]基于上述方法的进一步改进，利用所述预训练数据集对所述神经网络模型进行预训练之前还包括对所述训练数据集和所述预训练数据集进行预处理，其中，所述预处理包括：通过对所述训练数据集和所述预训练数据集中的图片进行随机旋转以扩充数据集；通过对所述训练数据集和所述预训练数据集中的图片进行随机裁剪以模拟所述目标物体处在视野边缘图像不完整的情况；通过随机色块填充以提高模型对相互遮挡情况的物体的检测能力，包括：对于给定图片l，其大小为W
×
H，用大小为S
×
S的网格将给定图片分割为个块l
q,p
(q=1,
…
,W/S, p=1,
…
,H/S)，对于每个小块l
q,p
以概率p
q,p
对所述随机色块中的随机色进行遮挡，其中，所述概率p
q,p
为1%至5%。
[0010]基于上述方法的进一步改进，通过以下损失函数作为训练目标：，Loss
class
为分类损失函数：，Loss
q
为角度损失函数：，置信度损失函数Loss
object
为：，，其中，N为批尺寸，c为所述分类损失函数、所述角度损失函数和所述置信度损失函
数中的任一种的分类标签类别，x
nc
为模型预测推理标签值，y
nc
为目标标签值，边界框损失函数Loss
IOU
为：其中，，B为预测框，B
gt
为目标框，b和b
gt
分别为所述预测框和所述目标框的中心点，ρ2(b,b
gt
)为所述预测框和所述目标框的中心点的欧氏距离，c为B、B
gt
所找到的最小闭合凸面的对角线距离，w、h、w
gt
、h
gt
分别为所述预测框和所述目标框的宽和高，α、β、η、μ为各部分权重平衡系数。
[0011]基于上述方法的进一步改进，将所述实时图像输入所述训练好的神经网络预测模型以预测所述实时图像中所述待抓取物体的目标框进一步包括：当所述待抓取物体的实时图像经过所述训练好的神经网络预测模型之后，生成多个预测框B={b1,
…
,b
N
}；所述多个预测框B所对应的置信度为S={s
b1
,
…
,s
bN
}；所述待抓取物体的密度为D={d
b1
,
…
,d
bN
},其中,；通过以下公式使用NMS机制从所述多个预测框中筛选目标框：N
M
=max(N
t
,d
M
)，，其中，N
t
为初始NMS判决阈值以划分物体密集区域与物体稀疏区域，d
M
为M目标密度，d
M
=max(d
i
)，M=b
m
，σ为常数参数，当相邻候选框远离M所在的候选本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的物体抓取点获取方法，其特征在于，包括：获取历史物体平面图像；对所述历史物体平面图像进行任意角度目标框标注以构建训练数据集，同时基于开源数据集构建预训练数据集；构建神经网络模型，利用所述预训练数据集对所述神经网络模型进行预训练，然后利用所述训练数据集对预训练后的神经网络模型进行微调以生成训练好的神经网络预测模型；获取包括待抓取物体的实时图像并将所述实时图像输入所述训练好的神经网络预测模型以预测所述实时图像中待抓取物体的目标框，并根据所述目标框坐标获取所述待抓取物体的二维平面信息；由测距传感器获取物体与机械臂之间的距离信息，然后基于所述二维平面信息和所述距离信息，获取所述待抓取物体的抓取点信息。2.根据权利要求1所述的基于图像的物体抓取点获取方法，其特征在于，获取历史物体平面图像进一步包括：通过ZYNQ平台工业面阵相机采集目标物体的平面图像；通过所述ZYNQ平台工业面阵相机内的FPGA对所述目标物体的平面图像进行实时增强；将增强后的目标物体的平面图像存储在数据库中作为所述历史物体平面图像；以及获取待抓取物体的实时图像进一步包括：通过所述ZYNQ平台工业面阵相机实时采集所述待抓取物体的图像；通过所述FPGA对所述待抓取物体的图像进行实时增强；以及将增强后的图像传输至PC端作为所述待抓取物体的实时图像。3.根据权利要求2所述的基于图像的物体抓取点获取方法，其特征在于，对所述历史物体平面图像进行任意角度目标框标注包括使用以下5个参数对所述目标物体的平面图像进行任意角度目标框标注：通过目标框的中心点、所述目标框的长度、所述目标框的宽度、所述目标框与水平方向的夹角以及所述目标物体的类别。4.根据权利要求3所述的基于图像的物体抓取点获取方法，其特征在于，所述水平方向的夹角包括通过以下公式将所述夹角由连续角度数值转换为离散序列，对所述离散序列进行编码以获得编码序列Ω(n)，以及对所述编码序列加窗函数以将所述离散序列转换为离散夹角区间θ(n)：，，其中，G(n)为窗函数，m=n
‑
2r，r为窗口半径。5.根据权利要求3所述的基于图像的物体抓取点获取方法，其特征在于，利用所述预训练数据集对所述神经网络模型进行预训练之前还包括对所述训练数据集和所述预训练数
据集进行预处理，其中，所述预处理包括：通过对所述训练数据集和所述预训练数据集中的图片进行随机旋转以扩充数据集；通过对所述训练数据集和所述预训练数据集中的图片进行随机裁剪以模拟所述目标物体处在视野边缘图像不完整的情况；通过随机色块填充以提高模型对相互遮挡情况的物体的检测能力，包括：对于给定图片l，其大小为W
×
H，用大小为S
×
S的网格将给定图片分割为个块l
q,p
(q=1,
…
,W/S, p=1,
…
,H/S)，对于每个小块l
q,p
以概率p
q,p
对所述随机色块中的随机色进行遮挡，其中，所述概率p
q,p
为1%至5%。6.根据权利要求1所述的基于图像的物体抓取点获取方法，其特征在于，通过以下损失函数作为训练目标：Loss
class
为分类损失函数：，Loss
q
为角度损失函数：，置信度损失函数Loss
object
为：，,其中，N为批尺寸，c为所述分类损失函数、所述角度损失函数和所述置信度损失函数中的任一种的分类标签类别，x
nc
为模型预测推理标签值，y
nc
为目标标签值，边界框损失函数Loss
IOU
为：其中，，B为预测框，B
gt
为目标框，b和b
gt
分别为所述预测框和所述目标框的中心点，ρ2(b,b
gt
)为所述预测框和所述目标框的中心...

【专利技术属性】
技术研发人员：赵政杰，许绍云，李金泽，张宁，林美伶，张舒，
申请(专利权)人：中国科学院微电子研究所，
类型：发明
国别省市：