类别判定及抓取位姿定位方法、存储介质和终端设备技术

本发明专利技术涉及类别判定及抓取位姿定位方法、存储介质和终端设备，包括：基于神经网络，构建以抓取件图像、待抓取物图像以及两个图像的重合面积最大化问题相关参数为输入，待抓取物为规则件或不规则件为输出的类别判断模型；采集若干抓取件图像、待抓取物图像以及两个图像的重合面积最大化问题相关参数的样本，并对待抓取物图像进行标注，得到样本集；将样本集的样本依次输入类别判断模型，得到训练后的类别判断模型；采集当前抓取件图像、当前待抓取物图像和相关参数的当前数据，输入训练后的类别判断模型，判定当前待抓取物为规则件或不规则件。件。件。

【技术实现步骤摘要】
类别判定及抓取位姿定位方法、存储介质和终端设备


[0001]本专利技术涉及控制领域，特别是涉及一种类别判定方法。

技术介绍

[0002]在工程机械智能制造升级过程中，定制化零件具有形状复杂、尺寸跨度广等特点，出现了很多异形件，即非规则零件。对于规则件和非规则件，无论是图像识别方法、抓取定位方法等，都存在诸多差异。因此，在工业场景中，区别规则件和非规则件，以针对其不同类型而使用不同方法，开展识别、定位等工作都具有重大意义。
[0003]但是，上述场景中规则与非规则主要指零件的外形差异，目前尚无明确的几何定义对规则件与非规则件进行区分，导致实际工业场景中，经常将普通适用于规则件的方法，如识别方法、抓取位姿定位方法等，应用于非规则件上，导致识别错误、抓取失败等，严重影响整个生产线的正常运转和效率。
[0004]因此，如何识别规则件与非规则件，是工业生产线上必不可缺的研究方向，如何提供一种高准确性的零件类别判定方法，是本领域亟待解决的技术问题。

技术实现思路

[0005]为解决上述技术问题之一，本专利技术提供一种基于神经网络的类别判定方法，包括：
[0006]基于神经网络，构建以抓取件图像、待抓取物图像以及两个图像的重合面积最大化问题相关参数为输入，待抓取物为规则件或不规则件为输出的类别判断模型；
[0007]采集若干抓取件图像、待抓取物图像以及两个图像的重合面积最大化问题相关参数的样本，并对待抓取物图像进行标注，得到样本集；
[0008]将样本集的样本依次输入类别判断模型，得到训练后的类别判断模型；
[0009]采集当前抓取件图像、当前待抓取物图像和相关参数的当前数据，输入训练后的类别判断模型，判定当前待抓取物为规则件或不规则件。
[0010]进一步地，抓取件图像为抓取件的二值化图像；待抓取物图像为待抓取物的二值化图像。
[0011]进一步地，重合面积最大化问题相关参数为抓取件最大旋转角度的正负极值；待抓取物的重心点横纵坐标；待抓取物的宽度正负极值；待抓取物的高度正负极值的至少一组或多组。
[0012]进一步地，对待抓取图像进行标注的步骤，包括：
[0013]采用重心旋转搜索法，搜索抓取件抓取待抓取物的最大抓力；
[0014]判断最大抓力是否大于设定阈值；
[0015]若是，则将待抓取物标注为规则件；若否，则将待抓取物标注为不规则件。
[0016]进一步地，对待抓取图像进行标注的步骤，可表示为：
[0017][0018]其中，i表示吸盘中的第i个磁块，i取1至N，N为吸盘的磁块总数，S
r
表示第i个磁块与零件的贴合面积，S
i
表示第i个磁块的磁块面积，I
i
表示第i个磁块的指示函数；F
i
表示第i个磁块的额定吸力，G表示待抓取物的重力，β表示吸力与零件重力的最大比值的设定阈值。
[0019]进一步地，类别判断模型，包括：
[0020]输入层，用于输入抓取件图像、待抓取物图像以及两个图像的重合面积最大化问题相关参数；
[0021]特征提取层，用于提取输入层输入内容的特征；
[0022]全连接层，用于融合特征提取层中各层的特征，得到分类结果；
[0023]输出层，用于输出分类结果为规则件或不规则件。
[0024]进一步地，输入层，包括：
[0025]第一通道，用于输入抓取件图像；
[0026]第二通道，用于输入待抓取物图像；
[0027]第三通道，用于输入抓取件图像和待抓取物图像的重合面积最大化问题相关参数；
[0028]合成通道，用于合成抓取件图像和待抓取物图像。
[0029]另一方面，本专利技术还提供一种抓取位姿定位方法，包括：
[0030]T1：根据上述任意的类别判定方法，判定当前待抓取物为规则件或不规则件；
[0031]T2：若是规则件，则采用旋转搜索法，定位当前待抓取物的抓取位姿；
[0032]T3：若是不规则件，则采用基于种群的概率搜索法，定位当前待抓取物的抓取位姿。
[0033]另一方面，本专利技术还提供一种计算机存储介质，存储有可执行程序代码；所述可执行程序代码，用于执行上述任意的类别判定方法或上述任意的抓取位姿定位方法。
[0034]另一方面，本专利技术还提供一种终端设备，包括存储器和处理器；所述存储器存储有可被处理器执行的程序代码；所述程序代码用于执行上述任意的类别判定方法或上述任意的抓取位姿定位方法。
[0035]本专利技术提供的类别判定及抓取位姿定位方法、存储介质和终端设备，基于神经网络方法的任意模型，构建以抓取件图像、待抓取物图像以及两个图像的重合面积最大化问题相关参数为输入，待抓取物为规则件或不规则件为输出的类别判断模型，然后采集样本进行标注，通过样本集训练验证类别判断模型，得到训练后的神经网络模型，进而采集当前抓取件图像、当前待抓取物图像和相关参数的当前数据，输入训练后的类别判断模型，输出其为规则件或不规则件的结果。关键的，其输入包括抓取件图像、待抓取物图像以及两个图像的重合面积最大化问题相关参数，后续特征提取更全面，能很大程度的提高零件类别判定的精确性。
附图说明
[0036]图1为本专利技术示例的吸盘底面图像；
[0037]图2为本专利技术示例的零件表面图像；
[0038]图3为本专利技术抓取位姿定位方法的一个实施例的流程图；
[0039]图4为本专利技术抓取位姿定位方法的步骤T1的一个实施例的流程图；
[0040]图5为本专利技术抓取位姿定位方法的步骤T1的另一个实施例的流程图；
[0041]图6为本专利技术抓取件图像的二值化图像示例图；
[0042]图7为本专利技术待抓取物图像的二值化图像示例图；
[0043]图8为本专利技术类型判断模型的一个实施例的结构示意图；
[0044]图9为本专利技术的抓取件二值化图像和待抓取物二值化图像的合成图像示例图；
[0045]图10为本专利技术的类别判断模型的输入层的第三通道的输入形式示例图；
[0046]图11为不同神经网络模型的平均准确率统计图；
[0047]图12为DenseNet
‑
121在验证集上的混淆矩阵；
[0048]图13为灰狼优化算法中，不同狼群数量在验证集上的平均比值分数和时间开销统计图；
[0049]图14为灰狼优化算法中，不同迭代次数在验证集上的平均比值分数和时间开销统计图；
[0050]图15为不同概率搜索法在验证集上的平均比值分数和时间开销统计图。
具体实施方式
[0051]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的类别判定方法，其特征在于，包括：基于神经网络，构建以抓取件图像、待抓取物图像以及两个图像的重合面积最大化问题相关参数为输入，待抓取物为规则件或不规则件为输出的类别判断模型；采集若干抓取件图像、待抓取物图像以及两个图像的重合面积最大化问题相关参数的样本，并对待抓取物图像进行标注，得到样本集；将样本集的样本依次输入类别判断模型，得到训练后的类别判断模型；采集当前抓取件图像、当前待抓取物图像和相关参数的当前数据，输入训练后的类别判断模型，判定当前待抓取物为规则件或不规则件。2.根据权利要求1所述的类别判定方法，其特征在于，抓取件图像为抓取件的二值化图像；待抓取物图像为待抓取物的二值化图像。3.根据权利要求2所述的类别判定方法，其特征在于，重合面积最大化问题相关参数为抓取件最大旋转角度的正负极值；待抓取物的重心点横纵坐标；待抓取物的宽度正负极值；待抓取物的高度正负极值的至少一组或多组。4.根据权利要求2所述的类别判定方法，其特征在于，对待抓取图像进行标注的步骤，包括：采用重心旋转搜索法，搜索抓取件抓取待抓取物的最大抓力；判断最大抓力是否大于设定阈值；若是，则将待抓取物标注为规则件；若否，则将待抓取物标注为不规则件。5.根据权利要求4所述的类别判定方法，其特征在于，对待抓取图像进行标注的步骤，可表示为：其中，i表示吸盘中的第i个磁块，i取1至N，N为吸盘的磁块总数，S
r
表示第i个磁块与零件的贴合面积，S
i
表示第i个磁块的磁块面积，I
i
表示第i个磁块的指示函数；F
i
...

【专利技术属性】
技术研发人员：肖毅，曾德天，曾增日，申江，
申请(专利权)人：湖南人文科技学院，
类型：发明
国别省市：