基于旋转目标检测的视觉分拣方法技术

本发明专利技术公开了基于旋转目标检测的视觉分拣方法，方法步骤如下：S1：采集待分拣物的图像，将采集的图像输入旋转检测模型；S2：对旋转检测模型进行部署，并将旋转检测模型的输出通过非极大值抑制方法得到旋转检测目标的最终输出矩形框；S3：对旋转检测目标的最终输出矩形框进行坐标变换得到其在绝对坐标系下的具体位置，并根据实际需求制定分拣策略；S4：通过轨迹规划与逆运动学控制机器人进行分拣；S5：机器人完成分拣动作后重复S1

【技术实现步骤摘要】
基于旋转目标检测的视觉分拣方法


[0001]本专利技术涉及视觉分拣
，尤其涉及基于旋转目标检测的视觉分拣方法。

技术介绍

[0002]目前，主流的视觉分拣技术主要包括二维码检测和模板匹配算法。然而，这些方法存在以下缺点：
[0003]1)对光照和尺度变化敏感：传统视觉算法对于光照变化和尺度变化较为敏感。当目标物体在光照条件或尺度方面发生变化时，检测结果可能受到影响，从而降低准确性。
[0004]2)受噪声和变形影响：图像中存在噪声或目标物体发生变形时，算法的准确性可能受到影响。噪声和变形可能导致匹配结果产生误差，降低算法的可靠性。
[0005]3)计算复杂度高：模板匹配算法需要在图像中的每个位置进行匹配，导致计算复杂度较高。这限制了算法的识别速度、准确性和实时性。
[0006]4)需要对产品进行预处理：为了完成识别任务，需要对产品进行预处理，从而降低工作效率。
[0007]因此，亟需开发一种新的视觉分拣方法以解决上述技术问题。

技术实现思路

[0008]基于
技术介绍
存在的技术问题，本专利技术提出了基于旋转目标检测的视觉分拣方法，具有更好的稳定性、准确性和识别速度。
[0009]本专利技术提出的基于旋转目标检测的视觉分拣方法，方法步骤如下：
[0010]S1：采集待分拣物的图像，将采集的图像输入旋转检测模型；
[0011]S2：对旋转检测模型进行部署，并将旋转检测模型的输出通过非极大值抑制方法得到旋转检测目标的最终输出矩形框；
>[0012]S3：对旋转检测目标的最终输出矩形框进行坐标变换得到其在绝对坐标系下的具体位置，并根据实际需求制定分拣策略；
[0013]S4：通过轨迹规划与逆运动学控制机器人进行分拣；
[0014]S5：机器人完成分拣动作后重复S1
‑
S4，直到完成分拣任务。
[0015]优选地，所述旋转检测模型的输入阶段采用改进的旋转目标检测网络与自定义数据生成和增强方法；特征融合模块采用改进的特征金字塔与个人区域网络结构进行下采样融合。
[0016]优选地，S2中自定义数据生成和增强的方法步骤如下：
[0017]S211：根据物体标签对输入图像进行裁剪，生成模板；
[0018]S212：引入随机参数对模板进行修改；
[0019]S213：将经过修改的模板图像与背景图像进行融合；
[0020]S214：采用局部图像平滑技术增强模板图像与背景图像的融合度，并输出融合后的图像。
[0021]优选地，S212中的随机参数包括偏移量、缩放比例和旋转角度。
[0022]优选地，改进的特征金字塔与个人区域网络结构为引入改进的全连接空间金字塔空洞卷积模块。
[0023]优选地，改进的全连接空间金字塔空洞卷积模块采用空洞卷积模块代替最大池化层，空洞卷积模块包含空洞卷积、归一化和siLU激活函数。
[0024]优选地，主干结构和特种融合模块之间还设置有协调注意力机制模块。
[0025]优选地，所述旋转检测模型的预测头由参数向量[x，y，w，h，θ，Conf，cls]表示，其中x和y表示矩形框的中心坐标，w和h表示矩形框的宽度和高度，表示矩形框的旋转角度，Conf表示矩形框的置信度，cls表示矩形框的类别概率。
[0026]优选地，矩形框的置信度表达式为：
[0027][0028]式中：Pr(obj)为物体存在的概率函数；为预测框与真实框的交并比；Score(θ)为角度得分项，表达式为：
[0029]Score(θ)＝1
‑
|norm(θ
pred
‑
θ
truth
)|
k
[0030]式中：k为旋转检测模型的超参数；θ
pred
为角度预测值；θ
truth
为标签值。
[0031]优选地，S2中非极大值抑制的方法步骤如下：
[0032]S221：将置信度值低于置信度阈值的预测框过滤掉，其余的预测框按类别分为K1、K2、K2、
…
、K
NC
集合；
[0033]S222：找到每个集合中置信度得分最大的预测框，放到解集Q中，并计算剩下所有预测框与它的旋转框IOU，如果大于IOU阈值，则说明为同一物体的检测框，将其排除；反之，则保留；
[0034]S223：重复S222，直到所有预测框都被遍历。
[0035]本专利技术的有益技术效果：
[0036]本专利技术以Yolov7为基础框架，将CA注意力机制与改进的特征融合方法结合到目标检测网络当中，同时使用先验框回归的方法预测旋转框的角度，相较于将角度作为分类问题的方法可以更加精确地表示旋转目标的角度，并且大大降低了计算量，避免因检测头过长造成的特征浪费；且本专利技术保留了Yolov7的优秀性能，推理速度更快，预测效果更加准确，可以更好的实现工业分拣系统的实时检测功能。
附图说明
[0037]图1为本专利技术提出的基于旋转目标检测的视觉分拣方法的流程图；
[0038]图2为本专利技术提出的旋转检测模型的网络结构图；
[0039]图3为本专利技术提出的自定义数据生成和增强的流程图与生成结果图；
[0040]图4为本专利技术提出的SPPFCSPCD特征融合模块结构示意图；
[0041]图5为本专利技术提出的CA注意力机制原理示意图；
[0042]图6为本专利技术提出的网络的输出层结构示意图；
[0043]图7为本专利技术提出的旋转矩形框表示方法的示意图；
[0044]图8为本本专利技术提出的角度回归的原理示意图，(a)为任一特征层下的先验旋转框
回归的示意图，(b)为角度先验值的示意图；
[0045]图9为本专利技术提出的训练过程中各损失函数收敛结果图；
[0046]图10为本专利技术提出的自定义食品包装数据集的检测结果图。
具体实施方式
[0047]下面结合具体实施例对本专利技术作进一步解说。
[0048]参照图1，本专利技术提出的基于旋转目标检测的视觉分拣方法步骤如下：
[0049](1)通过摄像头采集传送带上待分拣物体的图片，采集频率为1.5s/次，并将图片输入旋转检测模型；
[0050](2)对基于改进的yolov7与自定义数据生成和增强方法训练出的旋转检测模型进行部署，该模型的泛化能力强、实时性高，本方法使用GPU加速推理，推理时间不超过15ms；将旋转检测模型的输出通过非极大值抑制方法得到旋转检测目标的最终输出矩形框；
[0051](3)对检测结果做一系列坐标变换得到其在绝对坐标系下的具体位置，根据实际需求制定分拣策略，本方法旨在完成对食品包装分拣任务；
[0052](4)通过轨迹规划与逆运动学控制机器人完成分拣任务，现有的轨迹规划与运动学算法已十分成熟且不是本专利技术的重点，以下将不再赘述；
[0053]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于旋转目标检测的视觉分拣方法，其特征在于，方法步骤如下：S1：采集待分拣物的图像，将采集的图像输入旋转检测模型；S2：对旋转检测模型进行部署，并将旋转检测模型的输出通过非极大值抑制方法得到旋转检测目标的最终输出矩形框；S3：对旋转检测目标的最终输出矩形框进行坐标变换得到其在绝对坐标系下的具体位置，并根据实际需求制定分拣策略；S4：通过轨迹规划与逆运动学控制机器人进行分拣；S5：机器人完成分拣动作后重复S1
‑
S4，直到完成分拣任务。2.根据权利要求1所述的基于旋转目标检测的视觉分拣方法，其特征在于，所述旋转检测模型的输入阶段采用改进的旋转目标检测网络与自定义数据生成和增强方法；特征融合模块采用改进的特征金字塔与个人区域网络结构进行下采样融合。3.根据权利要求2所述的基于旋转目标检测的视觉分拣方法，其特征在于，S2中自定义数据生成和增强的方法步骤如下：S211：根据物体标签对输入图像进行裁剪，生成模板；S212：引入随机参数对模板进行修改；S213：将经过修改的模板图像与背景图像进行融合；S214：采用局部图像平滑技术增强模板图像与背景图像的融合度，并输出融合后的图像。4.根据权利要求3所述的基于旋转目标检测的视觉分拣方法，其特征在于，S212中的随机参数包括偏移量、缩放比例和旋转角度。5.根据权利要求2所述的基于旋转目标检测的视觉分拣方法，其特征在于，改进的特征金字塔与个人区域网络结构为引入改进的全连接空间金字塔空洞卷积模块。6.根据权利要求5所述的基于旋转目标检测的视觉分拣方法，其特征在于，改进的全连接空间金字塔空洞卷积模块采用空洞卷积模块代替最大池化层，空洞卷积模块包含空洞卷积、归一化和siLU激...

【专利技术属性】
技术研发人员：钱森，朱家鼎，赵泽曜，王正雨，刘勇，訾斌，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：