旋转框定位多形态瓶状物品分拣目标检测方法技术

旋转框定位多形态瓶状物品分拣目标检测方法，包括：1、模拟实际分拣情况以及多种随机性状况，并搜集同类物品多种形态结构，利用移动端设备进行拍摄制作数据集；2、对于数据集图像采用Mosaic数据增强方法；3、将图像信息输入旋转框定位的目标检测模型进行训练；4、MR2‑

【技术实现步骤摘要】
旋转框定位多形态瓶状物品分拣目标检测方法


[0001]本专利技术涉及垃圾自动分拣领域，具体涉及一种旋转框定位多形态瓶状物品分拣目标检测方法。

技术介绍

[0002]在“智能制造”的背景下，利用机器视觉与自动化设备协同配合代替人工流水线垃圾分拣成为发展趋势。若需要对于目标物进行精准且高效率分拣，首先需要机器视觉相关技术获取目标物类别、位姿等信息。
[0003]垃圾分类标准多样，若采用机械硬件分拣大多按目标物形状大小、质量大小、是否具有磁性等物理性质分类，若采用机器视觉技术分拣，则大多按目标材料、颜色等进行精细分类。同类材质或颜色的目标具有多样化形态结构和多尺度的外形尺寸。瓶状物品是一类高值可回收物品，通常由塑料、玻璃、金属等材质制成。以塑料制品瓶状物为例，药包瓶、眼药水瓶等外形尺寸极小，但大容量矿泉水瓶、饮料瓶等外形尺寸极大，且都易发生变形、堆叠、遮挡与分拣背景混淆等情况，此外分拣流水线高密度堆叠目标物品的复杂场景导致传统目标检测算法模型受特定参数约束条件，在复杂场景下对分拣对象检测的准确性降低，出现较高漏检率及误检率。由于需要对于目标物位姿进行准确识别，即需要获取其位置信息、旋转角度信息等，才可使工业机器人完成精准的抓取分拣操作，快速、准确的图像识别定位方法成为影响整体分拣系统效率的关键因素。综上，亟需开发一种可以解决机器分拣场景时瓶状物品任意位姿和同类别物品多样化形态结构和多尺度外形尺寸导致识别出现较高漏检、误检等问题的目标检测算法。

技术实现思路

[0004]本专利技术要克服现有技术的上述缺点，提供一种旋转框定位多形态瓶状物品分拣目标检测方法。
[0005]本专利技术提出旋转框精准定位网络MR2‑
YOLOv5(Multi
‑
scale Refined Rotated YOLOv5)，在保证检测速度的前提下，达到对于垃圾分拣场景目标物的位姿、分类信息的检测。
[0006]本专利技术的技术方案是：
[0007]旋转框定位多形态瓶状物品分拣目标检测方法，包括如下步骤：
[0008]1、建立数据集；
[0009]实际流水线垃圾分拣过程中高密度分拣对象导致的复杂背景，以及同类物体具有多形态结构的特点，并且分拣物在流水线上状态多变，随机性强，竖放、平放、堆叠、弯曲变形等情况均有可能出现。针对上述情况，本专利技术模拟实际分拣情况以及多种随机性状况，并搜集同类物品多种形态结构，利用移动端设备进行拍摄制作数据集，对于目标物拍摄角度尽可能与分拣场景相同，尽可能使训练集中目标角度覆盖角度分类范围。
[0010]利用标注工具对数据集图片进行旋转框标注，以及归一化处理。物品左上角作为
标注起始点，利于旋转角度目标的头部判断，将标注文件转换为符合为本文所需标签文件，并将参数基于图像自身宽高进行归一化处理，标签参数定义为(classnameid，rx，ry，longside，shortside，θ)。Classnameid为类别ID参数，r
x
和r
y
为目标中心点横纵坐标，longside为目标框较长边，shortside为目标框较短边，θ定义为X轴顺时针旋转至与目标框长边平行所经过的角度。
[0011]2、对于数据集图像采用Mosaic数据增强方法；
[0012]对于传入图像进行随机翻转、缩放、裁剪等处理，并将得到的图像进行依次拼接，大幅度提高了训练时目标背景复杂度。
[0013]3、将图像信息输入旋转框定位的目标检测模型进行训练；
[0014]改进所述旋转框定位的目标检测算法模型结构：基于YOLOv5模型将角度预测作为分类问题，并引入环形平滑标签(CSL)角度分类方法，用于对于目标物角度的精准预测。增加模型检测层数，原始PANet网络结构改进为BiFPN，在主干网络末端利用Transformer模块替换YOLOv5的C3模块的模型改进方法，解决垃圾分拣场景下同材质物品结构、尺度多样而导致的高漏检率、误检率。
[0015]3.1)CSL角度分类方法具体包括：
[0016]将目标物角度预测视为分类问题，设计符合垃圾分拣物理场景的环形平滑标签(CSL)来解决角度的周期性问题，增加相邻角度之间的误差容忍度。CSL具体表达式如下：
[0017][0018]式中：g(x)表示窗口函数(本次选择高斯函数)，r表示窗函数的半径，θ表示当前边界框的角度。
[0019]旋转框参数表达选择长边定义法，具体表示为(r
x
，r
y
，longside，shortside，θ)，其中r
x
和r
y
为目标中心点横纵坐标，longside为目标框较长边，shortside为目标框较短边。与现有长边定义法不同的是θ定义为X轴顺时针旋转至与长边平行的角度，若出现目标框为正方形，则θ定义为X轴顺时针旋转至较近边平行的角度。结合目前YOLOv5模型中置信度损失以及类别损失计算方法，采用二分类交叉熵损失函数BCEWithLogitsLoss对于角度损失进行计算。具体定义如下式：
[0020][0021]式中：N表示样本数量，i为角度范围，δ表示sigmoid函数，z
n,i
表示预测第n个样本为第i个角度的概率值，最大值z
n,i
＝1，即预测值。y
n,i
表示第n个样本在CSL(x)表达式下第i个角度标签值，即真实值，且最大值y
n,i
＝1。将第n个样本的各个角度预测值与真实值依次带入l
n,i
计算，第n个样本所有角度结果求和得到l
n
，将N个样本的计算结果求平均，即为此次角度损失。
[0022]加入角度检测分支后，检测网络参数输出特征图通道数m具体定义如下：
[0023]m＝(nc+5+ω)
×
na.(3)
[0024]式中：nc表示检测类别数；na表示锚框数量；5表示旋转框定义代表中心点坐标r
x
，
r
y
，以及预测框长短边longside，shortside，以及该预测框置信度；
ω
代表角度检测分支对于角度分类数量。
[0025]3.2)改进模型具体包括：
[0026](1)将Focus模块作为第一层，以此类推。在第9层及SPP层(池化层)后添加Transformer模块，通过对于各个通道赋予权重，强化特征提取。Transformer网络将多个缩放点积注意力机制结合，形成多头注意力机制。缩放点积注意力机制可批量处理数据，表达式如下：
[0027][0028]式中：Q、K、V分别代表查询向量、键向量、值向量，d
k
表示输入数据维度。
[0029]多头注意力机制具有更高的运算效率，且可以从不同的特征空间中学习自适应注意力分布，表达式如下：
[0030][0031]式中：参数矩阵d...

【技术保护点】

【技术特征摘要】
1.旋转框定位多形态瓶状物品分拣目标检测方法，包括如下步骤：S1、建立数据集；模拟实际分拣情况以及多种随机性状况，并搜集同类物品多种形态结构，利用移动端设备进行拍摄制作数据集，对于目标物拍摄角度尽可能与分拣场景相同，尽可能使训练集中目标角度覆盖角度分类范围；利用标注工具对数据集图片进行旋转框标注，以及归一化处理；物品左上角作为标注起始点，利于旋转角度目标的头部判断，将标注文件转换为符合为本文所需标签文件，并将参数基于图像自身宽高进行归一化处理，标签参数定义为(classnameid，rx，ry，longside，shortside，θ)；Classnameid为类别ID参数，r
x
和r
y
为目标中心点横纵坐标，longside为目标框较长边，shortside为目标框较短边，θ定义为X轴顺时针旋转至与目标框长边平行所经过的角度；S2、对于数据集图像采用Mosaic数据增强方法；对于传入图像进行随机翻转、缩放、裁剪等处理，并将得到的图像进行依次拼接，大幅度提高了训练时目标背景复杂度；S3、将图像信息输入旋转框定位的目标检测模型进行训练；改进所述旋转框定位的目标检测算法模型结构：基于YOLOv5模型将角度预测作为分类问题，并引入环形平滑标签(CSL)角度分类方法，用于对于目标物角度的精准预测；增加模型检测层数，原始PANet网络结构改进为BiFPN，在主干网络末端利用Transformer模块替换旋转框精准定位网络YOLOv5的C3模块的模型改进方法，解决垃圾分拣场景下同材质物品结构、尺度多样而导致的高漏检率、误检率；3.1)CSL角度分类方法具体包括：将目标物角度预测视为分类问题，设计符合垃圾分拣物理场景的环形平滑标签(CSL)来解决角度的周期性问题，增加相邻角度之间的误差容忍度；CSL具体表达式如下：式中：g(x)表示窗口函数(本次选择高斯函数)，r表示窗函数的半径，θ表示当前边界框的角度；旋转框参数表达选择长边定义法，具体表示为(r
x
，r
y
，longside，shortside，θ)，其中r
x
和r
y
为目标中心点横纵坐标，longside为目标框较长边，shortside为目标框较短边；与现有长边定义法不同的是θ定义为X轴顺时针旋转至与长边平行的角度，若出现目标框为正方形，则θ定义为X轴顺时针旋转至较近边平行的角度；结合目前YOLOv5模型中置信度损失以及类别损失计算方法，采用二分类交叉熵损失函数BCEWithLogitsLoss对于角度损失进行计算；具体定义如下式：式中：N表示样本数量，i为角度范围，δ表示sigmoid函数，zn,i表示预测第n个样本为第i个角度的概率值，最大值z
n,i
＝1，即预测值；y
n,i
表示第n个样本在CSL(x)表达式下第i个角
度标签值，即真实值，且最大值y
n,i
＝1；将第n个样本的各个角度预测值与真实值依次带入l
n,i
计算，第n个样本所有角度结果求和得到l
n
，将N个样本的计算结果求平均，即为此次角度损失；加入角度检测分支后，检测网络参数输出特征图通道数m具体定义如下：m＝(nc+5+ω)
×
na.(3)式中：nc表示检测类别数；na表示锚框数量；5表示旋转框定义代表中心点坐标r
x
，r
y
，以及预测框长短边longsid...

【专利技术属性】
技术研发人员：董红召，方浩杰，余滔滔，王桢，廖世凯，张利强，裘水军，吴新荣，
申请(专利权)人：蔚复来浙江科技股份有限公司，
类型：发明
国别省市：