一种基于改进的YOLOv5的商品种类识别及裁剪方法技术

本发明专利技术提供了一种基于改进的YOLOv5的商品种类识别及裁剪方法，属于深度学习中目标识别技术领域。解决了在商品检测过中出现检测不准及需要进行细粒度图像识别时大量无关背景导致检测精度低的技术问题。其技术方案为：包括以下步骤：S1、根据商品信息对所有图像进行数据标注；S2、搭建改进后的YOLOv5的目标检测模型；S3、得到改进后的最好的商品类比检测模型；S4、利用在步骤S3中训练得到的商品类别检测模型进行商品的类别检测。本发明专利技术的有益效果为：通过改进后的YOLOv5进行商品类别识别并裁剪出商品图片，以便需要进一步检测时能将裁剪后的图片送入双线性卷积神经网络进行细粒度识别，从而实现提升商品类别识别精度。从而实现提升商品类别识别精度。从而实现提升商品类别识别精度。

【技术实现步骤摘要】
一种基于改进的YOLOv5的商品种类识别及裁剪方法


[0001]本专利技术涉及
，尤其涉及一种基于改进的YOLOv5的商品种类识别及裁剪方法。

技术介绍

[0002]随着科技的不断发展，如今拍照识别物品、自助售货机以及无人超市逐渐走进我们的生活。类似自助售货机相关产品，在售卖商品时检测结果出错或者直接没有识别出商品，将会出现非常大问题，因此在进行识别时对商品检测的准确度必须是以高标准进行评判。以往对于商品的检测都是人工进行，但是这样会损耗大量的人力物力，如今基于深度学习卷积神经网络的图像识别被广泛的应用，并且在各个领域都发挥着极其重要的作用，所以现在也使用它来进行商品的识别。其中，目标检测算法分为端到端检测算法和非端到端加测算法，端到端的检测速度比非端到端的快，但是检测精度没有非端到端的高。YOLOv5是一种端到端的可实时目标检测方法，YOLOv5能进行实时的检测任务，它将单个卷积神经网络应用于整个图像，将图像分成网格，并预测每个网格的类概率和边界框，最终得到检测目标的类别概率信息和位置信息。但是YOLOv5对于同种类别的商品识别精度较差，因此还需要和其它的识别方法来配合使用，例如：双线性卷积神经网络等细粒度识别算法，以达到预期效果。

技术实现思路

[0003]本专利技术的目的在于提供一种基于改进的YOLOv5的商品种类识别及裁剪方法，为了满足各种场景下商品识别的需求，有时需要在一张图片中定位到商品的具体位置，将此商品单独裁剪出以便进行更细的识别操作，使用双线性卷积神经网络进行训练目标识别时，大量无关背景会对训练识别进行干扰。其具体过程是通过改进后的YOLOv5进行商品类别识别，然后根据识别得到目标位置信息将商品在原图中通过裁剪方式得到具体商品的图片，以便需要进一步检测时能将图片送入双线性卷积神经网络进行细粒度识别，从而实现提升商品类别识别精度。
[0004]为了实现上述专利技术目的，本专利技术采用技术方案具体为：包括以下步骤：
[0005]S1、获取真实场景下拍摄的各种商品的图像数据，然后根据商品信息对所有图像进行数据标注，具体标注信息是商品的种类和位置；
[0006]将制作的商品数据集作为输入，对该数据集进行Mosaic数据增强，具体为：在商品数据集中随机选择9张图片，将图片的宽和高分别作为边界值，对图片进行t
x
＝f
r
(t
w
，t
w
+Δt
w
)和t
y
＝f
r
(t
h
，t
h
+Δt
h
)缩放倍率的缩放，其中，f
r
表示随机值函数，t
w
和t
h
分别表示宽和高缩放倍率的最小值，Δt
w
和Δt
h
分别表示宽和高缩放倍率随机区间长度。
[0007]S2、搭建改进后的YOLOv5的目标检测模型，具体改进为：
[0008](1)在YOLOv5的Backbone层中SPPF模块前添加CBAM注意力机制模块，CBAM模块会沿着通道和空间两个独立的维度依次推断注意力图，然后将注意力图与输入的特征图相乘
以进行自适应特征优化；
[0009]CBAM注意力机制分为通道注意力和空间注意力两部分，其表达式分别为：
[0010]通道注意力，
[0011][0012]空间注意力，
[0013][0014]其中，σ表示Sigmoid函数，MLP表示多层感知器，F为中间特征图，C为通道数，AvgPool()表示平均池化，MaxPool()表示最大池化，W1和W2表示输入共享权重，分别表示通道的平均池化特征和最大池化特征，分别表示利用平均池化和最大池化在空间上生成的特征映射，f7×7表示滤波器尺寸为7
×
7的卷积运算；
[0015](2)使用K
‑
means++聚类算法将制作的商品类别数据集中的商品坐标框归类到与其相似度距离最近的类别中，以得到商品数据的锚点框，其中，计算相似度采用的距离公式为欧式距离，公式为d(x)＝d(box，centroid)＝1
‑
IoU(box，centroid)，其中box为标注框，centroid为聚类中心anchor，IoU()为“预测的边框”和“真实的边框”交并比。
[0016](3)加入加权双向特征金字塔网络。
[0017]YOLOv5网络结构图中的Neck层网络结构所示，通过BiFPN的形式进行深浅层多尺度特征融合，但通过BiFPN取代原结构中的Concat。首先从主干特征网络C3模块层通过BiFPN与FPN网络结构里的Upsample模块进行连接，实现特征融合，再跳跃与PAN网络结构中的网络层连接，进而实现深层网络与浅层网络的多尺度特征融合。其计算表达式为：
[0018][0019][0020]其中，Conv()表示卷积操作，表示自上而下路径中第6层的中间特性，表示自上而下路径中第i层的输出特性，表示表示输入图像分辨率为1/2
i
的特征级别，w表示学习参数，Resize()表示上采样或下采样操作，∈表示偏移量。
[0021](4)对商品位置回归进行优化，在YOLOv5神经网络输出段使用Soft
‑
NMS算法来替换传统的NMS算法，构建以Soft
‑
NMS模块为输出端的改进YOLOv5神经网络输出部分。
[0022]a、对于输出端生成的重复框使用Soft
‑
NMS来控制输出最好效果的框。对检测框按分类置信度进行排序，选出最大置信度框并加入候选框集合。
[0023]b、对于候选框的交并比IoU大小不同的检测框做出不同程度惩罚，结合惩罚大小对目标的置信度做出修改。惩罚函数为高斯惩罚函数，其表达式为其中，S
i
为预测框的得分，M为最大分数的预测框，b
i
为预测框，σ为根据经验选择超参数。
[0024]c、重复步骤a和b直至完成所有候选框的选取。
[0025]S3、根据改进的YOLOv5网络框架搭建网络模型，将制作的数据集做为网络输入进行训练，得到改进后的最好的商品类比检测模型。
[0026]训练的基本参数epoch设为300，batch size设为16，image size设为640
×
640，初始学习率设为0.01，终止学习率0.2，动量为0.937，权重衰减为0.0005，并采用随机梯度下降策略进行随机衰减。
[0027]S4、利用在S3中训练得到的商品类别检测模型进行商品的类别检测，根据检测结果得到商品的类别和在图片中的相对位置信息，利用位置信息将本商品从图片上单独裁剪出，使用它所对应的类别信息作为名称进行保存。保存过程中将得到的归一化后的坐标值转换为图片真实坐标值，然后获取左上、右上、右下和左下四个点并按照顺时针顺序输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进的YOLOv5的商品种类识别及裁剪方法，其特征在于，包括以下步骤：S1、获取真实场景下拍摄的各种商品的图像数据，然后根据商品信息对所有图像进行数据标注，标注信息是商品的种类和位置；将制作的商品数据集作为输入，对该数据集进行Mosaic数据增强，具体为：在商品数据集中随机选择9张图片，将图片的宽和高分别作为边界值，对图片进行t
x
＝f
r
(t
w
，t
w
+Δt
w
)和t
y
＝f
r
(t
h
，t
h
+Δt
h
)缩放倍率的缩放，其中，f
r
表示随机值函数，t
w
和t
h
分别表示宽和高缩放倍率的最小值，Δt
w
和Δt
h
分别表示宽和高缩放倍率随机区间长度；S2、搭建改进后的YOLOv5的目标检测模型，具体改进为：(1)在YOLOv5的Backbone层中SPPF模块前添加CBAM注意力机制模块，CBAM模块会沿着通道和空间两个独立的维度依次推断注意力图，然后将注意力图与输入的特征图相乘以进行自适应特征优化；CBAM注意力机制分为通道注意力和空间注意力两部分，其表达式分别为：通道注意力，空间注意力，其中，σ表示Sigmoid函数，MLP表示多层感知器，F为中间特征图，C为通道数，AvgPool()表示平均池化，MaxPool()表示最大池化，W1和W2表示输入共享权重，分别表示通道的平均池化特征和最大池化特征，分别表示利用平均池化和最大池化在空间上生成的特征映射，f7×7表示滤波器尺寸为7
×
7的卷积运算；(2)使用K
‑
means++聚类算法将制作的商品类别数据集中的商品坐标框归类到与其相似度距离最近的类别中，以得到商品数据的锚点框，其中计算相似度采用的距离公式为欧式距离，公式为d(x)＝d(box，centroid)＝1
‑
IoU(box，centroid)，其中box为标注框，centroid为聚类中心anchor，IoU()为“预测的边框”和“真实的边框”交并比；(3)加入加权双向特征金字塔网络；YOLOv5网络结...

【专利技术属性】
技术研发人员：张振华，王金凤，张月月，吴赛林，曹睿吉，李跃华，胡彬，
申请(专利权)人：南通大学，
类型：发明
国别省市：