基于类内类间相关性的YOLOv5神经网络改进方法技术

本发明专利技术提供了基于类内类间相关性的YOLOv5神经网络改进方法，包括如下步骤：通过YOLOv5网络模型得到特征图和预测框，再根据输入图像、特征图和预测框计算目标光谱信息和梯度信息；利用全连接网络从目标光谱和梯度信息中抽象目标本质特征并将其表示为一个向量；通过计算两个向量之间的距离测度表征不同目标特征之间的差异；结合YOLOv5损失函数，构建基于类内类间测度差异的损失函数训练网络模型，迫使网络学习能够学习有利于区分不同目标的普适性特征。本发明专利技术在网络原损失函数的基础上加入基于类内类间相关性的损失函数来约束，加强了网络对物体的分类能力，提高模型的精度。提高模型的精度。提高模型的精度。

An improved method of yolov5 neural network based on intra class and inter class correlation

【技术实现步骤摘要】
基于类内类间相关性的YOLOv5神经网络改进方法


[0001]本专利技术属于图像处理领域，尤其涉及基于类内类间相关性的YOLOv5神经网络改进方法。

技术介绍

[0002]目标检测是一项在图像或视频中，找到目标并进行分类的任务。其作为计算机视觉领域的一个热点，在智能驾驶、车辆检测、农作物产量估计等方面有广泛的应用前景。然而，由于目标检测中存在目标过小难以检测、同一目标在不同图像呈现出具有显著差异特征、以及不同目标具有相似特征等问题，给目标检测的发展带来许多困难和挑战。传统基于深度学习的目标检测算法由于其采用端到端的网络训练方式，模型特征学习主要取决于训练样本的数量和质量，当目标呈现具有多样化的光谱或结构特征时，现有网络模型只能通过牺牲少数与主体目标特征不一致的目标识别精度，以保证整体识别精度达到最优。
[0003]专利202111497382.X给出了一种改进的yolov5目标检测算法模型，通过对网络模型中的卷积模块、C3模块、多尺度融合模块、上采样模块和融合模块进行组合得到新的网络模型；提高了网络检测的精度。
[0004]专利202111303025.5将YOLOv5算法的骨干网络替换为去除最后的平均池化层和两个逐点卷积层的MobileNetV3网络，在对MobileNetV3网络模型和YOLOv5网络模型中的模块进行调整；在保留检测精度的同时提高了检测速度。
[0005]以上两种专利均是主要在网络模型方面进行改进从而提高网络的性能，然而，对于具有多样化光谱和结构特征的目标检测而言，改进特征学习模块并不能有效提高该种类型的目标检测精度。充分考虑目标类内、类间相关性信息才能有效控制网络模型学习偏好，进而达到提高模型对该种类型目标特征学习能力的目的。

技术实现思路

[0006]为解决上述技术问题，本专利技术提出基于类内类间相关性的YOLOv5神经网络改进方法，该方法根据不同类目标之间的差异，整合不同类目标的光谱以及梯度信息，将不同类信息进行比较，通过使网络学习比较结果得到精度更高的模型。
[0007]为实现上述目的，本专利技术提供了基于类内类间相关性的YOLOv5神经网络改进方法，包括如下步骤：
[0008]根据预测框获得目标光谱信息和目标梯度信息；
[0009]利用全连接网络从目标光谱信息和目标梯度信息中抽象目标本质特征并将其表示为一个向量，即每一类由一个向量表示；
[0010]通过计算两个向量之间的距离测度表征不同目标特征之间的差异；
[0011]结合YOLOv5损失函数，构建基于类内类间测度差异的损失函数训练网络模型，迫使网络学习能够学习有利于区分不同目标的普适性特征。
[0012]可选地，获得目标光谱信息的方法为：
[0013]获得网络训练得到的预测框和特征图；
[0014]对预测框内的数据做均值和方差计算，获得目标光谱信息。
[0015]可选地，获得目标梯度信息的方法为：
[0016]获得输入图像和网络训练得到的预测框；
[0017]基于所述输入图像，获得包含梯度信息的图；
[0018]将所述预测框放置在所述包含梯度信息的图上；
[0019]对放置在所述包含梯度信息的图上的预测框内的数据做均值和方差计算，获得目标梯度信息。
[0020]可选地，对所述向量进行比较包括类内差异和类间差异；
[0021]计算类内差异的方法为：计算两次迭代的向量的距离测度即可得到不同图像同一目标的类内差异；
[0022]计算类间差异的方法为：对存在同类目标的差异的迭代中，将该类与之前迭代所保存下来的所有其他类的向量计算距离测度即可表征不同目标特征之间的差异。
[0023]可选地，获得类内类间差异的计算公式为余弦相似度S
a,b
：
[0024][0025]其中，在某一次迭代中某一类出现了新向量，在计算类内差异中，该次迭代的新向量为公式(1)的A，B为之前迭代生成的与A同类的旧向量；计算类间差异中，该次迭代的存在类内差异的新向量为公式(1)的A，B为之前迭代所保存下来的所有其他类的向量。
[0026]可选地，基于目标信息的损失函数的表达式为：
[0027][0028]其中，以及为用公式(1)计算得到的类内类间差异，为类内差异，为类间差异，a为某一次迭代中某一类的新向量，a0为之前迭代生成的与a同类的旧向量，b
m
为之前迭代所保存下来的所有其他类的向量，n为之前迭代所保存下来的所有其他类的向量的个数，j为某次迭代中所计算出的新向量中的种类，与之前计算的旧向量中的种类相同的个数。
[0029]可选地，将所述基于目标信息的损失函数与YOLOv5神经网络自身的二元交叉熵损失函数和CIOU损失函数相结合的方法为：
[0030]loss＝L
YOLOv5
+λL
intra
‑
inter
[0031]其中，λ是调节参数。
[0032]与现有技术相比，本专利技术具有如下优点和技术效果：
[0033]本专利技术在网络自身损失函数的基础上引入类内类间相关性，整合不同类目标信息，将不同类目标信息的比较结果构建成损失函数，从而使网络学习到更加详细的分类信
息，加强了网络对物体的分类能力，能够得到精度更高的模型。
附图说明
[0034]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0035]图1为本专利技术实施例一的基于类内类间相关性的YOLOv5神经网络改进方法流程示意图。
具体实施方式
[0036]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0037]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0038]实施例一
[0039]如图1所示，本专利技术提供了基于类内类间相关性的YOLOv5神经网络改进方法，包括如下步骤：
[0040]获得目标光谱信息和目标梯度信息；
[0041]利用全连接网络从目标光谱和梯度信息中抽象目标本质特征并将其表示为一个向量，即每一类由一个向量表示；
[0042]通过计算两个向量之间的距离测度即可表征不同目标特征之间的差异，类似地，计算两次迭代的向量的距离测度即可得到不同图像同一目标的类内差异；
[0043]结合YOLOv5损失函数，构建基于类内类间测度差异的损失函数训练网络模型，迫使网络学习能够学习有利于区分不同目标的普适性特征。
[0044]光谱信息和梯度信息计算
[0045]进一步地，YOLOv5神经网络经过训练能够得到三组不同尺寸的特征图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于类内类间相关性的YOLOv5神经网络改进方法，其特征在于，包括以下步骤：根据预测框获得目标光谱信息和目标梯度信息；利用全连接网络从目标光谱信息和目标梯度信息中抽象目标本质特征并将其表示为一个向量，即每一类由一个向量表示；通过计算两个向量之间的距离测度表征不同目标特征之间的差异；结合YOLOv5损失函数，构建基于类内类间测度差异的损失函数训练网络模型，迫使网络学习能够学习有利于区分不同目标的普适性特征。2.根据权利要求1所述的基于类内类间相关性的YOLOv5神经网络改进方法，其特征在于，获得目标光谱信息的方法为：获得网络训练得到的预测框和特征图；对预测框内的数据做均值和方差计算，获得目标光谱信息。3.根据权利要求2所述的基于类内类间相关性的YOLOv5神经网络改进方法，其特征在于，获得目标梯度信息的方法为：获得输入图像和网络训练得到的预测框；基于所述输入图像，获得包含梯度信息的图；将所述预测框放置在所述包含梯度信息的图上；对放置在所述包含梯度信息的图上的预测框内的数据做均值和方差计算，获得目标梯度信息。4.根据权利要求1所述的基于类内类间相关性的YOLOv5神经网络改进方法，其特征在于，对向量进行比较包括类内差异和类间差异；计算类内差异的方法为：计算两次迭代的向量的距离测度即可得到不同图像同一目标的类内差异；计算类间差异的方法为：对存在同类目标的差异的迭代中，将当前类与之前迭代所保存下来的所有其他类的向量计算距离测度即可表征不同...

【专利技术属性】
技术研发人员：赵雪梅，刘全，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：