一种用于处理不平衡数据的图像识别方法和装置制造方法及图纸

本发明专利技术涉及一种用于处理不平衡数据的图像识别方法和装置，方法包括将图像数据输入至不平衡识别网络中，得到分类结果，其中不平衡识别网络建立方法如下：建立双分支网络，将带有分类标签的不平衡数据训练集输入双分支网络，同时次分支网络将图像数据以多个角度进行旋转，得到不同角度的图像数据，并将角度作为不同角度的图像数据的第二标签；对分类标签和第二标签进行平滑处理；将带有平滑处理后的两种标签的不平衡数据训练集输入双分支网络，训练双分支网络；双分支网络训练完成后，单独输出主分支网络作为不平衡识别网络。与现有技术相比，本发明专利技术具有流程简洁、对于不平衡数据的识别精度高等优点。识别精度高等优点。识别精度高等优点。

【技术实现步骤摘要】
一种用于处理不平衡数据的图像识别方法和装置


[0001]本专利技术涉及计算机视觉领域，尤其是涉及一种用于处理不平衡数据的图像识别方法和装置。

技术介绍

[0002]随着互联网的迅速发展以及各种终端设备的广泛使用和摄像头的大范围安装，每天都会产生海量的图片数据，这些数据包含着许多我们需要了解的信息。面对这种庞大的数据，传统的手工图像识别、审核和管理能力已经严重不足，高度智能化的图像处理系统已成为当下社会的迫切需求。因此，利用计算机技术来探索高效智能的图像处理系统已成为当下热点。
[0003]计算机视觉中的深度卷积神经网络(deep Convolutional Neural Network,CNN)在图像处理上取得了很大的成功，其成功很大程度上得益于大规模、真实世界注释数据集的可用性。在传统的分类和识别任务中，训练数据的分布往往都受到了人工的均衡，即不同类别的样本数量无明显差异。一个均衡的数据集固然大大简化了对算法鲁棒性的要求，也一定程度上保障了所得模型的可靠性。但随着关注类别的逐渐增加，维持各个类别之间均衡就将带来指数增长的采集成本。举个简单的例子，如果要做一个动物分类数据集，猫等常见数据可以轻轻松松的采集数以百万张的图片，但是考虑到数据集的均衡，也必须给罕见动物如雪豹等采集等量的样本，而随着类别稀有度的增加，其采集成本往往成指数增长。在自然情况下，数据的分布往往是倾斜的，即存在长尾效应：多数类别拥有较少的样本数量(“尾部”类)，少数类别拥有较多的样本数量(“头部”类)。而一般的网络对于在自然状态下的不平衡数据的处理表现不佳。通常处理不平衡数据的两种方法是重采样与代价敏感函数。重采样方法包括上采样方法和下采样方法，而上采样会使得“尾部”类出现过拟合，下采样会使得“头部”类出现欠拟合。所以重采样方法对于长尾数据的处理效果不太理想。
[0004]现有的解决不平衡数据的方法是对识别模型进行多阶段的训练，但是在多阶段训练中，由于每个训练阶段需要采用不同的数据集，且在训练过程中也需要不断对数据进行处理，整体训练过程冗长，若要处理大量数据会导致处理效率低下。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种用于处理不平衡数据的图像识别方法和装置。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]一种用于处理不平衡数据的图像识别方法，包括将带有不平衡数据的图像数据输入至不平衡识别网络中，得到分类结果，所述不平衡识别网络建立方法如下：
[0008]S1、建立双分支网络，设定主分支网络为识别网络，次分支网络为自监督学习网络，主分支网络和次分支网络的特征提取部分共享参数；
[0009]S2、将带有分类标签的不平衡数据训练集输入双分支网络，主分支网络采样模式
为类平衡采样，次分支网络采样模式为实例均衡采样，同时次分支网络将图像数据以多个角度进行旋转，得到不同角度的图像数据，并将角度作为不同角度的图像数据的第二标签；
[0010]S3、对分类标签和第二标签进行平滑处理；
[0011]S4、将带有平滑处理后的两种标签的不平衡数据训练集输入双分支网络，训练双分支网络；
[0012]S5、双分支网络训练完成后，单独输出主分支网络作为不平衡识别网络。
[0013]进一步地，所述平滑处理的计算表达式如下：
[0014][0015]其中，y
i
为当前图片标签，“1”与“0”为one
‑
hot编码后的结果，为标签平滑后的标签；在处理分类标签时，F(C
y
)为超参数，与样本数量有关；在处理第二标签时，F(C
y
)为0.2，K为主分支网络或次分支网络的类别总数。
[0016]进一步地，所述双分支网络采用ResNet
‑
50结构。
[0017]进一步地，所述主分支网络和次分支网络的损失函数均为交叉熵损失。
[0018]进一步地，交叉熵损失函数的表达式为：
[0019][0020]其中，E1表示损失函数结果，N表示批大小，t
nk
表示第n个数据的第k个元素的值，y
nk
表示第n个数据的第k个神经元的输出。
[0021]一种用于处理不平衡数据的图像识别装置，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现以下方法：
[0022]将带有不平衡数据的图像数据输入至不平衡识别网络中，得到分类结果，所述不平衡识别网络建立方法如下：
[0023]S1、建立双分支网络，设定主分支网络为识别网络，次分支网络为自监督学习网络，主分支网络和次分支网络的特征提取部分共享参数；
[0024]S2、将带有分类标签的不平衡数据训练集输入双分支网络，主分支网络采样模式为类平衡采样，次分支网络采样模式为实例均衡采样，同时次分支网络将图像数据以多个角度进行旋转，得到不同角度的图像数据，并将角度作为不同角度的图像数据的第二标签；
[0025]S3、对分类标签和第二标签进行平滑处理；
[0026]S4、将带有平滑处理后的两种标签的不平衡数据训练集输入双分支网络，训练双分支网络；
[0027]S5、双分支网络训练完成后，单独输出主分支网络作为不平衡识别网络。
[0028]进一步地，所述平滑处理的计算表达式如下：
[0029][0030]其中，y
i
为当前图片标签，“1”与“0”为one
‑
hot编码后的结果，为标签平滑后的标签；在处理分类标签时，F(C
y
)为超参数，与样本数量有关；在处理第二标签时，F(C
y
)为0.2，K为主分支网络或次分支网络的类别总数。
[0031]进一步地，所述双分支网络采用ResNet
‑
50结构。
[0032]进一步地，所述主分支网络和次分支网络的损失函数均为交叉熵损失。
[0033]进一步地，交叉熵损失函数的表达式为：
[0034][0035]其中，E1表示损失函数结果，N表示批大小，t
nk
表示第n个数据的第k个元素的值，y
nk
表示第n个数据的第k个神经元的输出。
[0036]与现有技术相比，本专利技术具有以下优点：
[0037]1、本专利技术相比现有技术中多阶段的训练优化方式，仅仅通过设置自监督学习分支网络，结合图像旋转标签，完成了识别模型中针对不平衡数据的优化，仅通过搭建网络就可以实现不平衡数据的分类识别，无需进行繁杂的处理和计算，同时得到了识别精度高的图像识别网络。
[0038]2、本专利技术对标签进行了平滑处理，降低了标签中的噪声影响，进一步地提高了图像识别网络的识别精度。
附图说明
[0039]图1为本专利技术的对不平衡识别网络的优化过程示意图。
[0040]图2为本专利技术双本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于处理不平衡数据的图像识别方法，其特征在于，包括将带有不平衡数据的图像数据输入至不平衡识别网络中，得到分类结果，所述不平衡识别网络建立方法如下：S1、建立双分支网络，设定主分支网络为识别网络，次分支网络为自监督学习网络，主分支网络和次分支网络的特征提取部分共享参数；S2、将带有分类标签的不平衡数据训练集输入双分支网络，主分支网络采样模式为类平衡采样，次分支网络采样模式为实例均衡采样，同时次分支网络将图像数据以多个角度进行旋转，得到不同角度的图像数据，并将角度作为不同角度的图像数据的第二标签；S3、对分类标签和第二标签进行平滑处理；S4、将带有平滑处理后的两种标签的不平衡数据训练集输入双分支网络，训练双分支网络；S5、双分支网络训练完成后，单独输出主分支网络作为不平衡识别网络。2.根据权利要求1所述的一种用于处理不平衡数据的图像识别方法，其特征在于，所述平滑处理的计算表达式如下：其中，y
i
为当前图片标签，“1”与“0”为one
‑
hot编码后的结果，为标签平滑后的标签；在处理分类标签时，F(C
y
)为超参数，与样本数量有关；在处理第二标签时，F(C
y
)为0.2，K为主分支网络或次分支网络的类别总数。3.根据权利要求1所述的一种用于处理不平衡数据的图像识别方法，其特征在于，所述双分支网络采用ResNet
‑
50结构。4.根据权利要求1所述的一种用于处理不平衡数据的图像识别方法，其特征在于，所述主分支网络和次分支网络的损失函数均为交叉熵损失。5.根据权利要求4所述的一种用于处理不平衡数据的图像识别方法，其特征在于，交叉熵损失函数的表达式为：其中，E1表示损失函数结果，N表示批大小，t
nk
表示第n个数据的第k个元素的值，y
nk
表示第n个数据的第k个神经元的输出。6.一种用于处理不平衡数据的图像识别装置，其特征在于，包括存储器和...

【专利技术属性】
技术研发人员：吴磊，韩华，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：