一种图像分类残差神经网络训练实现方法技术

本发明专利技术提出的是一种图像分类残差神经网络训练实现方法，该方法包括：1、在ResNet网络内部引入若干个分类器；所述ResNet网络包括第一卷积层、最大池化层、第一模块、第二模块、第三模块、第四模块、第一自适应平均池化层、第四全连接层、第四概率转换函数；2、使用图像数据集对若干个分类器进行联合训练；3、通过真实标签对ResNet网络和若干个分类器进行监督以及通过ResNet网络预测结果对ResNet网络进行监督，得到联合训练的总损失；4、在总损失作用下，更新ResNet网络权重。优点：相较于原训练方式，本发明专利技术能够辅助提高ResNet网络的整体准确率。本发明专利技术能够辅助提高ResNet网络的整体准确率。本发明专利技术能够辅助提高ResNet网络的整体准确率。

【技术实现步骤摘要】
一种图像分类残差神经网络训练实现方法


[0001]本专利技术提出的是一种图像分类残差神经网络训练实现方法，属于图像分类及神经网络


技术介绍

[0002]随着人工智能的发展与进步，深度神经网络算法获得了广泛的应用，在各种领域取得显著的成果，并且被广泛应用于人工智能、自动控制、机器人、统计学等各个领域的信息处理中；以图像分类为例，如VGG网络、ResNet网络、ResNext网络等经典图像分类网络，对特定的图像分类任务使用特定的数据集对图像分类网络进行训练，在普通的训练方式下，分类精度的高低，取决于图像分类网络自身结构。
[0003]为追求更好地分类性能，通过增加网络深度可以较好提高网络性能；虽然深层网络比浅层网络性能更优，但当网络深度过度增加时，会引发神经网络退化以及梯度消失等问题；2015年，由Kaiming He等人提出的ResNet网络，通过堆叠残差结构，加深网络深度的同时，梯度消失的难题也得到了缓解，进一步提升了神经网络在图像分类任务上的表现；目前，已有更大的残差神经网络(ResNet1000)被提出，提高的性能极其有限，通常以海量的计算和存储为代价；对于实时性要求较高且资源受限的移动端设备或嵌入式设备，想实现大型神经网络的应用异常困难；因此，如何能够在不增加网络深度条件下，提升ResNet网络精度就显得非常重要。

技术实现思路

[0004]本专利技术提出的是一种图像分类残差神经网络训练实现方法，其目的旨在不增加网络深度条件下提升ResNet网络的整体准确率。
[0005]本专利技术的技术解决方案：一种图像分类残差神经网络训练实现方法，该方法包括：
[0006]1、在ResNet网络内部引入若干个分类器；所述ResNet网络包括第一卷积层、最大池化层、第一模块、第二模块、第三模块、第四模块、第一自适应平均池化层、第四全连接层、第四概率转换函数；
[0007]2、使用图像数据集对若干个分类器进行联合训练；
[0008]3、通过真实标签(label)对ResNet网络和若干个分类器进行监督以及通过ResNet网络预测结果对ResNet网络进行监督，得到联合训练的总损失；
[0009]4、在总损失作用下，更新ResNet网络权重。
[0010]进一步地，所述在ResNet网络内部引入若干个分类器，具体包括：在第一模块的基础上依次增加第一浅层模块、第一全连接层、第一概率转换函数作为第一分类器；在第二模块的基础上依次增加第二浅层模块、第二全连接层、第二概率转换函数作为第二分类器；在第三模块的基础上依次增加第三浅层模块、第三全连接层、第三概率转换函数作为第三分类器。
[0011]进一步地，所述使用图像数据集对若干个分类器进行联合训练，具体包括：
[0012]2‑
1、将图像数据集的训练集均分为A部分训练集和B部分训练集；
[0013]2‑
2、B部分训练集中的图像首先经过第一卷积层、最大池化层、第一模块获得第一模块的输出特征图；
[0014]2‑
3、将第一模块的输出特征图作为第二模块的输入特征图和第一浅层模块的输入特征图；
[0015]2‑
4、第一浅层模块的输入特征图依次经过第一浅层模块、第一全连接层、第一概率转换函数后获得第一分类器的输出结果，第一分类器的输出结果即为第一分类结果；
[0016]2‑
5、第二模块的输入特征图经过第二模块后获得第二模块的输出特征图；
[0017]2‑
6、将第二模块的输出特征图作为第三模块的输入特征图和第二浅层模块的输入特征图；
[0018]2‑
7、第二浅层模块的输入特征图依次经过第二浅层模块、第二全连接层、第二概率转换函数后获得第二分类器的输出结果，第二分类器的输出结果即为第二分类结果；
[0019]2‑
8、第三模块的输入特征图经过第三模块后获得第三模块的输出特征图；
[0020]2‑
9、将第三模块的输出特征图作为第四模块的输入特征图和第三浅层模块的输入特征图；
[0021]2‑
10、第三浅层模块的输入特征图依次经过第三浅层模块、第三全连接层、第三概率转换函数后获得第三分类器的输出结果，第三分类器的输出结果即为第三分类结果；
[0022]2‑
11、第四模块的输入特征图经过第四模块后获得第四模块的输出特征图；
[0023]2‑
12、第四模块的输出特征图再依次经过第一自适应平均池化层、第四全连接层、第四概率转换函数后获得ResNet网络的输出结果，ResNet网络的输出结果即为第四分类结果。
[0024]进一步地，所述使用图像数据集对若干个分类器进行联合训练，具体还包括：
[0025]2‑
13、A部分训练集中的图像依次经过第一卷积层、最大池化层、第一模块、第二模块、第三模块、第四模块、第一自适应平均池化层、第四全连接层、第四概率转换函数获得ResNet网络的预测结果；ResNet网络的预测结果即ResNet网络预测的分类结果。
[0026]进一步地，所述图像数据集包括训练集和测试集。
[0027]进一步地，所述第一模块、第二模块、第三模块、第四模块各自均包括若干卷积层(conv)；第一模块、第二模块、第三模块、第四模块中每个模块的输入特征图进入相应模块后均通过相应模块内部的卷积层进行处理获得相应模块的输出特征图。
[0028]进一步地，所述第一浅层模块、第二浅层模块、第三浅层模块各自均包括若干卷积层和一个自适应平均池化层；所述第一浅层模块、第二浅层模块、第三浅层模块中每个浅层模块通过各自内部的卷积层和自适应平均池化层对经过的图像进行处理。
[0029]进一步地，所述第一概率转换函数、第二概率转换函数、第三概率转换函数均为Softmax函数；所述第四概率转换函数在Softmax函数中额外引入参数temp，如式(1)所示：
[0030][0031]式(1)中，z
j
指第j类别的输出结果，若分类类别总数为M，则j的取值范围为[1,M]；z
n
为图像经过ResNet网络之后第n类别的输出结果，pro
n
为ResNet网络输出第n类别的输出
概率，temp是额外引入的参数，temp的取值要大于0；所述类别指图像数据集的M个类别。
[0032]进一步地，所述通过真实标签对ResNet网络和若干个分类器进行监督以及通过ResNet网络预测结果对ResNet网络进行监督，得到联合训练的总损失，具体包括：
[0033]3‑
1、将第一分类结果与真实标签进行比较得到第一误差损失值，将第二分类结果与真实标签进行比较得到第二误差损失值，将第三分类结果与真实标签进行比较得到第三误差损失值，将第四分类结果与真实标签进行比较得到第四误差损失值；
[0034]3‑
2、将第四分类结果与ResNet网络的预测结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分类残差神经网络训练实现方法，其特征是包括：1、在ResNet网络内部引入若干个分类器；所述ResNet网络包括第一卷积层、最大池化层、第一模块、第二模块、第三模块、第四模块、第一自适应平均池化层、第四全连接层、第四概率转换函数；2、使用图像数据集对若干个分类器进行联合训练；3、通过真实标签对ResNet网络和若干个分类器进行监督以及通过ResNet网络预测结果对ResNet网络进行监督，得到联合训练的总损失；4、在总损失作用下，更新ResNet网络权重。2.根据权利要求1所述的一种图像分类残差神经网络训练实现方法，其特征是所述在ResNet网络内部引入若干个分类器，具体包括：在第一模块的基础上依次增加第一浅层模块、第一全连接层、第一概率转换函数作为第一分类器；在第二模块的基础上依次增加第二浅层模块、第二全连接层、第二概率转换函数作为第二分类器；在第三模块的基础上依次增加第三浅层模块、第三全连接层、第三概率转换函数作为第三分类器。3.根据权利要求1所述的一种图像分类残差神经网络训练实现方法，其特征是所述使用图像数据集对若干个分类器进行联合训练，具体包括：2
‑
1、将图像数据集的训练集均分为A部分训练集和B部分训练集；2
‑
2、B部分训练集中的图像首先经过第一卷积层、最大池化层、第一模块获得第一模块的输出特征图；2
‑
3、将第一模块的输出特征图作为第二模块的输入特征图和第一浅层模块的输入特征图；2
‑
4、第一浅层模块的输入特征图依次经过第一浅层模块、第一全连接层、第一概率转换函数后获得第一分类器的输出结果，第一分类器的输出结果即为第一分类结果；2
‑
5、第二模块的输入特征图经过第二模块后获得第二模块的输出特征图；2
‑
6、将第二模块的输出特征图作为第三模块的输入特征图和第二浅层模块的输入特征图；2
‑
7、第二浅层模块的输入特征图依次经过第二浅层模块、第二全连接层、第二概率转换函数后获得第二分类器的输出结果，第二分类器的输出结果即为第二分类结果；2
‑
8、第三模块的输入特征图经过第三模块后获得第三模块的输出特征图；2
‑
9、将第三模块的输出特征图作为第四模块的输入特征图和第三浅层模块的输入特征图；2
‑
10、第三浅层模块的输入特征图依次经过第三浅层模块、第三全连接层、第三概率转换函数后获得第三分类器的输出结果，第三分类器的输出结果即为第三分类结果；2
‑
11、第四模块的输入特征图经过第四模块后获得第四模块的输出特征图；2
‑
12、第四模块的输出特征图再依次经过第一自适应平均池化层、第四全连接层、第四概率转换函数后获得ResNet网络的输出结果，ResNet网络的输出结果即为第四分类结果。4.根据权利要求3所述的一种图像分类残差神经网络训练实现方法，其特征是所述使用图像数据集对若干个分类器进行联合训练，具体还包括：2
‑
13、A部分训练集中的图像依次经过第一卷积层、最大池化层、第一模块、第二模块、第三模块、第四模块、第一自适应平均池化层、第四全连接层、第四概率转换函数获得
ResNet网络的预测结果；ResNet网络的预测结果即ResNet网络预测的分类结果。5.根据权利要求1所述的一种图像分类残差神经网络训练实现方法，其特征是所述图像数据集包括训练集和测试集。6.根据权利要求1所述的一种图像分类残差神经网络训练实现方法，其特征是所述第一模块、第二模块、第三模块、第四模块各自均包括若干卷积层；第一模块、第二模块、第三模块、第四模块中每个模块的输入特征图进入相应模块后均通过相应模块内部的卷积层进行处理获...

【专利技术属性】
技术研发人员：朱明甫，倪水平，田源，张毅哲，马新良，张威，朱智丹，常月光，李晓峰，
申请(专利权)人：河南垂天科技有限公司，
类型：发明
国别省市：