【技术实现步骤摘要】
本专利技术涉及神经网络领域，尤其涉及一种基于resnet34神经网络的集成自蒸馏训练系统。
技术介绍
1、随着人工智能技术不断发展，深度神经网络算法已应用在图像分类、自然语言处理和语音识别等领域，并取得了重要成果。其中，在图像分类领域，googlenet、resnet、mobilenet等神经网络的提出，在分类任务上取得了较好的表现。然而，在传统的训练方法中，分类准确性往往取决于网络自身结构。在不增加参数条件下，提升网络性能是深度学习领域的难点。
2、知识蒸馏是一种提高网络分类准确性的训练方法，主要思想是让一个包含丰富知识的教师网络指导学生网络进行训练，使学生网络在训练过程中吸收教师网络中包含的丰富知识，从而在不改变学生网络结构的前提下，提升学生网络的性能。然而，知识蒸馏也有其局限性。首先，知识蒸馏需要一个强大的教师模型来提供知识，教师模型的训练会额外增加训练成本。其次，当教师模型和学生模型之间存在较大差异时，知识蒸馏可能无法显著提高学生模型的性能。
3、自蒸馏作为一种特殊的知识蒸馏方法，将神经网络自身作为教师网络，后通过额外构建多个浅层分类器作为学生网络，进行蒸馏。训练过程只有一次，规避掉了传统知识蒸馏的局限性，但自蒸馏训练方式仍存在优化空间。现有自蒸馏方案往往指定神经网络向浅层分类器传递知识，这些知识仅来自神经网络，信息质量依赖网络自身性能。此外，自蒸馏框架内无额外知识辅助神经网络训练。基于此，本专利技术针对resnet34神经网络提出一种集成自蒸馏训练方案，通过集成神经网络与浅层分类器的特征，额外构
技术实现思路
1、针对自蒸馏训练方案无法为神经网络及浅层分类器提供高质量知识的问题，本专利技术提出了一种基于resnet34神经网络的集成自蒸馏训练方案。该方案首先将resnet34网络分层模块化，在各模块依次添加注意力模块和浅层模块构建多个浅层分类器，完成自蒸馏框架的搭建，后集成各个浅层分类器与resnet34网络相关特征，构建集成模型作为教师网络，各浅层分类器和resnet34网络作为学生网络，来进行自蒸馏训练。相较于原训练方式，本方案能够进一步提高网络的精确度和泛化能力。
2、本专利技术提出的一种基于resnet34神经网络的集成自蒸馏训练系统，包括：整体架构，整体架构由resnet34网络、3个浅层分类器和1个集成分类器组成；resnet34网络按由浅到深的顺序依次为升维结构、4层结构、平均池化层4、全连接层4和softmax4；浅层分类器1由升维结构、第1层结构、注意力模块1、浅层模块1、平均池化层1、全连接层1和softmax1组成；浅层分类器2由升维结构、第1层结构、第2层结构、注意力模块2、浅层模块2、平均池化层2、全连接层2和softmax2组成；浅层分类器3由升维结构、第1层结构、第2层结构、第3层结构、注意力模块3、浅层模块3、平均池化层3、全连接层3和softmax3组成；集成分类器由集成模块、平均池化层5、全连接层5、softmax5组成；其中，resnet34网络、浅层分类器和集成分类器主要通过大量卷积层构成。
3、本专利技术进一步的技术方案在于，记单个卷积层的卷积核大小为kernel_size；步距为stride，默认为1；填充为padding，默认为0；输入特征图的通道数为in_put，输出特征图的通道数为out_put，resnet34网络中的升维结构依次由1个卷积层、1个批归一化层和1个relu激活函数组成，其中，卷积层的kernel_size为3，padding为1，in_put为3，out_put为64，特征图经过升维结构后，尺寸不变，通道数变为64，resnet34网络的4层结构由数目不同的残差结构堆叠而成，残差结构分为普通残差结构和下采样残差结构两种实现，都接收两个参数，分别为输入特征图的通道数in_channel和输出特征图的通道数out_channel。
4、本专利技术进一步的技术方案在于，普通残差结构由2个卷积层、2个批归一化层和2个relu激活函数组成，其中，卷积层1的kernel_size为3，padding为1，in_put为in_channel，out_put为out_channel，卷积层2的kernel_size为3，padding为1，in_put为out_channel，out_put为out_channel，输入普通残差结构的特征图x1依次经过卷积层1、批归一化层1、relu激活函数1、卷积层2和批归一化层2后的结果，与原来的x1值相加，得到的值再经过relu激活函数2，最终结果即为普通残差结构的输出，特征图经过普通残差结构后，尺寸不变，通道数变为参数out_channel。
5、本专利技术进一步的技术方案在于，下采样残差结构的卷积层1的stride为2，并且在分支路径上多了一个kernel_size为1，stride为2，in_put为in_channel，out_put为out_channel的下采样卷积，输入下采样残差结构的特征图x2依次经过卷积层1、批归一化层1、relu激活函数1、卷积层2和批归一化层2后的结果，与原来的x2经过下采样卷积后的值相加，得到的值再经过relu激活函数2，最终结果即为下采样残差结构的输出，特征图经过下采样残差结构后，尺寸缩减为原来的1/2，通道数变为参数out_channel。
6、本专利技术进一步的技术方案在于，resnet34的第1层结构由3个in_channel为64，out_channel为64的普通残差结构堆叠而成，特征图经过第1层结构后，尺寸不变，通道数变为64，第2层结构由1个in_channel为64，out_channel为128的下采样残差结构和3个in_channel为128，out_channel为128的普通残差结构堆叠而成，特征图经过第2层结构后，尺寸缩减为原来的1/2，通道数变为128，第3层结构由1个in_channel为128，out_channel为256的下采样残差结构和5个in_channel为256，out_channel为256的普通残差结构堆叠而成，特征图经过第3层结构后，尺寸缩减为原来的1/2，通道数变为256，第4层结构由1个in_channel为256，out_channel为512的下采样残差结构和2个in_channel为512，out_channel为512的普通残差结构堆叠而成，特征图经过第4层结构后，尺寸缩减为原来的1/2，通道数变为512，平均池化层4的输出特征图尺寸为1×1，全连接层4的结点个数为num_classes，其中num_classes指的是图像类别个数。
7、本专利技术进一步的技术方案在于，浅层分类器中的注意力模块依次由浅层卷积结构、批归一化层、relu激活函数、上采样层和sigmoid激活函数组成，其中，浅层卷积结构依次由深度卷积层1、逐点卷积层1、批归一化层1、relu激活函本文档来自技高网...
【技术保护点】
1.一种基于ResNet34神经网络的集成自蒸馏训练系统，其特征在于，包括
2.根据权利要求1所述的一种基于ResNet34神经网络的集成自蒸馏训练系统，其特征在于，记单个卷积层的卷积核大小为kernel_size；步距为stride，默认为1；填充为padding，默认为0；输入特征图的通道数为in_put，输出特征图的通道数为out_put，ResNet34网络中的升维结构依次由1个卷积层、1个批归一化层和1个ReLU激活函数组成，其中，卷积层的kernel_size为3，padding为1，in_put为3，out_put为64，特征图经过升维结构后，尺寸不变，通道数变为64，ResNet34网络的4层结构由数目不同的残差结构堆叠而成，残差结构分为普通残差结构和下采样残差结构两种实现，都接收两个参数，分别为输入特征图的通道数in_channel和输出特征图的通道数out_channel。
3.根据权利要求2所述的一种基于ResNet34神经网络的集成自蒸馏训练系统，其特征在于，普通残差结构由2个卷积层、2个批归一化层和2个ReLU激活函数组成，其中，
4.根据权利要求2所述的一种基于ResNet34神经网络的集成自蒸馏训练系统，其特征在于，下采样残差结构的卷积层1的stride为2，并且在分支路径上多了一个kernel_size为1，stride为2，in_put为in_channel，out_put为out_channel的下采样卷积，输入下采样残差结构的特征图x2依次经过卷积层1、批归一化层1、ReLU激活函数1、卷积层2和批归一化层2后的结果，与原来的x2经过下采样卷积后的值相加，得到的值再经过ReLU激活函数2，最终结果即为下采样残差结构的输出，特征图经过下采样残差结构后，尺寸缩减为原来的1/2，通道数变为参数out_channel。
5.根据权利要求1所述的一种基于ResNet34神经网络的集成自蒸馏训练系统，其特征在于，ResNet34的第1层结构由3个in_channel为64，out_channel为64的普通残差结构堆叠而成，特征图经过第1层结构后，尺寸不变，通道数变为64，第2层结构由1个in_channel为64，out_channel为128的下采样残差结构和3个in_channel为128，out_channel为128的普通残差结构堆叠而成，特征图经过第2层结构后，尺寸缩减为原来的1/2，通道数变为128，第3层结构由1个in_channel为128，out_channel为256的下采样残差结构和5个in_channel为256，out_channel为256的普通残差结构堆叠而成，特征图经过第3层结构后，尺寸缩减为原来的1/2，通道数变为256，第4层结构由1个in_channel为256，out_channel为512的下采样残差结构和2个in_channel为512，out_channel为512的普通残差结构堆叠而成，特征图经过第4层结构后，尺寸缩减为原来的1/2，通道数变为512，平均池化层4的输出特征图尺寸为1×1，全连接层4的结点个数为num_classes，其中num_classes指的是图像类别个数。
6.根据权利要求1所述的一种基于ResNet34神经网络的集成自蒸馏训练系统，其特征在于，浅层分类器中的注意力模块依次由浅层卷积结构、批归一化层、ReLU激活函数、上采样层和Sigmoid激活函数组成，其中，浅层卷积结构依次由深度卷积层1、逐点卷积层1、批归一化层1、ReLU激活函数1、深度卷积层2、逐点卷积层2、批归一化层2和ReLU激活函数2组成；其中，深度卷积层1的kernel_size为3，padding为1，stride为2，in_put为in_channel_2，out_put为in_channel_2；深度卷积层2的kernel_size为3，padding为1，in_put为in_channel_2，out_put为in_channel_2；逐点卷积层1的kern...
【技术特征摘要】
1.一种基于resnet34神经网络的集成自蒸馏训练系统，其特征在于，包括
2.根据权利要求1所述的一种基于resnet34神经网络的集成自蒸馏训练系统，其特征在于，记单个卷积层的卷积核大小为kernel_size；步距为stride，默认为1；填充为padding，默认为0；输入特征图的通道数为in_put，输出特征图的通道数为out_put，resnet34网络中的升维结构依次由1个卷积层、1个批归一化层和1个relu激活函数组成，其中，卷积层的kernel_size为3，padding为1，in_put为3，out_put为64，特征图经过升维结构后，尺寸不变，通道数变为64，resnet34网络的4层结构由数目不同的残差结构堆叠而成，残差结构分为普通残差结构和下采样残差结构两种实现，都接收两个参数，分别为输入特征图的通道数in_channel和输出特征图的通道数out_channel。
3.根据权利要求2所述的一种基于resnet34神经网络的集成自蒸馏训练系统，其特征在于，普通残差结构由2个卷积层、2个批归一化层和2个relu激活函数组成，其中，卷积层1的kernel_size为3，padding为1，in_put为in_channel，out_put为out_channel，卷积层2的kernel_size为3，padding为1，in_put为out_channel，out_put为out_channel，输入普通残差结构的特征图x1依次经过卷积层1、批归一化层1、relu激活函数1、卷积层2和批归一化层2后的结果，与原来的x1值相加，得到的值再经过relu激活函数2，最终结果即为普通残差结构的输出，特征图经过普通残差结构后，尺寸不变，通道数变为参数out_channel。
4.根据权利要求2所述的一种基于resnet34神经网络的集成自蒸馏训练系统，其特征在于，下采样残差结构的卷积层1的stride为2，并且在分支路径上多了一个kernel_size为1，stride为2，in_put为in_channel，out_put为out_channel的下采样卷积，输入下采样残差结构的特征图x2依次经过卷积层1、批归一化层1、relu激活函数1、卷积层2和批归一化层2后的结果，与原来的x2经过下采样卷积后的值相加，得到的值再经过relu激活函数2，最终结果即为下采样残差结构的输出，特征图经过下采样残差结构后，尺寸缩减为原来的1/2，通道数变为参数out_channel。
5.根据权利要求1所述的一种基于resnet34神经网络的集成自蒸馏训练系统，其特征在于，resnet34的第1层结构由3个in_channel为64，out_channel为64的普通残差结构堆叠而成，特征图经过第1层结构后，尺寸不变，通道数变为64，第2层结构由1个in_channel为64，out_channel为128的下采样残差结构和3个in_channel为128，out_channel为128的普通残差结构堆叠而成，特征图经过第2层结构后，尺寸缩减为原来的1/2，通道数变为128，第3层结构由1个in_channel为128，out_channel为256的下采样残差结构和5个in_channel为256，out_channel为256的普通残差结构堆叠而成，特征图经过第3层结构后，尺寸缩减为原来的1/2，通道数变为256，第4层结构由1个in_channel为256，out_channel为512的下采样残差结构和2个in_channel为512，out_channel为512的普通残差结构堆叠而成，特征图经过第4层结构后，尺寸缩减为原来的1/2，通道数变为512，平均池化层4的输出特征图尺寸为1×1，全连接层4的结点个数为num_classes，其中num_classes指的是图像类别个数。
6.根据权利要求1所述的一种基于resnet34神经网络的集成自蒸馏训练系统，其特征在于，浅层分类器中的注意力模块依次由浅层卷积结构、批归一化层、relu激活函数、上采样层和sigmoid激活函数组成，其中，浅层卷积结构依次由深度卷积层1、逐点卷积层1、批归一化层1、relu激活函数1、深度卷积层2、逐点卷积层2、批归一化层2和relu激活函数2组成；其中，深度卷积层1的kernel_size为3，padding为1，stride为2，in_put为in_channel_2，out_put为in_channel_2；深度卷积层2的kernel_size为3，padding为1，in_put为in_channel_2，out_put为in_channel_2；逐点卷积层1的kernel_size为1，in_put为in_channel_2，out_put为in_channel_2；逐点卷积层2的kernel_size为1，in_put为in_channel_2，out_put...
【专利技术属性】
技术研发人员：朱明甫，倪水平，贾越，张帆，陈昊伟，赵都，申杜鹃，朱智丹，陈亚薇，王希龙，
申请(专利权)人：河南垂天科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。