神经网络训练方法、图片分类方法及图片分类系统技术方案

本发明专利技术公开一种神经网络训练方法、图片分类方法及图片分类系统。神经网络训练方法包括：S1:准备数据集：源域图片和目标域图片；S2:特征抽取：将源域图片和目标域图片输入至第一神经网络，得到源域特征SF1和目标域特征TF1；将源域图片和目标域图片输入至第二神经网络，得到源域特征SF2和目标域特征TF2；S3:分别计算源域和目标域在第一神经网络和第二神经网络的TDA损失，得到第一神经网络的TDA损失TDA1和第二神经网络的TDA2；S4:计算源域和目标域的知识蒸馏损失；S5:分别对第一神经网络、第二神经网络进行更新。本申请既可以压缩模型参数又可以提升准确率，有效解决领域漂移问题。有效解决领域漂移问题。有效解决领域漂移问题。

【技术实现步骤摘要】
神经网络训练方法、图片分类方法及图片分类系统


[0001]本专利技术涉及信息检索
，尤其涉及一种神经网络训练方法、图片分类方法及图片分类系统。

技术介绍

[0002]深度学习是从数据中学习的一种技术，目前在业界得到广泛的应用，基于深度学习的图片分类具有较高的准确率。
[0003]深度学习之所以强大，是因为其可以从数据中能够学习到特征，从而挖掘新的规律，但深度学习也有其局限性，只适用于其在和训练集的数据里相似特征的，当同样的深度学习网络或者模型应用在新的领域时候，还得需要重新进行训练或者调整。也就是说迁移到新的领域或者当出现的新图片，此在原来训练集中都没有出现过的领域则识别不出来。
[0004]为了解决深度学习的局限性，目前的unsupervised domain adaptation(UDA)领域自适应是一种提升不同领域图片分类准确率的算法。但目前UDA只能是一种领域迁移到另外一种领域，属于一对一的迁移,而且但是由于模型比较大，推理速度慢。

技术实现思路

[0005]本专利技术为解决现有技术中存在的技术问题，提出一种神经网络训练方法，包括步骤：
[0006]S1:准备数据集：源域图片和目标域图片；
[0007]S2：特征抽取：
[0008]将源域图片和目标域图片输入至第一神经网络，得到源域特征SF1和目标域特征TF1；
[0009]将源域图片和目标域图片输入至第二神经网络，得到源域特征SF2和目标域特征TF2；
[0010]S3：分别计算源域和目标域在第一神经网络和第二神经网络的TDA损失，得到第一神经网络的TDA损失TDA1和第二神经网络的TDA2；
[0011]S4：计算源域和目标域的知识蒸馏损失；
[0012]S5：分别对第一神经网络、第二神经网络进行更新。
[0013]所述第一神经网络为EfficientNetV2。
[0014]所述第二神经网络为EfficientNetV2。
[0015]步骤S4：计算源域知识蒸馏损失SKD和目标域的知识蒸馏损失TKD，知识蒸馏的损失函数为KL loss，其公式可以表示为：
[0016]L
d
＝L
kl
(N1(D，t)，N2(D，t))
[0017]其中，N1(D，t)第一网络，N2(D，t)第二网络，D为数据集，t为温度。
[0018]S5：对第一神经网络进行更新，使用TDA1损失，通过误差反向传播进行更新。
[0019]S5：对第二神经网络进行更新，使用SKD，TKD和TDA2加权求和，并通过误差反向传
播进行更新。
[0020]本专利技术还提供一种图片分类方法，包括步骤：
[0021]接收输入的图片；
[0022]神经网络模型对图片进行分析并分类；
[0023]返回输出结果，
[0024]所述神经网络为所述神经网络训练方法得到的神经网络模型。
[0025]本专利技术还提供一种图片分类系统，包括交互单元、处理模块，其中：
[0026]交互单元用以接收输入的图片；
[0027]处理模块用以对输入的图片进行处理并向交互单元返回分类结果，
[0028]所述神经网络为所述神经网络训练方法得到的神经网络模型。
[0029]本专利技术还提供一种计算机可读存储介质，所述存储介质中存储有指令或者程序，所述指令或者程序由处理器加载并执行所述的图片分类方法。
[0030]本专利技术还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以所述的图片分类方法。
[0031]本专利技术公开的方法和系统中所述模块，在实际应用中，即可以在一台目标服务器上部署多个模块，也可以每一模块独立部署在不同的目标服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群目标服务器上。
[0032]由此可见，本专利技术能够实现一对多的领域迁移，能够有效解决解决领域漂移问题，使得目标领域能够取得更好的学习效果也即一种源域迁移到多种目标领域的图片分类的技术方案。
[0033]为了对本专利技术有更清楚全面的了解，下面结合附图，对本专利技术的具体实施方式进行详细描述。
附图说明
[0034]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1为本申请实施例的神经网络训练方法流程示意图。
[0036]图2为本申请实施例的神经网络训练的结构示意图。
具体实施方式
[0037]本申请所述的领域，泛指在迁移学习技术中的概念中，即把一个领域(即源域)的知识，迁移到另外一个领域(即目标领域)。也包括不同的场景下的图片，比如灯光较强时候拍的图片是一种领域，灯光较弱又是另外一种领域。
[0038]本申请结合知识蒸馏和无监督领域自适应的方法，提出一种新的神经网络训练方法，既可以压缩模型参数又可以提升准确率，有效解决领域漂移问题。
[0039]请参阅图1以及图2，本申请的神经网络训练方法，包括步骤：
[0040]S1:准备数据集：源域图片和目标域图片；
[0041]S2:特征抽取：
[0042]将源域图片和目标域图片输入至第一神经网络，得到源域特征SF1和目标域特征TF1；
[0043]将源域图片和目标域图片输入至第二神经网络，得到源域特征SF2和目标域特征TF2；
[0044]S3:分别计算源域和目标域在第一神经网络和第二神经网络的TDA损失，得到第一神经网络的TDA损失TDA1和第二神经网络的TDA2；
[0045]S4:计算源域和目标域的知识蒸馏损失；
[0046]S5:分别对第一神经网络、第二神经网络进行更新。
[0047]下面结合各种优选的实施方式说明本申请的技术方案。
[0048]本申请实施例第一神经网络选为EfficientNetV2，更优选的方式，选择基于EfficientNetV2的网络EfficientNetV2
‑
L网络结构。
[0049]本申请所述第二神经网络为EfficientNetV2，更优选的网络结构，为efficientnetv2_s。
[0050]步骤S3:分别计算源域和目标域在第一神经网络和第二神经网络的TDA损失，得到第一神经网络的TDA损失TDA1和第二神经网络的TDA2中，其TDA损失的计算如下：
[0051][0052]其中，
[0053][0054]N
s
为源域的样本数量，N
t
为目标域的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络训练方法，其特征是，包括步骤：S1:准备数据集：源域图片和目标域图片；S2:特征抽取：将源域图片和目标域图片输入至第一神经网络，得到源域特征SF1和目标域特征TF1；将源域图片和目标域图片输入至第二神经网络，得到源域特征SF2和目标域特征TF2；S3:分别计算源域和目标域在第一神经网络和第二神经网络的TDA损失，得到第一神经网络的TDA损失TDA1和第二神经网络的TDA2；S4:计算源域和目标域的知识蒸馏损失；S5:分别对第一神经网络、第二神经网络进行更新。2.如权利要求1所述的神经网络训练方法，其特征是，所述第一神经网络为EfficientNetV2。3.如权利要求1或2所述的神经网络训练方法，其特征是，所述第二神经网络为EfficientNetV2。4.如权利要求1所述的神经网络训练方法，其特征是，步骤S4:计算源域知识蒸馏损失SKD和目标域的知识蒸馏损失TKD，知识蒸馏的损失函数为KL loss，其公式可以表示为：L
d
＝L
kl
(N1(D，t)，N2(D，t))其中，N1(D，t)第一网络，N2(D，t)第二网络，D为数据集，t为温度。5.如权利要求...

【专利技术属性】
技术研发人员：曾祥云，朱姬渊，
申请(专利权)人：上海易康源医疗健康科技有限公司，
类型：发明
国别省市：