本发明专利技术公开了一种基于知识蒸馏的多自监督任务融合方法、装置及存储介质，建立多个第一神经网络模型、多个自监督任务、分类任务和第二神经网络模型，分别使用各自监督任务，对相应的第一神经网络模型进行自监督训练；通过知识蒸馏融合各第一神经网络模型与第二神经网络模型，使用分类任务对第二神经网络模型进行训练等步骤。本发明专利技术应用了知识蒸馏技术，能够借助经过自监督任务训练的第一神经网络模型，提升第二神经网络模型的性能，使得对第二神经网络模型的训练，融合了有监督学习容易训练得到准确度高的网络模型，以及自监督学习容易进行大规模训练的优点，使得有监督学习与自监督学习的优缺点互补。本发明专利技术广泛应用于人工智能技术领域。智能技术领域。智能技术领域。
【技术实现步骤摘要】
基于知识蒸馏的多自监督任务融合方法、装置及存储介质
[0001]本专利技术涉及人工智能
，尤其是一种基于知识蒸馏的多自监督任务融合方法、装置及存储介质。
技术介绍
[0002]深度学习技术可以分为三大分支：有监督学习、无监督学习以及自监督学习。其中，有监督学习是指利用大量带有标注的数据训练神经网络，通过最小化网络输出和标签的之间的损失来优化网络，让模型拥有智能。无监督学习算法没有标签，因此训练模型往往没有明确目标，对于训练结果也可能并不确定，在本质上来说，无监督学习算法是一种概率统计的方法，用以在数据中发现一些潜在结构。在拥有大量未标注数据和少量标注数据的半监督任务场景，由于缺少标注，单纯有监督学习达不到好的效果，这个时候可以应用自监督技术利用无标注数据增强模型性能。而自监督学习指的是模型通过解决代理任务，最小化模型输出和由代理任务自动生成的伪标签之间的损失来优化网络，使得模型能再自监督代理任务的下游任务的微调中有更好的效果。
[0003]综上可知，有监督学习、无监督学习以及自监督学习均有其各自的优点，但是单独来看也有其各自的缺点。例如，有监督学习的训练数据的获取成本较高，难以获取到大规模的数据训练神经网络，各种学习方式的优点未被融合。
技术实现思路
[0004]针对目前的有监督学习与自监督学习各自存在的技术缺点，本专利技术的目的在于提供一种基于知识蒸馏的多自监督任务融合方法、装置及存储介质。
[0005]一方面，本专利技术实施例包括一种基于知识蒸馏的多自监督任务融合方法，包括：
[0006]建立多个第一神经网络模型和多个自监督任务；各所述第一神经网络模型与各所述自监督任务一一对应；
[0007]分别使用各所述自监督任务，对相应的所述第一神经网络模型进行自监督训练；
[0008]建立分类任务和第二神经网络模型；
[0009]通过知识蒸馏融合各所述第一神经网络模型与所述第二神经网络模型，使用所述分类任务对所述第二神经网络模型进行训练。
[0010]进一步地，所述通过知识蒸馏融合各所述第一神经网络模型与所述第二神经网络模型，使用所述分类任务对所述第二神经网络模型进行训练，包括：
[0011]获取所述分类任务对应的样本数据以及真实标签；
[0012]将所述样本数据分别输入至各所述第一神经网络模型；
[0013]获取各所述第一神经网络模型对所述样本数据进行处理分别产生的输出结果；
[0014]融合各所述第一神经网络模型的输出结果，获得软标签；
[0015]将所述样本数据输入至所述第二神经网络模型；
[0016]获取所述第二神经网络模型对所述样本数据进行处理产生的预测结果；
[0017]获取所述第二神经网络模型对所述样本数据进行处理产生的软预测结果；
[0018]根据所述预测结果与所述真实标签，确定第一损失函数值；
[0019]根据所述软预测结果与所述软标签，确定第二损失函数值；
[0020]根据所述第一损失函数值与所述第二损失函数值，确定第三损失函数值；
[0021]根据所述第三损失函数值，优化更新所述第二神经网络模型的网络参数。
[0022]进一步地，所述融合各所述第一神经网络模型的输出结果，获得软标签，包括：
[0023]将各所述第一神经网络模型的输出结果加权相加，获得所述软标签。
[0024]进一步地，所述获取所述第二神经网络模型对所述样本数据进行处理产生的软预测结果，包括：
[0025]将所述第二神经网络模型对所述样本数据进行处理产生的预测结果除以蒸馏温度之后，输入至激活函数，获取所述激活函数的输出结果作为所述软预测结果。
[0026]进一步地，所述根据所述预测结果与所述真实标签，确定第一损失函数值，包括：
[0027]计算所述预测结果与所述真实标签的交叉熵损失函数，所得结果作为所述第一损失函数值。
[0028]进一步地，所述根据所述软预测结果与所述软标签，确定第二损失函数值，包括：
[0029]计算所述软预测结果与所述软标签的K1散度，所得结果作为所述第二损失函数值。
[0030]进一步地，所述基于知识蒸馏的多自监督任务融合方法还包括：
[0031]在完成对各所述第一神经网络模型的自监督训练之后，在使用所述分类任务对所述第二神经网络模型进行训练之前，使用所述分类任务，分别对经过自监督训练的各所述第一神经网络模型进行训练。
[0032]进一步地，所述多个自监督任务包括图像旋转方向识别任务、图像相对方向识别任务、拼图任务和旋转拼图任务。
[0033]另一方面，本专利技术实施例还包括一种计算机装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例中的基于知识蒸馏的多自监督任务融合方法。
[0034]另一方面，本专利技术实施例还包括一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于执行实施例中的基于知识蒸馏的多自监督任务融合方法。
[0035]本专利技术的有益效果是：实施例中的基于知识蒸馏的多自监督任务融合方法，应用了知识蒸馏这种模型压缩和加速的技术，能够借助经过自监督任务训练的作为老师模型的第一神经网络模型，提升作为学生模型的第二神经网络模型的性能，使得对第二神经网络模型的训练，融合了有监督学习容易训练得到准确度高的网络模型，以及自监督学习容易进行大规模训练的优点，具体地，通过自监督学习利用大量无标注数据进行模型预训练，使模型达到一个良好的起始参数，来提升模型目标任务的泛化性能，避免单纯的监督学习容易过拟合的缺点，实现了利用多个自监督学习技术提升有监督学习技术的效果。
附图说明
[0036]图1为实施例中基于知识蒸馏的多自监督任务融合方法的流程图；
[0037]图2为实施例中基于知识蒸馏的多自监督任务融合方法的原理图；
[0038]图3为实施例中图像相对方向识别任务的原理图；
[0039]图4为实施例中使用分类任务对经过自监督训练的各第一神经网络模型进行训练的原理图。
具体实施方式
[0040]本实施例中，参照图1，基于知识蒸馏的多自监督任务融合方法包括以下步骤：
[0041]S1.建立多个第一神经网络模型和多个自监督任务；
[0042]S2.分别使用各自监督任务，对相应的第一神经网络模型进行自监督训练；
[0043]S3.建立分类任务和第二神经网络模型；
[0044]S4.通过知识蒸馏融合各第一神经网络模型与第二神经网络模型，使用分类任务对第二神经网络模型进行训练。
[0045]步骤S1
‑
S4中，所建立的各个第一神经网络模型以及第二神经网络模型可以具有基本相同的网络结构。具体地，由于各个第一神经网络模型以及第二神经网络模型在训练过程中所要进行的训练任务不同，不同的神经网络模型中的全连接层维度不同，除了全本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于知识蒸馏的多自监督任务融合方法，其特征在于，所述基于知识蒸馏的多自监督任务融合方法包括：建立多个第一神经网络模型和多个自监督任务；各所述第一神经网络模型与各所述自监督任务一一对应；分别使用各所述自监督任务，对相应的所述第一神经网络模型进行自监督训练；建立分类任务和第二神经网络模型；通过知识蒸馏融合各所述第一神经网络模型与所述第二神经网络模型，使用所述分类任务对所述第二神经网络模型进行训练。2.根据权利要求1所述的基于知识蒸馏的多自监督任务融合方法，其特征在于，所述通过知识蒸馏融合各所述第一神经网络模型与所述第二神经网络模型，使用所述分类任务对所述第二神经网络模型进行训练，包括：获取所述分类任务对应的样本数据以及真实标签；将所述样本数据分别输入至各所述第一神经网络模型；获取各所述第一神经网络模型对所述样本数据进行处理分别产生的输出结果；融合各所述第一神经网络模型的输出结果，获得软标签；将所述样本数据输入至所述第二神经网络模型；获取所述第二神经网络模型对所述样本数据进行处理产生的预测结果；获取所述第二神经网络模型对所述样本数据进行处理产生的软预测结果；根据所述预测结果与所述真实标签，确定第一损失函数值；根据所述软预测结果与所述软标签，确定第二损失函数值；根据所述第一损失函数值与所述第二损失函数值，确定第三损失函数值；根据所述第三损失函数值，优化更新所述第二神经网络模型的网络参数。3.根据权利要求2所述的基于知识蒸馏的多自监督任务融合方法，其特征在于，所述融合各所述第一神经网络模型的输出结果，获得软标签，包括：将各所述第一神经网络模型的输出结果加权相加，获得所述软标签。4.根据权利要求2所述的基于知识蒸馏的多自监督任务融合方法，其特征在于，所述获取所述第二神经网络模型...
【专利技术属性】
技术研发人员：刘嘉滨，张轩铭，陈曾平，胡俊，
申请(专利权)人：中山大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。