基于自学习策略的跨模态知识蒸馏方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种基于自学习策略的跨模态知识蒸馏方法、装置及存储介质，包括以下步骤，从源数据中提取模态数据，所述模态数据包括视频数据和声音数据，使用卷积神经网络提取模态数据中的图片特征信息和声音特征信息；根据所述图片特征信息和声音特征信息训练教师模型和学生模型；从教师模型输出软目标，使用卷积神经网络从软目标中学习学生模型；采用软目标引导学生模型进行优化。利用神经网络自学习优化策略，通过将不同模态数据的特征嵌入到单模态数据的学生网络中，一方面，能提高模型在预测时的性能，另一方面，能在低资源设备上高效运行深度学习模型。高效运行深度学习模型。高效运行深度学习模型。

【技术实现步骤摘要】
基于自学习策略的跨模态知识蒸馏方法、装置及存储介质


[0001]本专利技术属于知识蒸馏方法的
，具体涉及基于自学习策略的跨模态知识蒸馏方法、装置及存储介质。

技术介绍

[0002]知识蒸馏是一种在烦琐的模型中提炼知识并将其压缩为单个模型的方法，以便可以将其部署到实际应用中。指将笨拙的模型(教师模型)的学习行为转移到较小的模型(学生模型)。
[0003]跨模态知识蒸馏方法，是一种新型的教师
‑
学生训练结构，通常是已训练好的笨拙的模型，即教师模型提供知识，学生模型通过蒸馏训练来获取教师的知识，它可以将复杂教师模型的知识迁移到学生模型中。
[0004]传统模型部署主要有以下几个缺点：模型太大导致无法在低资源设备上运行；模型在设备端实时性不高；在设备上部署后，消耗过大的能耗问题。

技术实现思路

[0005]本专利技术的目的是提供一种基于自学习策略的跨模态知识蒸馏方法、装置及存储介质，解决传统模型部署具有模型太大导致无法在低资源设备上运行；模型在设备端实时性不高；在设备上部署后，消耗过大的能耗的问题。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]本专利技术第一方面提供基于自学习策略的跨模态知识蒸馏方法，包括以下步骤：
[0008]S1、从源数据中提取模态数据，所述模态数据包括视频数据和声音数据，使用卷积神经网络提取模态数据中的图片特征信息和声音特征信息；
[0009]S2、根据所述图片特征信息和声音特征信息训练教师模型和学生模型；
[0010]S3、从教师模型输出软目标，使用卷积神经网络从软目标中学习学生模型；
[0011]S4、采用软目标引导学生模型进行优化。
[0012]根据上述技术，通过利用神经网络自学习优化策略，根据所述图片特征信息和声音特征信息训练教师模型和学生模型；从教师模型输出软目标，使用卷积神经网络从软目标中学习学生模型；通过将不同模态数据的特征嵌入到单模态数据的学生网络中，一方面，能提高模型在预测时的性能，另一方面，能在低资源设备上高效运行深度学习模型；解决传统模型部署具有模型太大导致无法在低资源设备上运行；模型在设备端实时性不高；在设备上部署后，消耗过大的能耗的问题。
[0013]在一种可能的设计中，获取相关的未经过训练的图片或视频作为测试数据，并对所述教师模型与学生模型进行测试，获取学生模型和教师模型的性能结果。
[0014]在一种可能的设计中，采用软目标引导学生模型进行优化的方法包括以下步骤：
[0015]S401、根据教师网络和学生网络通过前向传播方式得到各自的教师网络软目标与学生网络软目标；
[0016]S402、根据教师网络软目标与学生网络软目标进行计算蒸馏损失；
[0017]S403、通过所述蒸馏损失，再利用反向传播方式中的随机梯度下降方式进行神经网络各层更新参数和权重，从而优化模型。
[0018]根据上述技术跨模态知识蒸馏是获取高效网络的方法，能够解决高性能深度学习网络无法在低资源设备上运行深度学习模型；通过跨模态的数据集来实现少样本学习或半监督学习，减少对带标签数据的依赖；跨模态知识蒸馏对高深度学习模型的性能有显著效果，在模型压缩和模型增强方面有优越特性。
[0019]本专利技术第二方面提供了基于自学习策略的跨模态知识蒸馏装置，包括
[0020]模态数据提取模块，用于从源数据中提取模态数据，所述模态数据包括视频数据和声音数据；
[0021]特征信息提取模块，用于使用卷积神经网络提取模态数据中的图片特征信息和声音特征信息；
[0022]模型训练模块，用于根据所述图片特征信息和声音特征信息训练教师模型和学生模型；
[0023]软目标获取模块，用于从教师模型输出软目标；
[0024]轻量级学生模型获取模块，用于使用卷积神经网络从软目标中学习学生模型；以及
[0025]模型优化模块，用于采用软目标引导学生模型进行优化。
[0026]在一种可能的设计中，还包括模型模块测试，用于获取相关的未经过训练的图片或视频作为测试数据，并对所述教师模型与学生模型进行测试，获取学生模型和教师模型的性能结果。
[0027]在一种可能的设计中，所述优化模块包括：
[0028]软目标获取单元，用于根据教师网络和学生网络通过前向传播方式得到各自的教师网络软目标与学生网络软目标；
[0029]蒸馏损失获取单元，用于根据教师网络软目标与学生网络软目标进行计算蒸馏损失；以及
[0030]参数权重计算单元，通过所述蒸馏损失，再利用反向传播方式中的随机梯度下降方式进行更新参数和权重，从而优化模型。
[0031]本专利技术第三方面提供了一种基于自学习策略的跨模态知识蒸馏装置，包括存储器和处理器，所述存储器与处理器之间通过总线相互连接；所述存储器存储计算机执行指令；所述处理器执行存储器存储的计算机执行指令，使得处理器执行如本专利技术第二方面以及第二方面中任意一项可能的设计中提供所述的基于自学习策略的跨模态知识蒸馏方法。
[0032]本专利技术第四方面提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如本专利技术第二方面以及第二方面中任意一项可能的设计中所述的基于自学习策略的跨模态知识蒸馏方法。
[0033]有益效果：
[0034]1、本专利技术提供的一种基于自学习策略的跨模态知识蒸馏方法，通过利用神经网络自学习优化策略，根据所述图片特征信息和声音特征信息训练教师模型和学生模型；从教师模型输出软目标，使用卷积神经网络从软目标中学习学生模型；通过将不同模态数据的
特征嵌入到单模态数据的学生网络中，一方面，能提高模型在预测时的性能，另一方面，能在低资源设备上高效运行深度学习模型；解决传统模型部署具有模型太大导致无法在低资源设备上运行；模型在设备端实时性不高；在设备上部署后，消耗过大的能耗的问题；
[0035]2、本专利技术提供的一种基于自学习策略的跨模态知识蒸馏方法，跨模态知识蒸馏是获取高效网络的方法，能够解决高性能深度学习网络无法在低资源设备上运行深度学习模型；通过跨模态的数据集来实现少样本学习或半监督学习，减少对带标签数据的依赖；跨模态知识蒸馏对高深度学习模型的性能有显著效果，在模型压缩和模型增强方面有优越特性。
附图说明
[0036]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0037]图1为本专利技术提供的一种基于自学习策略的跨模态知识蒸馏方法的流程示意图；
[0038]图2为本专利技术提供的一种基于自学习策略的跨模态知识蒸馏装置的模块示意图。
具体实施方式
[0039]下面结合附图及具体实施例来对本专利技术作进一步阐述。在此需要说明的是，对于这些实施例方式的说明虽然是用于帮助理解本专利技术，但并不构成对本专利技术的限定。
[0040]如图1所示，本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自学习策略的跨模态知识蒸馏方法，其特征在于，包括以下步骤：S1、从源数据中提取模态数据，所述模态数据包括视频数据和声音数据；S2、使用卷积神经网络提取模态数据中的图片特征信息和声音特征信息；S3、根据所述图片特征信息和声音特征信息训练教师模型和学生模型；S4、从所述教师模型输出软目标，从软目标中对所述学生模型进行学习；S5、采用软目标引导学生模型进行优化。2.根据权利要求1所述的基于自学习策略的跨模态知识蒸馏方法，其特征在于，获取相关的未经过训练的图片或视频作为测试数据，使用测试数据对所述教师模型与学生模型进行测试，获取学生模型和教师模型的性能结果。3.根据权利要求1所述的基于自学习策略的跨模态知识蒸馏方法，其特征在于，采用软目标引导学生模型进行优化的方法包括以下步骤：S401、根据教师网络和学生网络通过前向传播方式得到各自的教师网络软目标与学生网络软目标；S402、根据教师网络软目标与学生网络软目标进行计算蒸馏损失；S403、通过所述蒸馏损失，再利用反向传播方式中的随机梯度下降方式进行更新参数和权重，从而优化模型。4.基于自学习策略的跨模态知识蒸馏装置，其特征在于，包括：模态数据提取模块，用于从源数据中提取模态数据，所述模态数据包括视频数据和声音数据；特征信息提取模块，用于使用卷积神经网络提取模态数据中的图片特征信息和声音特征信息；模型训练模块，用于根据所述图片特征信息和声音特征信息...

【专利技术属性】
技术研发人员：王东荣，刘朝勇，邓靖，
申请(专利权)人：珠海鸿晟新科技有限公司，
类型：发明
国别省市：