模型训练方法、装置、设备和存储介质制造方法及图纸

本公开提供了一种模型训练方法、装置、设备和存储介质，涉及人工智能技术领域，具体涉及计算机视觉、深度学习等技术领域。模型训练方法包括：采用多个已训练模型，提取图像样本的图像特征，以获得多个第一图像特征；采用待训练模型，提取所述图像样本的图像特征，以获得第二图像特征；基于所述多个第一图像特征确定融合特征；基于所述融合特征和所述第二图像特征构建损失函数，并采用所述损失函数训练所述待训练模型。本公开可以提高待训练模型的处理效果。理效果。理效果。

【技术实现步骤摘要】
模型训练方法、装置、设备和存储介质


[0001]本公开涉及人工智能
，具体涉及计算机视觉、深度学习等
，可应用于图像处理场景下，尤其涉及一种模型训练方法、装置、设备和存储介质。

技术介绍

[0002]知识蒸馏(knowledge distillation)是模型压缩的一种常用方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。这个大模型称之为教师(teacher)模型，小模型称之为学生(student)模型。来自teacher模型输出的监督信息称之为知识(knowledge)，而student模型学习迁移来自teacher模型的监督信息的过程称之为蒸馏(distillation)。
[0003]相关技术中，一般采用单一的教师模型为学生模型提供监督信息。

技术实现思路

[0004]本公开提供了一种图像模型的训练方法、装置、设备和存储介质。
[0005]根据本公开的一方面，提供了一种模型训练方法，包括：采用多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：采用多个已训练模型，提取图像样本的图像特征，以获得多个第一图像特征；采用待训练模型，提取所述图像样本的图像特征，以获得第二图像特征；基于所述多个第一图像特征确定融合特征；基于所述融合特征和所述第二图像特征构建损失函数，并采用所述损失函数训练所述待训练模型。2.根据权利要求1所述的方法，其中，所述基于所述多个第一图像特征确定融合特征，包括：对所述多个第一图像特征进行两两处理，以获得所述融合特征。3.根据权利要求2所述的方法，其中，所述对所述多个第一图像特征进行两两处理，以获得所述融合特征，包括：对应所述多个第一图像特征中的各个第一图像特征，基于所述各个第一图像特征和所述两两处理时的另外一个第一图像特征确定加权系数；基于所述加权系数和所述各个第一图像特征，确定所述各个第一图像特征对应的融合特征。4.根据权利要求1所述的方法，其中，所述融合特征为多个，所述基于所述融合特征和所述第二图像特征构建损失函数，包括：分别确定所述多个融合特征中的各个融合特征与所述第二图像特征的差值；将所述差值的平方和，构建为所述损失函数。5.根据权利要求1
‑
4任一项所述的方法，其中，所述多个已训练模型作为多个教师模型，所述待训练模型作为学生模型，且，所述多个教师模型基于多个图像处理场景对应的图像生成。6.一种模型训练装置，包括：第一提取模块，用于采用多个已训练模型，提取图像样本的图像特征，以获得多个第一图像特征；第二提取模块，用于采用待训练模型，提取所述图像样本的图像特征，以获得第二图像特征；融合模块，用于基于所述多个第一图像特征确定融合特征；训练模块，用于基于所述融合特征和...

【专利技术属性】
技术研发人员：杨馥魁，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：