图像处理模型的训练方法、装置、设备、介质和程序产品制造方法及图纸

本公开涉及一种图像处理模型的训练方法、装置、设备、介质和程序产品。所述方法包括：获取训练图像的第一特征图和第二特征图，其中，所述第一特征图通过第一图像处理模型输出，所述第二特征图通过第二图像处理模型输出；根据所述第一特征图中的部分特征和所述第二特征图中的部分特征，生成第三特征图；根据所述第三特征图和所述第一特征图，确定所述第二图像处理模型对应的损失函数的值；根据所述损失函数的值，训练所述第二图像处理模型。训练所述第二图像处理模型。训练所述第二图像处理模型。

【技术实现步骤摘要】
图像处理模型的训练方法、装置、设备、介质和程序产品


[0001]本公开涉及计算机
，尤其涉及一种图像处理模型的训练方法、装置、电子设备、存储介质和程序产品。

技术介绍

[0002]知识蒸馏(Knowledge Distillation，KD)是指将已经训练好的教师模型包含的知识，蒸馏提取到学生模型中。通用的知识蒸馏方法利用教师模型最后输出的logits作为学生模型学习的知识，这个知识通常称为“软标签”或“暗知识”。相关技术还提出了基于特征的知识蒸馏方法，其将教师模型的中间层输出的特征图作为学生模型学习的知识。
[0003]相关技术中，教师模型的性能的提升，不能带来蒸馏后的学生模型的性能的提升。即，师生模型(即教师模型与学生模型)之间存在隔阂，学生模型的性能提升存在瓶颈，在提升到一定程度之后，很难再继续优化下去。
[0004]对于缺乏算力的移动端而言，通常只能部署规模较小的学生模型。相关技术中，由于学生模型的性能较差，因此导致学生模型落地困难，且低精度的学生模型难以满足用户的需求。如果师生模型之间的隔阂能够被打破，学生模型的性能将随着教师模型的性能的提升而提升，则能够加速更多学生模型的落地，给用户带来更舒适的体验。

技术实现思路

[0005]本公开提供了一种图像处理模型的训练技术方案。
[0006]根据本公开的一方面，提供了一种图像处理模型的训练方法，包括：
[0007]获取训练图像的第一特征图和第二特征图，其中，所述第一特征图通过第一图像处理模型输出，所述第二特征图通过第二图像处理模型输出；
[0008]根据所述第一特征图中的部分特征和所述第二特征图中的部分特征，生成第三特征图；
[0009]根据所述第三特征图和所述第一特征图，确定所述第二图像处理模型对应的损失函数的值；
[0010]根据所述损失函数的值，训练所述第二图像处理模型。
[0011]通过获取训练图像的第一特征图和第二特征图，其中，所述第一特征图通过第一图像处理模型输出，所述第二特征图通过第二图像处理模型输出，根据所述第一特征图中的部分特征和所述第二特征图中的部分特征，生成第三特征图，根据所述第三特征图和所述第一特征图，确定所述第二图像处理模型对应的损失函数的值，并根据所述损失函数的值，训练所述第二图像处理模型，由此将第一图像处理模型提取的特征图的一部分，作为第二图像处理模型的先验知识，使第二图像处理模型模仿第一图像处理模型输出的特征，从而能够使第二图像处理模型随着第一图像处理模型的性能的提升而提升，即，能够解决师生模型之间的隔阂，能够解决随着第一图像模型的性能的提升、第二图像模型的性能不再提升的问题，从而能够使用更大规模的、性能更好的第一图像处理模型，蒸馏得到性能更好
的第二图像处理模型。
[0012]在一种可能的实现方式中，所述根据所述第一特征图中的部分特征和所述第二特征图中的部分特征，生成第三特征图，包括：
[0013]从所述第一特征图中，确定用于生成第三特征图的第一特征块集合，并从所述第二特征图中，确定用于生成所述第三特征图的第二特征块集合，其中，所述第一特征块集合表示所述第一特征图中用于生成所述第三特征图的特征块的集合，且所述第一特征块集合包括所述第一特征图的部分特征，所述第二特征块集合表示所述第二特征图中用于生成所述第三特征图的特征块的集合，且所述第二特征块集合包括所述第二特征图的部分特征；
[0014]根据所述第一特征块集合和所述第二特征块集合，生成所述第三特征图。
[0015]在该实现方式中，通过从所述第一特征图中，确定用于生成第三特征图的第一特征块集合，从所述第二特征图中，确定用于生成所述第三特征图的第二特征块集合，并根据所述第一特征块集合和所述第二特征块集合，生成所述第三特征图，由此以特征块为最小单位对第一特征图和第二特征图进行划分，并基于第一特征图中的部分特征块和第二特征图中的部分特征块生成第三特征图，从而借助教师模型提供的先验的特征块训练第二图像处理模型，有助于提高训练得到的第二图像处理模型的精度。
[0016]在一种可能的实现方式中，所述从所述第一特征图中，确定用于生成第三特征图的第一特征块集合，并从所述第二特征图中，确定用于生成所述第三特征图的第二特征块集合，包括：
[0017]根据所述第一特征图和所述第二特征图，确定用于合并所述第一特征图和所述第二特征图的掩码比例；
[0018]根据所述掩码比例，确定掩码区域；
[0019]根据所述掩码区域，从所述第一特征图中，确定用于生成第三特征图的第一特征块集合，并从所述第二特征图中，确定用于生成所述第三特征图的第二特征块集合，其中，所述第一特征块集合与所述第二特征块集合中的特征块的位置互补。
[0020]在该实现方式中，根据所述第一特征图和所述第二特征图，确定用于合并所述第一特征图和所述第二特征图的掩码比例，根据所述掩码比例，确定掩码区域，从所述第一特征图中，确定用于生成第三特征图的第一特征块集合，并从所述第二特征图中，确定用于生成所述第三特征图的第二特征块集合，其中，所述第一特征块集合与所述第二特征块集合中的特征块的位置互补，由此，用于合并第一特征图和第二特征图的掩码比例根据第一特征图和第二特征图确定，而非采用固定的掩码比例，即，用于合并特征图对的掩码比例根据特征图对的相似性信息(例如相似度)来进行动态调整。例如，不同中间层对输出的特征图对不同，二者的相似性信息也不同，将可能采用不同的掩码比例；又如，同一中间层对在不同的训练轮次输出的特征图对不同，将可能采用不同的掩码比例。通过采用根据特征图对动态确定的掩码比例，有利于降低第二图像处理模型与第一图像处理模型之间的差距，有助于提高训练得到的第二图像处理模型的精度。
[0021]在一种可能的实现方式中，所述根据所述第一特征图和所述第二特征图，确定用于合并所述第一特征图和所述第二特征图的掩码比例，包括：
[0022]确定所述第一特征图与所述第二特征图之间的相似性信息；
[0023]根据所述相似性信息，确定用于合并所述第一特征图和所述第二特征图的掩码比
例。
[0024]在该实现方式中，通过确定所述第一特征图与所述第二特征图之间的相似性信息，并根据所述相似性信息，确定用于合并所述第一特征图和所述第二特征图的掩码比例，由此有助于提高训练得到的第二图像处理模型的精度。
[0025]在一种可能的实现方式中，
[0026]所述确定所述第一特征图与所述第二特征图之间的相似性信息，包括：确定所述第一特征图与所述第二特征图之间的中间核对齐CKA相似性指数；
[0027]所述根据所述相似性信息，确定用于合并所述第一特征图和所述第二特征图的掩码比例，包括：根据所述CKA相似性指数，确定用于合并所述第一特征图和所述第二特征图的掩码比例。
[0028]在该实现方式中，通过确定所述第一特征图与所述第二特征图之间的CKA相似性指数，并根据所述CKA相似性指数，确定用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理模型的训练方法，其特征在于，包括：获取训练图像的第一特征图和第二特征图，其中，所述第一特征图通过第一图像处理模型输出，所述第二特征图通过第二图像处理模型输出；根据所述第一特征图中的部分特征和所述第二特征图中的部分特征，生成第三特征图；根据所述第三特征图和所述第一特征图，确定所述第二图像处理模型对应的损失函数的值；根据所述损失函数的值，训练所述第二图像处理模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图中的部分特征和所述第二特征图中的部分特征，生成第三特征图，包括：从所述第一特征图中，确定用于生成第三特征图的第一特征块集合，并从所述第二特征图中，确定用于生成所述第三特征图的第二特征块集合，其中，所述第一特征块集合表示所述第一特征图中用于生成所述第三特征图的特征块的集合，且所述第一特征块集合包括所述第一特征图的部分特征，所述第二特征块集合表示所述第二特征图中用于生成所述第三特征图的特征块的集合，且所述第二特征块集合包括所述第二特征图的部分特征；根据所述第一特征块集合和所述第二特征块集合，生成所述第三特征图。3.根据权利要求2所述的方法，其特征在于，所述从所述第一特征图中，确定用于生成第三特征图的第一特征块集合，并从所述第二特征图中，确定用于生成所述第三特征图的第二特征块集合，包括：根据所述第一特征图和所述第二特征图，确定用于合并所述第一特征图和所述第二特征图的掩码比例；根据所述掩码比例，确定掩码区域；根据所述掩码区域，从所述第一特征图中，确定用于生成第三特征图的第一特征块集合，并从所述第二特征图中，确定用于生成所述第三特征图的第二特征块集合，其中，所述第一特征块集合与所述第二特征块集合中的特征块的位置互补。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一特征图和所述第二特征图，确定用于合并所述第一特征图和所述第二特征图的掩码比例，包括：确定所述第一特征图与所述第二特征图之间的相似性信息；根据所述相似性信息，确定用于合并所述第一特征图和所述第二特征图的掩码比例。5.根据权利要求4所述的方法，其特征在于，所述确定所述第一特征图与所述第二特征图之间的相似性信息，包括：确定所述第一特征图与所述第二特征图之间的中间核对齐CKA相似性指数；所述根据所述相似性信息，确定用于合并所述第一特征图和所述第二特征图的掩码比例，包括：根据所述CKA相似性指数，确定用于合并所述第一特征图和所述第二特征图的掩码比例。6.根据权利要求4或5所述的方法，其特征在于，所述确定所述第一特征图与所述第二特征图之间的相似性信息，包括：对齐所述第一特征图与所述第二特征图；确定对齐后的所述第一特征图与所述第二特征图之间的相似性信息。
7.根据权利要求6所述的方法，其特征在于，所述对齐所述第一特征图与所述第二特征图，包括：响应于所述第二特征图与所述第一特征图的通道数不同，对所述第二特征图进行卷积处理，使卷积处理后的第二特征图与所述第一特征图的通道数相同，和/或，响应于所述第二特征图与所述第一特征图的尺寸不同，对所述第二特征图进行双线性插值，使双线性插值后的第二特征图与所述第一特征图的尺寸相同；或者，响应于所述第二特征图与所述第一特征图的通道数不同，对所述第一特征图进行卷积处理，使卷积处理的第一特征图与所述第二特征图的通道数相同，和/或，响应于所述第二特征图与所述第一特征图的尺寸不同，对所述第一特征图进行双线性插值，使双线性插值后的第一特征图与所述第二特征图的尺寸相同。8.根据权利要求3至7中任意一项所述的方法，其特征在于，所述根据所述掩码区域，从所述第一特征图中，确定用于生成第三特征图的第一特征块集合，并从所述第二特征图中，确定用于生成所述第三特征图的第二特征块集合，包括：对应所述掩码区域的位置信息或者对应所述掩码区域以外的位置信息，从所述第一特征图中确定用于生成第三特征图的第一特征块集合；从所述第二特征图中，选取与所述第一特征块集合中的特征块的位置互补的特征块，得到用于生成所述第三特征图的第二特征块集合。9.根据权利要求2至8中任意一项所述的方法，其特...

【专利技术属性】
技术研发人员：杨昆霖，邱增玉，宗道明，侯军，伊帅，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：