超分网络模型训练方法、装置、电子设备以及存储介质制造方法及图纸

本申请提供了一种超分网络模型训练方法、装置、电子设备以及存储介质，涉及计算机视觉技术领域，该方法包括：利用第一网络模型对第二网络模型进行知识蒸馏；并在知识蒸馏过程中，计算互信息损失、第一时序一致性损失以及第二时序一致性损失中的至少一项；进而，基于该互信息损失、第一时序一致性损失以及第二时序一致性损失中的至少一项，对该第二超分网络模型的参数进行调整，得到训练后的该第二超分网络模型。本申请通过引入知识蒸馏技术并设计了适用于视频超分领域的监督指标，能够在保证超分网络模型的性能的基础上，降低超分网络模型的复杂度，进而，有利于该第二超分网络模型在低计算能力的终端平台（如嵌入式设备等）上或线上实时运行。或线上实时运行。或线上实时运行。

【技术实现步骤摘要】
超分网络模型训练方法、装置、电子设备以及存储介质


[0001]本申请实施例涉及人工智能的计算机视觉
，并且更具体地，涉及超分网络模型训练方法、装置、电子设备以及存储介质。

技术介绍

[0002]视频超分指通过超分算法基于给定的低分辨率视频生成高分辨率视频。
[0003]随着深度学习的发展，人工智能中深度学习方法因强大、灵活的特征提取能力而被应用于视频超分领域并逐渐成为视频超分的主流方法。目前，基于深度学习的视频超分，需要对不同场景训练多个视频超分模型，即需要进行具体场景的定制化设计，通用性不高；需要的模型参数较多，导致模型的计算速度变慢，难以在低计算能力的终端平台（如嵌入式设备等）上或线上实时运行。

技术实现思路

[0004]本申请提供了一种超分网络模型训练方法、装置、电子设备以及存储介质，能够在保证超分网络模型的性能的基础上，降低超分网络模型的复杂度，进而，有利于在低计算能力的终端平台（如嵌入式设备等）上或线上实时运行。
[0005]一方面，本申请提供了一种超分网络模型训练方法，包括：获取待处理视频的且连本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超分网络模型训练方法，其特征在于，包括：获取待处理视频的且连续的T个训练图像帧，所述T个训练图像帧标注有T个标注图像帧；利用已训练的第一超分网络模型对输入的所述T个训练图像帧进行特征提取，得到所述第一超分网络模型的m个残差模块中的k个残差模块分别输出的k个第一特征图谱和所述第一超分网络模型输出的T个第一图像帧；其中，T和m为正整数；利用第二超分网络模型对输入的所述T个训练图像帧进行特征提取，并利用所述m个残差模块中的k个残差模块对所述第二超分网络模型的n个残差模型中的k个残差块分别进行蒸馏，得到所述n个残差模型中的k个残差块分别输出的k个第二特征图谱和所述第二超分网络模型输出的T个第二图像帧；其中，n＜m，n为正整数；计算互信息损失、第一时序一致性损失以及第二时序一致性损失中的至少一项；其中，所述互信息损失用于表征所述k个第一特征图谱的灰度值和所述k个第二特征图谱的灰度值之间的差异，所述第一时序一致性损失用于表征所述T个第二图像帧和所述T个标注图像帧之间的时序差异，所述第二时序一致性损失用于表征所述T个第二图像帧和所述T个第一图像帧之间的时序差异；基于所述互信息损失、第一时序一致性损失以及第二时序一致性损失中的至少一项，对所述第二超分网络模型的参数进行调整，得到训练后的所述第二超分网络模型。2.根据权利要求1所述的方法，其特征在于，所述利用所述m个残差模块中的k个残差模块对所述第二超分网络模型的n个残差模型中的k个残差块分别进行蒸馏之前，所述方法还包括：利用特征转换层中的至少一个卷积层和激活函数层，对所述m个残差模块中的k个残差模块输出的特征图谱分别进行特征提取，得到k个第三特征图谱；针对所述k个第三特征图谱中的第i个第三特征图谱，若所述第i个第三特征图谱的特征分布与所述k个第二特征图谱中的第i个第二特征图谱的特征分布相同，将所述第i个第三特征图谱确定为所述第i个第一特征图谱。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述第i个第三特征图谱的特征分布与所述k个第二特征图谱中的第i个第二特征图谱的特征分布不相同，利用所述特征转换层中的池化层，将所述第i个第三特征图谱转换为第四特征图谱，所述第四特征图谱的特征分布与所述第i个第二特征图谱的特征分布相同；将所述第四特征图谱确定为所述第i个第一特征图谱。4.根据权利要求1所述的方法，其特征在于，所述计算互信息损失、第一时序一致性损失以及第二时序一致性损失中的至少一项之前，所述方法还包括：基于所述T个训练图像帧的图像帧类型确定预设数值；利用所述k个第一特征图谱与所述预设数值相乘后的特征图谱，更新所述k个第一特征图谱；以及利用所述k个第二特征图谱与所述预设数值相乘后的特征图谱，更新所述k个第二特征图谱。5.根据权利要求4所述的方法，其特征在于，所述基于所述T个训练图像帧的图像帧类型确定预设数值，包括：若T个训练图像帧的图像帧类型为八位图，则确定所述预设数值为255。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述计算互信息损失、第一时序一致性损失以及第二时序一致性损失中的至少一项，包括：针对所述k个第一特征图谱中的第i个第一特征图谱的N个灰度值，基于所述N个灰度值中的每一个灰度值在所述第i个第一特征图谱中出现的概率，确定所述第i个第一特征图谱的信息熵，N为正整数；针对所述k个第二特征图谱中的第i个第二特征图谱中的M个灰度值，基于所述M个灰度值中的每一个灰度值在所述第i个第二特征图谱中出现的概率，确定所述第i个第二特征图谱的信息熵，M为正整数；针对在所述第i个第一特征图谱和所述第i个第二特征图谱中位于同一位置的像素点，基于所述像素点在所述第i个第一特征图谱中的灰度值为第一数值，且所述像素点在所述第i个第二特征图谱中的灰度值为第二数值的概率，确定所述第i个第一特征图谱和所述第i个第二特征图谱的联合熵；利用所述第i个第一特征图谱的信息熵与所述第i个第二特征图谱的信息熵的和，减去所述联合熵，得到所述第i个第一特征图谱与所述第i个第二特征图谱之间的损失；基于所述k个第一特征图谱分别与所述k个第二特征图谱之间的损失，确定所述互信息损失。7.根据权利要求6所述的方...

【专利技术属性】
技术研发人员：谢植淮，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：