超分辨率模型的训练方法、装置、设备及介质制造方法及图纸

本申请公开了一种超分辨率模型的训练方法、装置、设备及介质，涉及机器学习领域。该方法包括：将训练视频拆分为p种训练样本，所述p种训练样本包括至少f个图像尺寸相同和视频帧数量相同的训练样本，所述p种训练样本中每种训练样本的视频帧数量不大于所述训练视频的视频帧数量，所述p种训练样本中每种训练样本的图像尺寸不大于所述训练视频的图像尺寸，p为大于1的正整数，f为正整数；按照所述视频帧数量和所述图像尺寸中的至少一种排列标准，将所述p种训练样本从小到大进行排列；按照所述p种训练样本的排列顺序，从所述p种训练样本中依次提取训练样本对所述超分辨率模型进行训练。本申请可以加快超分辨率模型的训练速度。本申请可以加快超分辨率模型的训练速度。本申请可以加快超分辨率模型的训练速度。

【技术实现步骤摘要】
超分辨率模型的训练方法、装置、设备及介质


[0001]本申请涉及机器学习领域，特别涉及一种超分辨率模型的训练方法、装置、设备及介质。

技术介绍

[0002]超分辨率用于通过硬件或软件的方法提高原有图像的分辨率，超分辨率模型就是通过低分辨率的图像来得到高分辨率的图像的模型。
[0003]相关技术在训练超分辨率模型时，会提取训练视频的所有视频帧，将所有视频帧逐帧输入到超分辨率模型中，对超分辨率模型进行训练。
[0004]但是训练视频包含较多的信息，超分辨率模型的训练速度较慢。

技术实现思路

[0005]本申请提供了一种超分辨率模型的训练方法、装置、设备及介质，该方法可以提高超分辨率模型的训练速度，所述技术方案如下：
[0006]根据本申请的一个方面，提供了一种超分辨率模型的训练方法，该方法包括：
[0007]将训练视频拆分为p种训练样本，每种训练样本包括至少f个图像尺寸相同和视频帧数量相同的训练样本，所述p种训练样本中每种训练样本的视频帧数量不大于所述训练视频的视频帧数量，所述p种训练样本中每种训练样本的图像尺寸不大于所述训练视频的图像尺寸，p为大于1的正整数，f为正整数；
[0008]按照所述视频帧数量和所述图像尺寸中的至少一种排列标准，将所述p种训练样本从小到大进行排列；
[0009]按照所述p种训练样本的排列顺序，从所述p种训练样本中依次提取训练样本对所述超分辨率模型进行训练。
[0010]根据本申请的一个方面，提供了一种超分辨率模型的训练装置，该装置包括：
[0011]拆分模块，用于将训练视频拆分为p种训练样本，每种训练样本包括至少f个图像尺寸相同和视频帧数量相同的训练样本，所述p种训练样本中每种训练样本的视频帧数量不大于所述训练视频的视频帧数量，所述p种训练样本中每种训练样本的图像尺寸不大于所述训练视频的图像尺寸，p为大于1的正整数，f为正整数；
[0012]所述拆分模块，还用于按照所述视频帧数量和所述图像尺寸中的至少一种排列标准，将所述p种训练样本从小到大进行排列；
[0013]训练模块，用于按照所述p种训练样本的排列顺序，从所述p种训练样本中依次提取训练样本对所述超分辨率模型进行训练。
[0014]根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上方面所述的超分辨率模型的训练方法。
[0015]根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条程序代码，程序代码由处理器加载并执行以实现如上方面所述的超分辨率模型的训练方法。
[0016]根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上方面所述的超分辨率模型的训练方法。
[0017]本申请实施例提供的技术方案带来的有益效果至少包括：
[0018]将训练视频进行拆分，得到训练样本，按照视频帧数量和图像尺寸将训练样本从小到大排列，并根据排列顺序，使用不同的训练样本对超分辨率模型进行分阶段的训练。由于视频帧数量或图像尺寸越小，训练样本包含的信息就越少，有助于提高训练速度。而且，上一阶段对超分辨率模型的训练具有引导作用，可以引导当前阶段对超分辨率模型的训练，来让超分辨率模型从简单到难地学习，在保持模型精度的同时，有效提高训练速度。
附图说明
[0019]附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本申请一个示例性实施例提供的计算机系统的结构示意图；
[0021]图2是本申请一个示例性实施例提供的超分辨率模型的训练方法的示意图；
[0022]图3是本申请一个示例性实施例提供的超分辨率模型的训练方法的流程示意图；
[0023]图4是本申请一个示例性实施例提供的超分辨率模型的训练方法的流程示意图；
[0024]图5是本申请一个示例性实施例提供的训练样本的示意图；
[0025]图6是本申请一个示例性实施例提供的超分辨率模型的训练方法的流程示意图；
[0026]图7是本申请一个示例性实施例提供的超分辨率模型的训练方法的流程示意图；
[0027]图8是本申请一个示例性实施例提供的超分辨率模型的训练阶段的示意图；
[0028]图9是本申请一个示例性实施例提供的超分辨率模型的训练装置的模型示意图；
[0029]图10是本申请一个示例性实施例提供的计算机设备的结构示意图。
具体实施方式
[0030]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0031]首先，对本申请实施例中涉及的名词进行介绍：
[0032]人工智能(Artificial Intelligence，AI)：是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
[0033]人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0034]机器学习(Machine Learning，ML)：一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
[0035]超分辨率模型：用于提高图像或视频的分辨率。可选地，超分辨率模型包括基于循环网络的超分辨率模型和基于滑动窗口的超分辨率模型。本申请实施例中对超分辨率模型的种类不做限定。
[0036]图1示出了本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超分辨率模型的训练方法，其特征在于，所述方法包括：将训练视频拆分为p种训练样本，每种训练样本包括至少f个图像尺寸相同和视频帧数量相同的训练样本，所述p种训练样本中每种训练样本的视频帧数量不大于所述训练视频的视频帧数量，所述p种训练样本中每种训练样本的图像尺寸不大于所述训练视频的图像尺寸，p为大于1的正整数，f为正整数；按照所述视频帧数量和所述图像尺寸中的至少一种排列标准，将所述p种训练样本从小到大进行排列；按照所述p种训练样本的排列顺序，从所述p种训练样本中依次提取训练样本对所述超分辨率模型进行训练。2.根据权利要求1所述的方法，其特征在于，所述将训练视频拆分为p种训练样本，包括：按照m种抽帧策略，从所述训练视频中抽取出m种视频帧序列，所述抽帧策略用于从所述训练视频中抽取具有不同视频帧数量的视频帧序列，m种训练样本与m种视频帧数量一一对应；按照n种裁剪策略，将所述m种视频帧序列中的至少一种视频帧序列裁剪为n种图像尺寸的样本，得到所述p种训练样本，所述裁剪策略用于裁剪所述至少一种视频帧序列的图像，n和m为正整数。3.根据权利要求2所述的方法，其特征在于，所述m种视频帧序列中的第i种视频帧序列包括k
i
个视频帧，所述i为小于m+1的正整数，所述i的初始值为1，k
i
为正整数，k
i
不大于所述训练视频的视频帧总数；所述按照m种抽帧策略，从所述训练视频中抽取出m种视频帧序列，包括：按照第i种抽帧策略，从所述训练视频中抽取出所述k
i
个视频帧，得到第i种视频帧序列对应的一个视频帧序列；重复上述步骤，获得所述第i种视频帧序列对应的多个视频帧序列；将所述i更新为i+1，重复上述两个步骤，得到所述m种视频帧序列。4.根据权利要求3所述的方法，其特征在于，所述按照第i种抽帧策略，从所述训练视频中抽取出所述k
i
个视频帧，得到第i种视频帧序列对应的一个视频帧序列，包括：从所述训练视频中随机抽取出连续的所述k
i
个视频帧，得到所述第i种视频帧序列对应的一个视频帧序列；或者，确定与所述第i种抽帧策略对应的所述k
i
个视频帧的排列规则；根据所述排列规则，从所述训练视频中抽取出所述k
i
个视频帧，得到所述第i种视频帧序列对应的一个视频帧序列；或者，从所述训练视频中随机抽取出所述k
i
个视频帧，得到所述第i种视频帧序列对应的一个视频帧序列。5.根据权利要求2所述的方法，其特征在于，所述按照n种裁剪策略，将所述m种视频帧序列中的至少一种视频帧序列裁剪为n种图像尺寸的样本，得到所述p种训练样本，包括：按照第a种裁剪策略，将所述m种视频帧序列中的第i种视频帧序列裁剪为第a种图像尺寸，得到所述p种训练样本中的第b种训练样本，a为小于m+1的正整数，a为小于n+1的正整数，所述a，i的初始值为1，b为小于p+1的正整数；
将所述a更新为a+1，重复上述步骤，直至得到所述第i个视频帧序列对应的训练样本；将所述i更新为i+1，初始化所述a，重复上述两个步骤，得到所述p种训练样本。6.根据权利要求5所述的方法，其特征在于，所述按照第a种裁剪策略，将所述m种视频帧序列中的第i种视频帧序列种所对应的视频序列裁剪为第a种图像尺寸，得到所述p种训练样本中的第b种训练样本，包括：确定与所述第a种裁剪策略对应的裁剪区域，所述裁剪区域的尺寸与所述第a种图像尺寸相同；根据所述裁剪区域，对所述m种视频帧序列中的第i种视频帧序列进行裁剪，得到所述p种训练样本中的第b种训练样本；或者，将所述m种视频帧序列中的第i种视频帧序列随机裁剪为所述第a种图像尺寸，得到所述p种训练样本中的第b种训练样...

【专利技术属性】
技术研发人员：林丽健，王鑫涛，单瀛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：