模型训练及图像处理方法、介质、装置和计算设备制造方法及图纸

本公开的实施方式提供了一种模型训练及图像处理方法、介质、装置和计算设备。该模型训练方法包括：获取多组训练样本，所述训练样本中包括样本待处理图像、样本人脸解析图像和标签增强图像；将所述样本待处理图像和所述样本人脸解析图像输入图像增强模型，得到所述图像增强模型输出的样本增强图像；根据所述样本增强图像和所述标签增强图像对所述图像增强模型的参数进行调整。针对包含人脸的图像能够进行显著增强，同时无需对图像进行裁剪和拼接，也保证了图像的整体性和完整性，使得图像中的人脸增强效果和背景增强效果更加协调。人脸增强效果和背景增强效果更加协调。人脸增强效果和背景增强效果更加协调。

【技术实现步骤摘要】
模型训练及图像处理方法、介质、装置和计算设备


[0001]本公开的实施方式涉及人工智能
，更具体地，本公开的实施方式涉及一种模型训练及图像处理方法、介质、装置和计算设备。

技术介绍

[0002]本部分旨在为本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]图像增强是指对各种降质因子导致的低质量图像进行增强，从而改善图像的视觉效果的过程。
[0004]在各种类型的图像中，图像中的人物为图像的重点。对于包含人物图像的增强处理，通常是将图像中的人脸进行裁剪，然后对裁剪后的人脸图像进行增强，并将增强后的人脸图像拼接至原图像中。
[0005]上述方案由于裁剪和拼接破坏了增强图像的整体性，增强后的图像有明显的拼接痕迹，增强图像的显示效果不佳。

技术实现思路

[0006]本公开提供一种模型训练及图像处理方法、介质、装置和计算设备，以提高增强图像的显示效果。
[0007]在本公开实施方式的第一方面中，提供了一种模型训练方法，包括：
[0008]获取多组训练样本，所述训练样本中包括样本待处理图像、样本人脸解析图像和标签增强图像；
[0009]将所述样本待处理图像和所述样本人脸解析图像输入图像增强模型，得到所述图像增强模型输出的样本增强图像；
[0010]根据所述样本增强图像和所述标签增强图像对所述图像增强模型的参数进行调整。
[0011]在本公开实施方式的第二方面中，提供了一种图像处理方法，包括：
>[0012]对待处理图像进行人脸解析处理，得到对应的人脸解析图像；
[0013]将所述待处理图像和所述人脸解析图像输入至图像增强模型，得到所述待处理图像对应的增强图像，所述图像增强模型为根据第一方面任一项所述的模型训练方法训练得到的模型。
[0014]在本公开实施方式的第三方面中，提供了一种模型训练装置，包括：
[0015]获取模块，用于获取多组训练样本，所述训练样本中包括样本待处理图像、样本人脸解析图像和标签增强图像；
[0016]处理模块，用于将所述样本待处理图像和所述样本人脸解析图像输入图像增强模型，得到所述图像增强模型输出的样本增强图像；
[0017]训练模块，用于根据所述样本增强图像和所述标签增强图像对所述图像增强模型
的参数进行调整。
[0018]在本公开实施方式的第四方面中，提供了一种图像处理装置，包括：
[0019]解析模块，用于对待处理图像进行人脸解析处理，得到对应的人脸解析图像；
[0020]处理模块，用于将所述待处理图像和所述人脸解析图像输入至图像增强模型，得到所述待处理图像对应的增强图像，所述图像增强模型为根据第一方面任一项所述的模型训练方法训练得到的模型。
[0021]在本公开实施方式的第五方面中，提供了一种计算设备，包括：至少一个处理器和存储器；
[0022]所述存储器存储计算机执行指令；
[0023]所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的模型训练方法，或者，使得所述至少一个处理器执行如第二方面任一项所述的图像处理方法。
[0024]在本公开实施方式的第六方面中，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的模型训练方法，或者，实现如第二方面任一项所述的图像处理方法。
[0025]在本公开实施方式的第七方面中，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序；所述计算机程序被执行时实现如第一方面任一项所述的模型训练方法，或者，实现如第二方面任一项所述的图像处理方法。
[0026]本公开实施例提供的模型训练及图像处理方法、介质、装置和计算设备，首先获取多组训练样本，训练样本中包括样本待处理图像、样本人脸解析图像和标签增强图像，针对任意一组训练样本，可以将样本待处理图像和样本人脸解析图像输入图像增强模型，得到图像增强模型输出的样本增强图像，从而可以根据样本增强图像和标签增强图像对图像增强模型的参数进行调整。针对任意一组训练样本均可以采用上述方式对图像增强模型进行训练，最终得到训练好的图像增强模型。在图像增强模型训练好后，图像增强模型就具备了对图像进行增强处理的能力，将待处理图像和对应的人脸解析图像输入至图像增强模型后，即可由图像增强模型输出对应的增强图像。由于图像增强模型的训练过程中加入了样本人脸解析图像，样本人脸解析图像中包括样本待处理图像的人脸先验信息，因此本公开实施例的方案，针对包含人脸的图像能够进行显著增强，同时无需对图像进行裁剪和拼接，也保证了图像的整体性和完整性，使得图像中的人脸增强效果和背景增强效果更加协调。
附图说明
[0027]通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
[0028]图1为本公开实施例提供的一种应用场景示意图；
[0029]图2为本公开实施例提供的模型训练方法的流程示意图；
[0030]图3为本公开实施例提供的图像处理方法的流程示意图；
[0031]图4为本公开实施例提供的图像增强模型的结构示意图；
[0032]图5为本公开实施例提供的人脸结构嵌入模块的结构示意图；
[0033]图6为本公开实施例提供的帧间传递示意图；
[0034]图7为本公开实施例提供的图像增强模型训练的流程示意图；
[0035]图8为本公开实施例提供的样本损失计算示意图；
[0036]图9为本公开实施例提供的待处理图像处理过程示意图；
[0037]图10为本公开实施例提供的存储介质示意图；
[0038]图11为本公开实施例提供的模型训练装置的结构示意图；
[0039]图12为本公开实施例提供的图像处理装置的结构示意图；
[0040]图13为本公开实施例提供的计算设备的结构示意图。
[0041]在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0042]下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
[0043]本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
[0044]根据本公开的实施方式，提出了一种模型训练及图像处理方法、介质、装置和计算设备。在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：获取多组训练样本，所述训练样本中包括样本待处理图像、样本人脸解析图像和标签增强图像；将所述样本待处理图像和所述样本人脸解析图像输入图像增强模型，得到所述图像增强模型输出的样本增强图像；根据所述样本增强图像和所述标签增强图像对所述图像增强模型的参数进行调整。2.根据权利要求1所述的方法，所述将所述样本待处理图像和所述样本人脸解析图像输入图像增强模型，得到所述图像增强模型输出的样本增强图像，包括：对所述样本待处理图像进行特征提取处理，得到R个样本特征图像，所述R为大于或等于2的正整数；根据所述R个样本特征图像和所述样本人脸解析图像进行图像重建处理，得到R
‑
1个样本重建特征图像；根据所述R
‑
1个样本重建特征图像，得到所述样本增强图像。3.根据权利要求2所述的方法，所述对所述样本待处理图像进行特征提取处理，得到R个样本特征图像，包括：对所述样本待处理图像进行卷积处理，得到第1个样本特征图像；从所述第1个样本特征图像开始，依次对第i个样本特征图像进行卷积处理和下采样处理，得到第i+1个样本特征图像，所述i依次为1,2,...,R
‑
1，直至得到所述R个样本特征图像，所述第i个样本特征图像的尺寸为所述M为所述样本待处理图像在宽度上包括的像素点数，所述N为所述样本待处理图像在高度上包括的像素点数。4.根据权利要求2或3所述的方法，所述根据所述R
‑
1个样本重建特征图像，得到所述样本增强图像，包括：根据所述R
‑
1个样本重建特征图像，得到所述样本待处理图像的样本残差特征；对所述样本残差特征进行卷积处理，得到样本卷积残差特征；根据所述样本卷积残差特征和第1个样本重建特征图像，得到所述样本增强图像。5.根据权利要求1
‑
3任一项所述的方法，所述根据所述样本增强图像和所述标签增强图像对所述图像增强模型的参数进行调整，包括：获取所述样本增强图像和所述标签增强图像之间的样本损失值；根据所述样本损失值对所述图像...

【专利技术属性】
技术研发人员：金强，蔡苗苗，刘华平，曹偲，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：