图像优化方法、校正模型的训练方法及装置制造方法及图纸

本申请实施例提供了一种图像优化方法、校正模型的训练方法及装置，其中图像优化方法包括：获取待优化的人脸图像；将人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；若第一超分辨率图像中的人脸符合预设校正条件，则将第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；将校正图像输入超分模型中进行优化处理，得到第二超分辨率的目标优化图像；其中，超分模型是对RDN模型进行优化所得，校正图像中的人脸在预设方向上处于正脸状态。通过本申请实施例，提升了图像优化效率以及图像质量。化效率以及图像质量。化效率以及图像质量。

【技术实现步骤摘要】
图像优化方法、校正模型的训练方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种图像优化方法、校正模型的训练方法及装置。

技术介绍

[0002]随着电子信息技术的发展，人脸图像在视频监控、门禁认证、考勤打卡等场景中得以广泛应用。在实际应用中，因硬件设备、使用条件等因素的影响，人脸图像的图像质量可能不甚理想，甚至人脸图像中的人脸可能处于侧脸状态，而影响后续的相关处理。为了提升图像质量，当前普遍使用RDN(Residual Dense Network)网络(也可以称为RDN模型)对低分辨率(LR)的人脸图像进行优化处理生成高分辨率(HR)的人脸图像。然而，RDN网络具有推理耗时长，且无法改变人脸图像中的侧脸等问题。因此，如何高效的提升图像质量，得到含有正脸的人脸图像是亟待解决的技术问题。

技术实现思路

[0003]本申请提供了一种图像优化方法、校正模型的训练方法及装置，以提升图像的优化效率，解决人脸图像中的侧脸问题。
[0004]第一方面，本申请实施例提供了一种图像优化方法，包括：
[0005]获取待优化本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像优化方法，其特征在于，包括：获取待优化的人脸图像；将所述人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像；所述超分模型是对RDN模型进行优化所得；若所述第一超分辨率图像中的人脸符合预设校正条件，则将所述第一超分辨率图像输入校正模型中进行人脸校正处理，得到校正图像；所述校正图像中的人脸在预设方向上处于正脸状态；将所述校正图像输入所述超分模型中进行优化处理，得到第二超分辨率的目标优化图像。2.根据权利要求1所述的方法，其特征在于，所述超分模型是将所述RDN模型中的每个3*3的卷积替换为空洞转置卷积所得；在所述优化处理中，所述空洞转置卷积，用于对第一输入图像进行预设处理，得到处理结果；所述第一输入图像包括所述人脸图像或所述校正图像或所述空洞装置卷积的前一层的输出图像。3.根据权利要求2所述的方法，其特征在于，所述对第一输入图像进行预设处理，得到处理结果，包括利用预设滑窗矩阵，按照预设滑动步长对第一输入图像进行滑窗处理，得到多个激活区；对每个所述激活区进行第一转换处理，得到目标矩阵；对所述空洞转置卷积的卷积核进行第二转换处理，得到目标向量；根据所述目标矩阵和所述目标向量进行计算处理，得到计算结果；对所述计算结果进行第三转换处理得到处理结果，输出所述处理结果。4.根据权利要求1所述的方法，其特征在于，所述将所述人脸图像输入超分模型中进行优化处理，得到第一超分辨率图像之后，还包括：确定所述第一超分率图像中的人脸在第一预设方向和第二预设方向上是否均处于正脸状态；若否，则确定所述第一超分辨率图像中的人脸符合预设校正条件。5.根据权利要求4所述的方法，其特征在于，所述校正模型包括三维重建模块、第一生成模块和第二生成模块；在所述人脸校正处理中，所述三维重建模块，用于对第二输入图像进行三维人脸重建处理，得到第一三维正脸图像；所述第一生成模块，用于根据所述第一三维正脸图像生成二维侧脸图像；所述第二生成模块，用于根据所述第一三维正脸图像和所述二维侧脸图像生成输出图像；其中，若所述第一超分率图像中的人脸在所述第一预设方向或所述第二预设方向上未处于正脸状态，则所述三维重建模块在进行三维人脸重建时所处理的第二输入图像包括所述第一超分辨图像，所述第二生成模块的输出图像包括所述校正图像；若所述第一超分率图像中的人脸在所述第一预设方向和所述第二预设方向上均未处于正脸状态，则所述三维重建模块在进行三维人脸重建时所处理的第二输入图像依次为所述第一超分辨图像和所述第一超分辨图像对应的中间图像，所述第二生成模块的输出图像依次为所述中间图像和
所述校正图像。6.根据权利要求5所述的方法，其特征在于，所述对第二输入图像进行三维人脸重建处理，得到第一三维正脸图像，包括：对第二输入图像进行纹理特征处理，得到第一纹理特征；对所述第二输入图像进行三维人脸重建处理，得到第一三维侧脸模型；将所述第一三维侧脸模型在目标方向上进行第一旋转，得到三维正脸模型；其中，目标方向包括第一预设方向或第二预设方向；对所述第一纹理特征和所述三维正脸模型进行融合处理，得到第一三维正脸图像。7.根据权利要求5所述的方法，其特征在于，所述根据所述第一三维正脸图像生成二维侧脸图像，包括：将所述第一三维正脸图像在目标方向上进行第二旋转，得到所述目标方向上的第一三维侧脸图像；所述目标方向包括所述第一预设方向或所述第二预设方向；对所述第一三维侧脸图像进行渲染处理，得到二维渲染图像；对所述二维渲染图像进行平滑处理，得到二维侧脸图像。8.根据权利要求5所述的方法，其特征在于，所述根据所述第一三维正脸图像和所述二维侧脸图像生成输出图像，包括：对所述二维侧脸图像进行纹理特征处理，得到第二纹理特征；将所述第一三维正脸图像对应的三维正脸模型在目标方向上进行第二旋转，得到所述目标方向上的第二三维侧脸模型；所述目标方向包括...

【专利技术属性】
技术研发人员：陈圣，曾定衡，蒋宁，王洪斌，周迅溢，吴海英，李长林，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：