图像处理方法、深度学习模型的训练方法、装置和设备制造方法及图纸

本公开提供了一种图像处理方法，涉及人工智能技术领域，尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等技术领域，可应用于元宇宙、虚拟数字人等场景下。具体实现方案为：对原图像的初始亮度通道图像进行编码，得到初始亮度通道图像的第一编码结果，其中，第一编码结果包括第一亮度图像特征；根据目标球谐系数和第一编码结果，得到目标亮度通道图像；以及将目标亮度通道图像与原图像的初始色度通道图像融合，得到目标图像。本公开还提供了一种深度学习模型的训练方法、装置、电子设备和存储介质。介质。介质。

【技术实现步骤摘要】
图像处理方法、深度学习模型的训练方法、装置和设备


[0001]本公开涉及人工智能
，尤其涉及增强现实、虚拟现实、计算机视觉、深度学习等
，可应用于元宇宙、虚拟数字人等场景下。更具体地，本公开提供了一种图像处理方法、深度学习模型的训练方法、装置、电子设备和存储介质。

技术介绍

[0002]随着人工智能技术的发展，图像处理技术不断地被完善。例如，基于人工智能技术，可以调整原图像中对象的光照效果。

技术实现思路

[0003]本公开提供了一种图像处理方法、深度学习模型的训练方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种图像处理方法，该方法包括：对原图像的初始亮度通道图像进行编码，得到初始亮度通道图像的第一编码结果，其中，第一编码结果包括第一亮度图像特征；根据目标球谐系数和第一编码结果，得到目标亮度通道图像；以及将目标亮度通道图像与原图像的初始色度通道图像融合，得到目标图像。
[0005]根据本公开的另一方面，提供了一种深度学习模型的训练方法，深度学习模型包括编码网络和解码网络，该方法包括：将样本图像的初始亮度通道样本图像输入编码网络，得到初始亮度通道样本图像的第一样本编码结果，其中，第一样本编码结果包括第一样本球谐系数；将第一样本编码结果输入解码网络，得到输出亮度通道图像；将输出亮度通道图像和样本图像的初始色度通道样本图像融合，得到输出图像；以及根据输出图像、输出亮度通道图像和第一样本球谐系数中的至少一个，训练深度学习模型。
[0006]根据本公开的另一方面，提供了一种图像处理装置，该装置包括：编码模块，用于对原图像的初始亮度通道图像进行编码，得到初始亮度通道图像的第一编码结果，其中，第一编码结果包括第一亮度图像特征；第一获得模块，用于根据目标球谐系数和第一编码结果，得到目标亮度通道图像；以及第一融合模块，用于将目标亮度通道图像与原图像的初始色度通道图像融合，得到目标图像。
[0007]根据本公开的另一方面，提供了一种深度学习模型的训练装置，该装置包括：编码模块，用于对原图像的初始亮度通道图像进行编码，得到初始亮度通道图像的第一编码结果，其中，第一编码结果包括第一亮度图像特征；第一获得模块，用于根据目标球谐系数和第一编码结果，得到目标亮度通道图像；以及第一融合模块，用于将目标亮度通道图像与原图像的初始色度通道图像融合，得到目标图像。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，该计算机指令用于使计算机执行根据本公开提供的方法。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据本公开提供的方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开的一个实施例的深度学习模型的训练方法的流程图；
[0014]图2是根据本公开的一个实施例的深度学习模型的示意图；
[0015]图3是根据本公开的一个实施例的图像处理方法的流程图；
[0016]图4是根据本公开的一个实施例的深度学习模型的示意图；
[0017]图5是根据本公开的一个实施例的深度学习模型的训练装置的框图；
[0018]图6是根据本公开的一个实施例的图像处理装置的框图；以及
[0019]图7是根据本公开的一个实施例的可以应用图像处理方法和/或深度学习模型的训练方法的电子设备的框图。
具体实施方式
[0020]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0021]在脸部图像的处理过程中，可以调整图像的光照情况，使得图像光照均衡化。在采集图像的过程中，曝光不佳或背光可以导致图像光照情况不佳。由此，在光照不佳的情况下，在对脸部图像进行检测、关键点定位、识别或跟踪等处理之后，获得的处理结果的精度不佳。
[0022]在一些实施例中，可以利用二维脸部图像进行三维脸部图像重建。在重建过程中，可以基于二维图像的信息生成纹理贴图。在三维图像的渲染阶段，可以设置图像的光照参数，以便确定三维脸部图像的光照效果。
[0023]在一些实施例中，可以将蓝绿红(Blue Green Red，BGR)图像空间的二维图像转换为YUV空间或LAB空间。对转换后的二维图像的亮度通道(例如Y通道)图像进行均衡化操作。然而，对二维图像的亮度通道图像进行均衡化处理，难以深度挖掘曝光不佳或背光的本质信息来源。在对亮度通道的均衡化处理过程中，可能也处理了与色度相关的通道(例如U通道和V通道)图像，进而有可能改变脸部的肤色。此外，亮度信息难以从颜色中剥离出，导致直接对二维图像的亮度通道图像进行处理之后，图像的光照效果难以得到有效的提高。
[0024]图1是根据本公开的一个实施例的深度学习模型的训练方法的流程图。
[0025]如图1所示，该方法100可以包括操作S110至操作S140。
[0026]在本公开实施例中，深度学习模型可以包括编码网络和解码网络。例如，编码网络可以为基于样式的生成对抗网络(Style
‑
based Generative Adversarial Networks，
StyleGAN)模型的编码器。解码网络可以为基于样式的生成对抗网络模型的解码器。
[0027]在操作S110，将样本图像的初始亮度通道样本图像输入编码网络，得到初始亮度通道样本图像的第一样本编码结果。
[0028]在本公开实施例中，样本图像中可以包括样本对象。例如，样本对象可以具有面部、头部等等。又例如，样本对象可以是人、动物、机器人等各种对象。
[0029]在本公开实施例中，样本图像可以是BGR图像空间的图像，也可以是YUV图像空间的图像。例如，若样本图像为YUV图像空间的图像，可以将样本图像的Y通道图像作为初始亮度通道样本图像。又例如，若样本图像为BGR图像空间的图像，可以将样本图像转换至YUV图像空间，再将转换后的样本图像的Y通道图像作为初始亮度通道样本图像。
[0030]在本公开实施例中，第一样本编码结果可以包括第一样本球谐系数。可以理解，样本球谐系数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：对原图像的初始亮度通道图像进行编码，得到所述初始亮度通道图像的第一编码结果，其中，所述第一编码结果包括第一亮度图像特征；根据目标球谐系数和所述第一编码结果，得到目标亮度通道图像；以及将所述目标亮度通道图像与所述原图像的初始色度通道图像融合，得到目标图像。2.根据权利要求1所述的方法，其中，所述根据目标球谐系数和所述第一编码结果，得到目标亮度通道图像包括：对所述第一编码结果进行卷积，得到所述初始亮度通道图像的第二编码结果；以及根据所述目标球谐系数和所述第二编码结果，得到所述目标亮度通道图像。3.根据权利要求1所述的方法，其中，所述将所述目标亮度通道图像与所述原图像的初始色度通道图像融合，得到目标图像包括：将所述目标亮度通道图像和所述初始色度通道图像融合，得到融合图像；将所述融合图像转换至蓝绿红图像空间，得到所述目标图像。4.根据权利要求2所述的方法，其中，所述第二编码结果包括第二球谐系数和第二亮度图像特征，所述根据目标球谐系数和所述第二编码结果，得到目标亮度通道图像包括：利用所述目标球谐系数替换所述第二编码结果中的所述第二球谐系数，得到第三编码结果；以及对所述第三编码结果进行解码，得到所述目标亮度通道图像。5.根据权利要求1所述的方法，其中，所述第一编码结果还包括第一球谐系数，所述根据目标球谐系数和所述第一编码结果，得到目标亮度通道图像包括：利用所述目标球谐系数替换所述第一编码结果中的所述第一球谐系数，得到第四编码结果；对所述第四编码结果进行卷积，得到卷积后的第四编码结果；以及对所述卷积后的第四编码结果进行解码，得到所述目标亮度通道图像。6.根据权利要求1所述的方法，其中，所述对原图像的初始亮度通道图像进行编码，得到所述初始亮度通道图像的第一编码结果包括：将所述初始亮度通道图像输入编码网络，得到所述第一编码结果。7.根据权利要求2所述的方法，其中，所述对所述第一编码结果进行卷积，得到所述初始亮度通道图像的第二编码结果包括：将所述第一编码结果输入卷积网络，得到所述第二编码结果。8.根据权利要求5所述的方法，其中，所述对所述第四编码结果进行解码，得到所述目标亮度通道图像包括：将所述第四编码结果输入解码网络，得到所述目标亮度通道图像。9.根据权利要求1所述的方法，其中，所述原图像包括与初始光照信息相关的目标对象，所述目标图像包括与目标光照信息相关的所述目标对象。10.一种深度学习模型的训练方法，所述深度学习模型包括编码网络和解码网络，包括：将样本图像的初始亮度通道样本图像输入所述编码网络，得到所述初始亮度通道样本
图像的第一样本编码结果，其中，所述第一样本编码结果包括第一样本球谐系数；将所述第一样本编码结果输入所述解码网络，得到输出亮度通道图像；将所述输出亮度通道图像和所述样本图像的初始色度通道样本图像融合，得到输出图像；以及根据所述输出图像、输出亮度通道图像和所述第一样本球谐系数中的至少一个，训练所述深度学习模型。11.根据权利要求10所述的方法，其中，所述深度学习模型还包括卷积网络，所述将所述第一样本编码结果输入所述解码网络，得到输出亮度通道图像包括：将所述第一样本编码结果输入所述卷积网络，得到第二样本编码结果，其中，所述第二样本编码结果包括第二样本球谐系数；以及将所述第二样本编码结果输入所述解码网络，得到所述输出亮度通道图像。12.根据权利要求10所述的方法，其中，所述将所述输出亮度通道图像和所述样本图像的初始色度通道样本图像融合，得到输出图像包括：将所述输出亮度通道图像和所述初始色度通道样本图像融合，得到样本融合图像；以及将所述样本融合图像转换至蓝绿红图像空间，得到所述输出图像。13.根据权利要求11所述的方法，其中，所述根据所述输出图像、输出...

【专利技术属性】
技术研发人员：王迪，赵晨，陈睿智，
申请(专利权)人：百度时代网络技术北京有限公司，
类型：发明
国别省市：