图像修复方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种图像修复方法、装置及电子设备，涉及图像恢复技术领域，包括：获取待修复图像以及获取待修复图像对应的亮度图像；其中，待修复图像包括人脸区域；亮度图像用于表征所述待修复图像的亮度通道信息；通过特征生成模型基于亮度图像生成待修复图像对应的人脸语义特征；通过特征提取模型提取待修复图像对应的高频细节特征；基于人脸语义特征和高频细节特征，得到待修复图像的修复结果。本发明专利技术可以较好地对待修复图像进行修复。可以较好地对待修复图像进行修复。可以较好地对待修复图像进行修复。

【技术实现步骤摘要】
图像修复方法、装置及电子设备


[0001]本专利技术涉及图像恢复
，尤其是涉及一种图像修复方法、装置及电子设备。

技术介绍

[0002]在视频和图像的传输过程中，为了节省传输带宽以及降低码率，通常需要对视频和图像进行有损编码压缩，导致接收端收到的视频和图像往往会存在较大噪声，从而影响了用户的视觉体验。与此同时，人为操作、拍摄设备的影响，也会导致视频和图像存在模糊和颜色失真等问题。为改善上述问题，现有技术中提出可以针对图像进行修复和强化，诸如基于生成模型对图像进行修复，然而这种修复方式虽然可以生成相应的超清图像，但是对于包含人脸的图像，其修复结果存在人像表情和其他细节不能保持一致的问题，同时还容易造成美颜过度、皮肤和五官不真实等问题，从而导致修复结果的油画感较重。综上所述，现有的图像修复方法无法较好地对包含人脸的图像进行修复。

技术实现思路

[0003]有鉴于此，本专利技术的目的在于提供一种图像修复方法、装置及电子设备，可以较好地对待修复图像进行修复。
[0004]第一方面，本专利技术实施例提供了一种图像修复方法，所述方法包括：获取待修复图像以及获取所述待修复图像对应的亮度图像；其中，所述待修复图像包括人脸区域；所述亮度图像用于表征所述待修复图像的亮度通道信息；通过特征生成模型基于所述亮度图像生成所述待修复图像对应的人脸语义特征；通过特征提取模型提取所述待修复图像对应的高频细节特征；基于所述人脸语义特征和所述高频细节特征，得到所述待修复图像的修复结果。
[0005]在一种实施方式中，所述获取所述待修复图像对应的亮度图像的步骤，包括：将所述待修复图像从当前格式转换至YUV格式；从YUV格式的待修复图像中提取亮度通道信息，并基于所述亮度通道信息得到所述待修复图像对应的亮度图像。
[0006]在一种实施方式中，所述通过特征生成模型基于所述亮度图像生成所述待修复图像对应的人脸语义特征的步骤，包括：对所述亮度图像进行模糊处理得到模糊图像；以及，对所述待修复图像进行分割处理，得到所述待修复图像中人脸区域对应的人脸图像；对所述模糊图像和所述人脸图像进行双边滤波，得到平滑滤波图像；通过特征生成模型基于所述平滑滤波图像生成人脸语义特征；其中，所述特征生成模型包括第一编码模块和第一译码模块。
[0007]在一种实施方式中，所述对所述待修复图像进行分割处理，得到所述待修复图像中人脸区域对应的人脸图像的步骤，包括：将所述待修复图像输入至人脸分割模型，通过所述人脸分割模型对所述待修复图像进行分割处理，得到所述待修复图像中人脸区域对应的人脸图像。
[0008]在一种实施方式中，所述特征提取模型包括第二编码模块、第二译码模块和
Softmax层。
[0009]在一种实施方式中，所述基于所述人脸语义特征和所述高频细节特征，得到所述待修复图像的修复结果的步骤，包括：将所述人脸语义特征和所述高频细节特征进行按位相乘，得到按位相乘结果；将所述按位相乘结果与所述模糊图像进行按位相加，得到按位相加结果；基于所述待修复图像和所述按位相加结果，得到所述待修复图像的修复结果。
[0010]在一种实施方式中，所述基于所述待修复图像和所述按位相加结果，得到所述待修复图像的修复结果的步骤，包括：获取所述待修复图像对应的色度图像和饱和度图像；其中，所述色度图像用于表征所述待修复图像的色度通道信息，所述饱和度图像用于表征所述待修复图像的饱和度通道信息；将所述色度图像、所述饱和度图像和所述按位相加结果进行融合操作，得到所述待修复图像的修复结果。
[0011]第二方面，本专利技术实施例还提供一种表情识别装置，所述装置包括：图像获取模块，用于获取待修复图像以及获取所述待修复图像对应的亮度图像；其中，所述待修复图像包括人脸区域；所述亮度图像用于表征所述待修复图像的亮度通道信息；语义特征生成模块，用于通过特征生成模型基于所述亮度图像生成所述待修复图像对应的人脸语义特征；高频特征提取模块，用于通过特征提取模型提取所述待修复图像对应的高频细节特征；修复模块，用于基于所述人脸语义特征和所述高频细节特征，得到所述待修复图像的修复结果。
[0012]第三方面，本专利技术实施例还提供一种电子设备，包括存储器以及处理器；所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
[0013]第四方面，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行所述第一方面任一项所述的方法。
[0014]本专利技术实施例提供的一种图像修复方法、装置及电子设备，首先获取包含有人脸区域的待修复图像以及获取待修复图像对应的亮度图像，其中，亮度图像用于表征待修复图像的亮度通道信息，然后通过特征生成模型基于亮度图像生成待修复图像对应的人脸语义特征，以及通过特征提取模型提取待修复图像对应的高频细节特征，再基于人脸语义特征和高频细节特征，得到待修复图像的修复结果。上述方法在一方面可以通过特征生成模基于亮度图像生成人脸语义特征，在另一方面可以通过特征提取模型提取待修复图像的高频细节特征，通过结合人脸语义特征和高频细节特征得到待修复图像的修复结果，本专利技术实施例充分利用了亮度图像的语义特征和待修复图像的高频细节特征，可以较好地对待修复图像进行修复，不仅可以使待修复图像与其修复结果中的细节保持一致，缓解现有技术中存在的修复结果失真问题，还可以得到生动自然、无油画感的修复结果，从而较好地保持了待修复图像的真实感。
[0015]本专利技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术而了解。本专利技术的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
[0016]为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
[0017]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术实施例提供的一种图像修复方法的流程示意图；
[0019]图2为本专利技术实施例提供的另一种图像修复方法的流程示意图；
[0020]图3为本专利技术实施例提供的一种图像修复装置的结构示意图；
[0021]图4为本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0022]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像修复方法，其特征在于，包括：获取待修复图像以及获取所述待修复图像对应的亮度图像；其中，所述待修复图像包括人脸区域；所述亮度图像用于表征所述待修复图像的亮度通道信息；通过特征生成模型基于所述亮度图像生成所述待修复图像对应的人脸语义特征；通过特征提取模型提取所述待修复图像对应的高频细节特征；基于所述人脸语义特征和所述高频细节特征，得到所述待修复图像的修复结果。2.根据权利要求1所述的方法，其特征在于，所述获取所述待修复图像对应的亮度图像的步骤，包括：将所述待修复图像从当前格式转换至YUV格式；从YUV格式的待修复图像中提取亮度通道信息，并基于所述亮度通道信息得到所述待修复图像对应的亮度图像。3.根据权利要求1所述的方法，其特征在于，所述通过特征生成模型基于所述亮度图像生成所述待修复图像对应的人脸语义特征的步骤，包括：对所述亮度图像进行模糊处理得到模糊图像；以及，对所述待修复图像进行分割处理，得到所述待修复图像中人脸区域对应的人脸图像；对所述模糊图像和所述人脸图像进行双边滤波，得到平滑滤波图像；通过特征生成模型基于所述平滑滤波图像生成人脸语义特征；其中，所述特征生成模型包括第一编码模块和第一译码模块。4.根据权利要求3所述的方法，其特征在于，所述对所述待修复图像进行分割处理，得到所述待修复图像中人脸区域对应的人脸图像的步骤，包括：将所述待修复图像输入至人脸分割模型，通过所述人脸分割模型对所述待修复图像进行分割处理，得到所述待修复图像中人脸区域对应的人脸图像。5.根据权利要求1所述的方法，其特征在于，所述特征提取模型包括第二编码模块、第二译码模块和Softmax层。6.根据权利要求1所述的方法，其特征在于，所述基于所述人脸语义特征和所述高频细节特征，...

【专利技术属性】
技术研发人员：余欢，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：