高清图像修复方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术公开了一种高清图像修复方法、装置、电子设备和存储介质，其中方法包括以下步骤：获取待修复图像；对所述待修复图像进行编码，得到编码图像数据；基于编码图像数据获得图像退化特征；将所述编码图像数据和所述图像退化特征输入预训练好的基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像。应用本发明专利技术，能够对待修复图像做到较为全面的高清修复。面的高清修复。面的高清修复。

【技术实现步骤摘要】
高清图像修复方法、装置、电子设备和存储介质


[0001]本专利技术涉及图像识别的
，特别涉及一种高清图像修复方法、装置、电子设备和存储介质。

技术介绍

[0002]图像修复包括图像降噪、图像去模糊、图像超分辨率以及图像去压缩。目前的技术方案分为两种，一种是只针对部分问题，进行人像修复，比如只针对人像超分辨率、人像去模糊问题提出的方案，将问题分步骤做完；另外一种是将降噪去模糊超分问题混杂在一起，利用额外的先验信息，采用训练一个基于生成对抗的自动编码器来进行人像修复。现有的技术方案，在面对现实世界真实多样的图像退化问题时，往往难以做到全面修复。

技术实现思路

[0003]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种高清图像修复方法、装置、电子设备和存储介质，能够对待修复图像做到较为全面的高清修复。
[0004]根据本专利技术的第一方面实施例的高清图像修复方法，包括以下步骤：
[0005]获取待修复图像；
[0006]对所述待修复图像进行编码，得到编码图像数据；
[0007]基于编码图像数据获得图像退化特征；
[0008]将所述编码图像数据和所述图像退化特征输入预训练好的基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像。
[0009]根据本专利技术实施例的高清图像修复方法，至少具有如下有益效果：首先获取人像图像，然后对人像图像进行编码，得到编码图像数据，并且从编码图像数据中获取图像退化特征，将编码图像数据和图像退化特征输入基于风格的生成对抗网络中，得到人像图像的高清图像。通过上述的步骤，利用基于风格的生成对抗网络的超高清生成能力，使得修复后的人像清晰自然，细节清晰明显，无失真，从而能够对人像图像做到较为全面的高清修复。其中，基于风格的生成对抗网络可以是Style Gan网络。
[0010]根据本专利技术的一些实施例，所述获取待修复图像，包括：
[0011]获取原始图像；
[0012]对所述原始图像进行人脸检测，检测到人脸后，对人脸区域做关键点配准，将关键点配准到实际检测后的人脸框内；
[0013]对人脸进行模板校准，将人脸形变扭曲到模板方向上；
[0014]将做完形变后的人脸区域框，统一采样到固定大小，将图像数值归一化到[
‑
1,1]的范围内，得到所述人像图像，将所述人像图像设置为待修复图像。
[0015]根据本专利技术的一些实施例，还包括：
[0016]将所述基于风格的生成对抗网络输出的所述图像数值反归一化到[0,1]的数值范
围内，得到修复好的所述高清图像。
[0017]根据本专利技术的一些实施例，所述对所述待修复图像进行编码，得到编码图像数据，还包括：
[0018]将所述编码图像数据输入隐式编码层中。
[0019]根据本专利技术的一些实施例，所述将所述编码图像数据和所述图像退化特征输入预训练好的基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像，包括：
[0020]基于风格的生成对抗网络中的全连接模块从所述隐式编码层中获取所述编码图像数据，得到不同层级的图像风格；
[0021]基于风格的生成对抗网络中的解码模块从所述全连接模块中获取所述图像风格，并且所述解码模块中的各层一一对应地获取所述图像退化特征；
[0022]所述解码模块根据所述人像风格和所述图像退化特征，得到所述待修复图像修复后的高清图像。
[0023]根据本专利技术的一些实施例，还包括：
[0024]获取训练图像集合；
[0025]对所述训练图像集合进行模拟图像退化，得到退化图像集合；
[0026]从所述退化图像集合获取编码图像数据和图像退化特征，并将所述编码图像数据和图像退化特征输入基于风格的生成对抗网络，得到优化函数；
[0027]根据所述优化函数调整所述训练图像集合的输入参数。
[0028]根据本专利技术的一些实施例，所述优化函数包括多个损失函数，多个所述损失函数分别为图像回归的均方误差损失函数、感知损失函数、Arc损失函数、退化损失函数和生成对抗损失函数。
[0029]根据本专利技术的第二方面实施例的人像高清修复装置，包括：
[0030]图像获取模块，用于获取待修复图像；
[0031]编码模块，用于对所述待修复图像进行编码，得到编码图像数据；所述编码模块包括编码单元和隐式编码层，所述编码单元包括多个卷积层和激活函数层；
[0032]噪声模块，用于基于编码图像数据获得图像退化特征；所述噪声模块包括多个卷积层和激活函数层；
[0033]基于风格的生成对抗网络，用于根据所述编码图像数据和所述图像退化特征，得到所述待修复图像修复后的高清图像；所述基于风格的生成对抗网络为StyleGan网络，所述基于风格的生成对抗网络包括全连接模块和解码模块，所述全连接模块包括多个全连接层，所述解码模块包括多个耦合卷积层、解耦合卷积层和激活函数层。
[0034]根据本专利技术的第三方面实施例的电子设备，包括：
[0035]至少一个存储器；
[0036]至少一个处理器；
[0037]至少一个程序；
[0038]所述程序被存储在所述存储器中，所述处理器执行所述至少一个程序以实现上述的方法。
[0039]根据本专利技术的第四方面实施例的存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计
算机执行上述的方法。
[0040]本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0041]本专利技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
[0042]图1为本专利技术实施例的电子设备的示意图；
[0043]图2为本专利技术实施例的高清图像修复方法的流程图；
[0044]图3为本专利技术实施例的高清图像修复方法的神经网络训练流程图；
[0045]图4为本专利技术实施例的人像高清修复装置的示意图。
具体实施方式
[0046]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。
[0047]在本专利技术的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0048]在本专利技术的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高清图像修复方法，其特征在于，包括以下步骤：获取待修复图像；对所述待修复图像进行编码，得到编码图像数据；基于编码图像数据获得图像退化特征；将所述编码图像数据和所述图像退化特征输入预训练好的基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像。2.根据权利要求1所述的高清图像修复方法，所述获取待修复图像，包括：获取原始图像；对所述原始图像进行人脸检测，检测到人脸后，对人脸区域做关键点配准，将关键点配准到实际检测后的人脸框内；对人脸进行模板校准，将人脸形变扭曲到模板方向上；将做完形变后的人脸区域框，统一采样到固定大小，将图像数值归一化到[
‑
1,1]的范围内，得到所述人像图像，将所述人像图像设置为待修复图像。3.根据权利要求2所述的高清图像修复方法，其特征在于，还包括：将所述基于风格的生成对抗网络输出的所述图像数值反归一化到[0,1]的数值范围内，得到修复好的所述高清图像。4.根据权利要求1所述的高清图像修复方法，所述对所述待修复图像进行编码，得到编码图像数据，还包括：将所述编码图像数据输入隐式编码层中。5.根据权利要求4所述的高清图像修复方法，所述将所述编码图像数据和所述图像退化特征输入预训练好的基于风格的生成对抗网络中，得到所述待修复图像修复后的高清图像，包括：基于风格的生成对抗网络中的全连接模块从所述隐式编码层中获取所述编码图像数据，得到不同层级的图像风格；基于风格的生成对抗网络中的解码模块从所述全连接模块中获取所述图像风格，并且所述解码模块中的各层一一对应地获取所述图像退化特征；所述解码模块根据所述图像风格和所述图像退化特征，得到所述待修复图像修复后的高清图像。6.根据权利要求1所述的高清图像...

【专利技术属性】
技术研发人员：王昊然，张华，于波，尹露露，
申请(专利权)人：深圳市格灵人工智能与机器人研究院有限公司，
类型：发明
国别省市：