基于人脸退化模型迁移的自然场景图像盲复原系统技术方案

一种基于人脸退化模型迁移的自然场景图像盲复原系统，属于图像复原技术领域。本发明专利技术针对低质量的自然场景图像由于无法模拟其真实退化过程而无法获得满意的复原结果的问题。包括：采用退化表示学习网络由真实低质量人脸图像样本和对应的复原后高质量人脸图像样本模拟图像真实退化过程，获得图像退化表示特征；采用退化图像生成网络通过退化表示特征控制退化过程获得新生成退化人脸图像；再由高质量自然图像通过退化表示特征控制自然图像退化过程，获得退化后低质量自然图像；再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对，对通用场景复原网络进行训练，获得目标场景复原网络。本发明专利技术用于真实场景下低质量自然图像的复原。场景下低质量自然图像的复原。场景下低质量自然图像的复原。

【技术实现步骤摘要】
基于人脸退化模型迁移的自然场景图像盲复原系统


[0001]本专利技术涉及基于人脸退化模型迁移的自然场景图像盲复原系统，属于图像复原


技术介绍

[0002]真实低质量的自然场景图像由于其复杂的退化类型无法确定，使得现有以数据驱动的复原网络无法模拟其真实退化过程，进而无法取得令人满意的复原结果。
[0003]人脸图像由于固定的五官形成了独特的结构先验，使得可以采用人脸图像盲复原技术复原真实场景的低质量人脸图像，并且复原结果与真实高质量图像相差无几。
[0004]因此，需要提供一种自然场景图像盲复原系统，能够借助人脸图像的退化过程对低质量的自然场景图像进行复原。

技术实现思路

[0005]针对现有低质量的自然场景图像由于无法模拟其真实退化过程，因而无法获得满意的复原结果的问题，本专利技术提供一种基于人脸退化模型迁移的自然场景图像盲复原系统。
[0006]本专利技术的一种基于人脸退化模型迁移的自然场景图像盲复原系统，包括，
[0007]退化表示学习网络，用于根据真实低质量人脸图像样本和对应的复原后高质量人脸图像样本，模拟复原后高质量人脸图像样本退化为真实低质量人脸图像样本的过程，获得图像退化表示特征，并完成网络的训练；
[0008]退化表示池，将每张真实低质量人脸图像样本和对应的复原后高质量人脸图像样本作为一个数据对，每个数据对对应一个退化表示特征，由所有的退化表示特征形成退化表示池；
[0009]退化图像生成网络，用于根据相应的退化表示特征对复原后高质量人脸图像样本进行退化处理，获得趋近于真实低质量人脸图像样本的新生成退化人脸图像，并完成网络的训练；
[0010]退化图像生成网络再由退化表示池随机获取一个退化表示特征，对采集的高质量自然图像进行退化处理，获得退化后低质量自然图像；
[0011]通用场景复原网络，采用采集的高质量自然图像与退化后低质量自然图像形成的数据对，完成对通用场景复原网络的训练；
[0012]目标场景退化特征获得模块，将目标场景低质量人脸图像和复原后目标场景高质量人脸图像采用退化表示学习网络获得目标场景退化表示特征；
[0013]再采用退化图像生成网络由目标场景退化表示特征对采集的高质量自然图像进行退化处理，获得退化后目标场景低质量自然图像；
[0014]再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对，对通用场景复原网络进行训练，获得目标场景复原网络；目标场景复原网络用于目标场景图
像的盲复原。
[0015]根据本专利技术的基于人脸退化模型迁移的自然场景图像盲复原系统，所述退化表示学习网络的图像处理过程包括：
[0016]对真实低质量人脸图像样本和对应的复原后高质量人脸图像样本依次进行八次卷积、归一化、激活操作，以及第一次全连接、激活、第二次全连接操作，获得图像退化表示特征。
[0017]根据本专利技术的基于人脸退化模型迁移的自然场景图像盲复原系统，所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；
[0018]其中第一次卷积操作为64个3*3，步长为1的卷积操作；
[0019]第二次卷积操作为128个3*3，步长为2的卷积操作；
[0020]第三次卷积操作为256个3*3，步长为2的卷积操作；
[0021]第四次到第八次卷积操作均为512个3*3，步长为2的卷积操作。
[0022]根据本专利技术的基于人脸退化模型迁移的自然场景图像盲复原系统，退化图像生成网络获得趋近于真实低质量人脸图像样本的新生成退化人脸图像的过程包括：
[0023]将复原后高质量人脸图像样本进行随机裁剪，获得预期尺寸的图像块；
[0024]对所有图像块依次进行七次卷积、归一化、激活操作；
[0025]并在第二次卷积、归一化、激活操作后，获得尺度为1的高质量人脸特征；
[0026]在第三次卷积、归一化、激活操作后，获得尺度为2的高质量人脸特征；
[0027]在第四次卷积、归一化、激活操作后，获得尺度为3的高质量人脸特征；
[0028]在第五次卷积、归一化、激活操作后，获得尺度为4的高质量人脸特征；
[0029]在第六次卷积、归一化、激活操作后，获得尺度为5的高质量人脸特征；
[0030]在第七次卷积、归一化、激活操作后，获得尺度为6的高质量人脸特征。
[0031]根据本专利技术的基于人脸退化模型迁移的自然场景图像盲复原系统，退化图像生成网络中：
[0032]所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；
[0033]其中第一次卷积操作为64个3*3，步长为1的卷积操作；
[0034]第二次卷积操作为128个3*3，步长为2的卷积操作；
[0035]第三次卷积操作为256个3*3，步长为2的卷积操作；
[0036]第四次到第七次卷积操作均为512个3*3，步长为2的卷积操作。
[0037]根据本专利技术的基于人脸退化模型迁移的自然场景图像盲复原系统，退化图像生成网络中：
[0038]对退化表示学习网络获得的图像退化表示特征依次进行P次全连接层操作，获得退化风格特征；其中P为大于1的整数；
[0039]将尺度为6的高质量人脸特征与退化风格特征进行调制卷积操作，获得尺度为6的低质量人脸特征；
[0040]将尺度为6的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为5的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为5的低质量人脸特征；
[0041]将尺度为5的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上
尺度为4的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为4的低质量人脸特征；
[0042]将尺度为4的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为3的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为3的低质量人脸特征；
[0043]将尺度为3的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为2的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为2的低质量人脸特征；
[0044]将尺度为2的低质量人脸特征与退化风格特征进行调制卷积操作，操作结果加上尺度为1的高质量人脸特征，再与退化风格特征进行调制卷积操作，获得尺度为1的低质量人脸特征；
[0045]由所有图像块获得的尺度为1的低质量人脸特征组合后获得趋近于真实低质量人脸图像样本的新生成退化人脸图像。
[0046]本专利技术的有益效果：本专利技术探索了人脸图像的真实退化过程，即从高质量人脸图像退化为低质量人脸图像的过程入手，获得退化过程的表征。再将退化过程的表征迁移到自然场景中，来有效地模拟真实低质量自然图像合成过程。
[0047]对于一些特定场景，例如老电影，人脸图像通常与同一场景的非本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于包括，退化表示学习网络(100)，用于根据真实低质量人脸图像样本和对应的复原后高质量人脸图像样本，模拟复原后高质量人脸图像样本退化为真实低质量人脸图像样本的过程，获得图像退化表示特征，并完成网络的训练；退化表示池(200)，将每张真实低质量人脸图像样本和对应的复原后高质量人脸图像样本作为一个数据对，每个数据对对应一个退化表示特征，由所有的退化表示特征形成退化表示池；退化图像生成网络(300)，用于根据相应的退化表示特征对复原后高质量人脸图像样本进行退化处理，获得趋近于真实低质量人脸图像样本的新生成退化人脸图像，并完成网络的训练；退化图像生成网络(300)再由退化表示池(200)随机获取一个退化表示特征，对采集的高质量自然图像进行退化处理，获得退化后低质量自然图像；通用场景复原网络(400)，采用采集的高质量自然图像与退化后低质量自然图像形成的数据对，完成对通用场景复原网络(400)的训练；目标场景退化特征获得模块(500)，将目标场景低质量人脸图像和复原后目标场景高质量人脸图像采用退化表示学习网络(100)获得目标场景退化表示特征；再采用退化图像生成网络(300)由目标场景退化表示特征对采集的高质量自然图像进行退化处理，获得退化后目标场景低质量自然图像；再由采集的高质量自然图像与退化后目标场景低质量自然图像形成的数据对，对通用场景复原网络(400)进行训练，获得目标场景复原网络(600)；目标场景复原网络(600)用于目标场景图像的盲复原。2.根据权利要求1所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，所述退化表示学习网络(100)的图像处理过程包括：对真实低质量人脸图像样本和对应的复原后高质量人脸图像样本依次进行八次卷积、归一化、激活操作，以及第一次全连接、激活、第二次全连接操作，获得图像退化表示特征。3.根据权利要求2所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；其中第一次卷积操作为64个3*3，步长为1的卷积操作；第二次卷积操作为128个3*3，步长为2的卷积操作；第三次卷积操作为256个3*3，步长为2的卷积操作；第四次到第八次卷积操作均为512个3*3，步长为2的卷积操作。4.根据权利要求3所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，退化图像生成网络(300)获得趋近于真实低质量人脸图像样本的新生成退化人脸图像的过程包括：将复原后高质量人脸图像样本进行随机裁剪，获得预期尺寸的图像块；对所有图像块依次进行七次卷积、归一化、激活操作；并在第二次卷积、归一化、激活操作后，获得尺度为1的高质量人脸特征；
在第三次卷积、归一化、激活操作后，获得尺度为2的高质量人脸特征；在第四次卷积、归一化、激活操作后，获得尺度为3的高质量人脸特征；在第五次卷积、归一化、激活操作后，获得尺度为4的高质量人脸特征；在第六次卷积、归一化、激活操作后，获得尺度为5的高质量人脸特征；在第七次卷积、归一化、激活操作后，获得尺度为6的高质量人脸特征。5.根据权利要求4所述的基于人脸退化模型迁移的自然场景图像盲复原系统，其特征在于，退化图像生成网络(300)中：所有归一化操作均采用普归一化；所有激活操作的激活函数均采用LeakyReLU；其中第一次卷积操作为64个3*3，步长为...

【专利技术属性】
技术研发人员：李晓明，左旺孟，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：