图像重构方法、系统、终端设备及存储介质技术方案

本发明专利技术提供了一种图像重构方法、系统、终端设备及存储介质，该方法包括：将样本图像输入隐向量编码网络分别进行下采样和特征提取得到抽象特征和样本隐向量；将抽象特征和样本隐向量输入生成器进行特征提取得到图像特征，将图像特征输入生成器和判别器进行图像生成、真伪识别和损失计算得到损失值；根据损失值对隐向量编码网络、生成器和判别器进行参数更新；将待重构图像输入隐向量编码网络和生成器进行图像生成得到重构图像。本发明专利技术将抽象特征和样本隐向量输入生成器进行特征融合，基于特征融合后的图像特征，提高了生成图像和隐向量编码网络、生成器、判别器参数更新的准确性，防止了重构后的图像与原图像之间差异较大的现象。象。象。

【技术实现步骤摘要】
图像重构方法、系统、终端设备及存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种图像重构方法、系统、终端设备及存储介质。

技术介绍

[0002]现实生活中存在大量人脸图像，包括互联网传播的网络图像、各种影像设备拍摄的图像，因种种原因，比如，失焦、抖动、高度压缩、夜景强噪点等，导致人脸图像存在大量失真的情况。对失真图像进行图像重构在现实生活中具有重要意义，比如，修复被损坏的图像、制作高清证件照、安防领域还原嫌疑人人脸细节等。
[0003]现有的图像重构过程中，重构后的图像与原图像之间差异较大，降低了图像重构的准确性。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种图像重构方法、系统、终端设备及存储介质，旨在解决现有的图像重构过程中，重构后的图像与原图像之间差异较大的问题。
[0005]本专利技术实施例是这样实现的，一种图像重构方法，所述方法包括：
[0006]将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量；
[0007]将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，并将所述图像特征输入所述生成器进行图像生成，得到生成图像；
[0008]将所述生成图像输入所述生成式对抗网络中的判别器进行真伪识别，并根据真伪识别结果进行损失计算，得到损失值；
[0009]根据所述损失值分别对所述隐向量编码网络、所述生成器和所述判别器进行参数更新，直至所述隐向量编码网络、所述生成器和所述判别器收敛；
[0010]将待重构图像输入收敛后的所述隐向量编码网络进行特征提取，得到目标隐向量，并将所述目标隐向量输入收敛后的所述生成器进行图像生成，得到重构图像。
[0011]更进一步的，所述将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量，包括：
[0012]将所述样本图像输入所述隐向量编码网络分别进行全局均值池化、全局最大值池化和卷积处理，得到第一下采样特征、第二下采样特征和第一卷积特征；
[0013]对所述第二下采样特征进行下采样，得到第三下采样特征，并分别将所述第一下采样特征和所述第三下采样特征输入所述隐向量编码网络中的全连接层进行特征映射，得到第一映射特征和第二映射特征；
[0014]根据所述第一卷积特征、所述第一映射特征和所述第二映射特征生成所述样本隐向量；
[0015]其中，所述抽象特征包括所述第一下采样特征、所述第二下采样特征和所述第三
下采样特征。
[0016]更进一步的，所述根据所述第一卷积特征、所述第一映射特征和所述第二映射特征生成所述样本隐向量，包括：
[0017]分别对所述第一映射特征和所述第二映射特征进行归一化处理，得到第一归一化特征和第二归一化特征；
[0018]将所述第一归一化特征、所述第二归一化特征和所述第一卷积特征进行相加运算，得到全局特征，并对所述全局特征进行卷积处理，得到所述样本隐向量。
[0019]更进一步的，所述将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，包括：
[0020]将所述样本隐向量输入所述生成器进行上采样，得到上采样特征；
[0021]将所述第一下采样、所述第二下采样特征和所述第三下采样特征，分别融合至对应指定采样次数中的上采样特征中，并将所述生成器的上采样结果确定为所述图像特征。
[0022]更进一步的，所述将样本图像输入隐向量编码网络分别进行下采样和特征提取之前，还包括：
[0023]分别对所述样本图像进行图像压缩模拟、图像噪点模拟和图像模糊模拟；
[0024]对所述样本图像进行图像压缩模拟所采用的公式为：
[0025]image2＝jpegCompress(image1，uniform(30，60))
[0026]其中，image1是所述样本图像，image2是图像压缩模拟后的样本图像，uniform(30，60))表示随机选一个30
‑
60之间的数作为压缩率；
[0027]对所述样本图像进行图像噪点模拟所采用的公式为：
[0028]image3＝image1+Gaussian(mean，sigma)
[0029]其中，image3是图像噪点模拟后的样本图像，mean为高斯分布的均值，随机取
‑
10至10之间的数，sigma为高斯分布的方差，随机取5至15之间的数；
[0030]对所述样本图像进行图像模糊模拟所采用的公式为：
[0031]image4＝blur(image1)
[0032]其中，image4是图像模糊模拟后的样本图像，blur为随机选高斯模糊、均值模糊或中值模糊。
[0033]更进一步的，所述生成式对抗网络中的噪声模型为：
[0034]image6＝image5+norm(α)
norm(α)
*Normal()
[0035]其中，norm为归一化运算，归一化为(0，1)，Normal()为随机高斯噪声，α为学习参数，并且维度和Normal()输出的噪声维度一致，image5是所述图像特征，image6是所述图像特征进行噪声添加后的输出特征。
[0036]更进一步的，所述将样本图像输入隐向量编码网络分别进行下采样和特征提取之前，还包括：
[0037]对所述样本图像进行人脸点检测，得到人脸特征点序列，所述人脸特征点序列包括所述样本图像中不同人脸对应的人脸特征点；
[0038]对同一所述样本图像中的人脸特征点进行均值计算，得到均值特征点，并根据所述均值特征点与对应所述人脸特征点序列之间的对应关系，构建人脸变换矩阵，所述人脸变换矩阵用于表征所述均值特征点与对应所述人脸特征点序列之间的映射关系；
[0039]根据所述人脸变换矩阵对所述样本图像进行人脸裁剪处理。
[0040]本专利技术实施例的另一目的在于提供一种图像重构系统，所述系统包括：
[0041]隐向量提取模块，用于将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量；
[0042]图像生成模块，用于将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，并将所述图像特征输入所述生成器进行图像生成，得到生成图像；
[0043]损失计算模块，用于将所述生成图像输入所述生成式对抗网络中的判别器进行真伪识别，并根据真伪识别结果进行损失计算，得到损失值；
[0044]参数更新模块，用于根据所述损失值分别对所述隐向量编码网络、所述生成器和所述判别器进行参数更新，直至所述隐向量编码网络、所述生成器和所述判别器收敛；
[0045]图像重构模块，用于将待重构图像输入收敛后的所述隐向量编码网络进行特征提取，得到目标隐向量，并将所述目标隐向量输入收敛后的所述生成器进行图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像重构方法，其特征在于，所述方法包括：将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量；将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，并将所述图像特征输入所述生成器进行图像生成，得到生成图像；将所述生成图像输入所述生成式对抗网络中的判别器进行真伪识别，并根据真伪识别结果进行损失计算，得到损失值；根据所述损失值分别对所述隐向量编码网络、所述生成器和所述判别器进行参数更新，直至所述隐向量编码网络、所述生成器和所述判别器收敛；将待重构图像输入收敛后的所述隐向量编码网络进行特征提取，得到目标隐向量，并将所述目标隐向量输入收敛后的所述生成器进行图像生成，得到重构图像。2.如权利要求1所述的图像重构方法，其特征在于，所述将样本图像输入隐向量编码网络分别进行下采样和特征提取，得到抽象特征和样本隐向量，包括：将所述样本图像输入所述隐向量编码网络分别进行全局均值池化、全局最大值池化和卷积处理，得到第一下采样特征、第二下采样特征和第一卷积特征；对所述第二下采样特征进行下采样，得到第三下采样特征，并分别将所述第一下采样特征和所述第三下采样特征输入所述隐向量编码网络中的全连接层进行特征映射，得到第一映射特征和第二映射特征；根据所述第一卷积特征、所述第一映射特征和所述第二映射特征生成所述样本隐向量；其中，所述抽象特征包括所述第一下采样特征、所述第二下采样特征和所述第三下采样特征。3.如权利要求2所述的图像重构方法，其特征在于，所述根据所述第一卷积特征、所述第一映射特征和所述第二映射特征生成所述样本隐向量，包括：分别对所述第一映射特征和所述第二映射特征进行归一化处理，得到第一归一化特征和第二归一化特征；将所述第一归一化特征、所述第二归一化特征和所述第一卷积特征进行相加运算，得到全局特征，并对所述全局特征进行卷积处理，得到所述样本隐向量。4.如权利要求2所述的图像重构方法，其特征在于，所述将所述抽象特征和所述样本隐向量输入生成式对抗网络中的生成器进行特征融合，得到图像特征，包括：将所述样本隐向量输入所述生成器进行上采样，得到上采样特征；将所述第一下采样、所述第二下采样特征和所述第三下采样特征，分别融合至对应指定采样次数中的上采样特征中，并将所述生成器的上采样结果确定为所述图像特征。5.如权利要求1所述的图像重构方法，其特征在于，所述将样本图像输入隐向量编码网络分别进行下采样和特征提取之前，还包括：分别对所述样本图像进行图像压缩模拟、图像噪点模拟和图像模糊模拟；对所述样本图像进行图像压缩模拟所采用的公式为：image2＝jpegCompress(image1，uniform(30，60))其中，image1是所述样本图像，image2是图像压缩模拟后的样本图像，uniform(30，60))
表示随机选一个30
‑
60之间的数作为压缩率；对所...

【专利技术属性】
技术研发人员：周铭柯，陈进山，李启东，邹嘉伟，李志阳，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：