图像处理方法及系统、分辨率提升方法、可读存储介质技术方案

本发明专利技术提供一种图像处理方法及系统、图像分辨率提升方法、计算机可读存储介质，图像处理方法包括：利用生成网络对输入图像进行分辨率提升步骤迭代处理，每次分辨率提升步骤包括：获取待处理图像的特征图像和待处理噪声的图像；将待处理图像的特征图像与待处理噪声的图像联接，得到第一合并图像；生成基于待处理图像的超分辨率特征图像；第一次分辨率提升步骤中，待处理图像的特征图像为输入图像的特征图像；除第一次之外的分辨率提升步骤中，待处理图像的特征图像为上一次分辨率提升步骤生成的超分辨率特征图像；每一次分辨率提升步骤中，待处理噪声的幅度相等。本发明专利技术能够得到满足实际需要的超分辨率图像。

【技术实现步骤摘要】
图像处理方法及系统、分辨率提升方法、可读存储介质
本专利技术涉及图像处理领域，具体涉及一种图像处理方法及系统、图像分辨率提升方法和计算机可读存储介质。
技术介绍
卷积神经网络是一种常见的深度学习网络，目前已被大量应用于图像处理领域，以实现图像识别、图像分类和图像超分辨率重构等。在目前的超分辨率重构的方法中，基于低分辨率图像而重构的高分辨率图像往往缺少细节信息，导致高分辨率图像看起来不真实。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一，提出了一种图像处理方法及系统、计算机可读存储介质。为了实现上述目的，本专利技术提供一种图像处理方法，包括：利用生成网络对输入图像进行分辨率提升步骤迭代处理，所述迭代处理中的每次分辨率提升步骤包括：获取待处理图像的特征图像和待处理噪声的图像；将所述待处理图像的特征图像与待处理噪声的图像联接，得到第一合并图像；根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像；该超分辨率特征图像的分辨率为所述待处理图像分辨率的预定倍数，该预定倍数为大于1的整数；其中，所述迭代处理中的第一次分辨率提升步骤中，所述待处理图像的特征图像为所述输入图像的本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：利用生成网络对输入图像进行分辨率提升步骤迭代处理，所述迭代处理中的每次分辨率提升步骤包括：获取待处理图像的特征图像和待处理噪声的图像；将所述待处理图像的特征图像与待处理噪声的图像联接，得到第一合并图像；根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像；该超分辨率特征图像的分辨率为所述待处理图像分辨率的预定倍数，该预定倍数为大于1的整数；其中，所述迭代处理中的第一次分辨率提升步骤中，所述待处理图像的特征图像为所述输入图像的特征图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像的特征图像为上一次分辨率提升步骤生成的所述超分辨率特征...

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：利用生成网络对输入图像进行分辨率提升步骤迭代处理，所述迭代处理中的每次分辨率提升步骤包括：获取待处理图像的特征图像和待处理噪声的图像；将所述待处理图像的特征图像与待处理噪声的图像联接，得到第一合并图像；根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像；该超分辨率特征图像的分辨率为所述待处理图像分辨率的预定倍数，该预定倍数为大于1的整数；其中，所述迭代处理中的第一次分辨率提升步骤中，所述待处理图像的特征图像为所述输入图像的特征图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像的特征图像为上一次分辨率提升步骤生成的所述超分辨率特征图像；所述迭代处理的每一次分辨率提升步骤中，待处理噪声的幅度相等。2.根据权利要求1所述的图像处理方法，其特征在于，根据所述第一合并图像生成基于所述待处理图像的超分辨率特征图像的步骤包括：根据所述第一合并图像生成基于该第一合并图像的第一上采样特征图像；对所述第一上采样特征图像进行下采样，得到第一下采样特征图像；获取所述第一下采样特征图像与所述第一合并图像之间的残差图像；对所述残差图像进行上采样，得到上采样残差图像；利用上采样残差图像对第一上采样特征图像进行校正，以生成所述超分辨率特征图像。3.根据权利要求2所述的图像处理方法，其特征在于，利用上采样残差图像对第一上采样特征图像进行校正的步骤包括：将所述上采样残差图像与所述第一上采样特征图像叠加，以生成所述超分辨率特征图像；或者，利用上采样残差图像对第一上采样特征图像进行校正的步骤包括：将所述上采样残差图像与所述第一上采样特征图像叠加，得到第二上采样特征图像；对所述第二上采样特征图像进行下采样，得到第二下采样特征图像；获取所述第二下采样特征图像与所述第一合并图像之间的残差图像；对所述第二下采样特征图像与所述第一合并图像之间的残差图像进行上采样，并将上采样后得到的图像与所述第二下采样特征图像叠加，得到所述超分辨率特征图像。4.根据权利要求2所述的图像处理方法，其特征在于，每次分辨率提升步骤还包括：对所述待处理图像进行插值，获得基于待处理图像的插值图像；所述插值图像的分辨率与所述超分辨率特征图像的分辨率相同；对所述超分辨率特征图像进行合成，并将合成后的图像与所述插值图像进行叠加，得到基于所述待处理图像的超分辨率图像；其中，所述迭代处理中第一次分辨率提升步骤中，所述待处理图像为所述输入图像；所述迭代处理中除第一次之外的分辨率提升步骤中，所述待处理图像为上一次分辨率提升步骤生成的所述超分辨率图像。5.根据权利要求4所述的图像处理方法，其特征在于，根据所述第一合并图像生成基于该第一合并图像的第一上采样特征图像，包括：获取所述插值图像的特征图像，该特征图像的通道数大于所述插值图像的通道数；对所述插值图像的特征图像进行下采样，并将下采样后的图像与所述第一合并图像联接，得到第二合并图像；对所述第二合并图像进行上采样，得到所述第一上采样特征图像。6.根据权利要求1至5中任意一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：建立训练集，所述训练集中包括多个高分辨率样本图像以及对每个高分辨率样本图像进行下采样得到的低分辨率样本图像；利用不同的低分辨率图像来交替重复进行生成网络的训练步骤和鉴别网络的训练步骤，直至达到预设训练条件；所述生成网络的训练步骤包括：将至少一个第一幅度的噪声样本所对应的第一噪声图像和所述低分辨率样本图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第一输出图像；将至少一个第二幅度的噪声样本所对应的第二噪声图像和所述低分辨率样本图像提供给生成网络，以使所述生成网络通过所述迭代处理生成第二输出图像；所述第一幅度大于0，所述第二幅度等于0；调整所述生成网络的参数以减小生成网络的损失函数；所述生成网络的损失函数用于表征所述第一输出图像与所述高分辨率样本图像之间以及所述第二输出图像与所述高分辨率样本图像之间的总差异；所述鉴别网络的训练步骤包括：将所述低分辨率样本图像和所述第一幅度的噪声样本所对应的第一噪声图像提供给参数调整后的生成网络，以使所述生成网络生成新的第一输出图像；将新的第一输出图像和与所述低分辨率样本图像对应的高分辨率样本图像提供给鉴别网络，通过减小所述鉴别网络的损失函数来调节所述鉴别网络的参数，使得鉴别网络输出能够表征所述鉴别网络的输入为生成网络的输出图像还是所述高分辨率样本图像的鉴别结果。7.根据权利要求6所述的图像处理方法，其特征在于，所述生成网络训练步骤还包括：分别将所述高分辨率样本图像和所述第一输出图像提供给鉴别网络，以分别得到基于所述高分辨样本图像的第一鉴别结果和基于所述第一输出图像的第二鉴别结果；所述生成网络的损失函数为：Loss＝λ1Lrec(X,Yn＝0)+λ2Lper(X,Yn＝1)+λ3LGAN(Yn＝1)其中，X为所述高分辨率样本图像，Yn＝0为所述第二输出图像，Yn＝1为所述第一输出图像；Lrec(X,Yn＝0)为所述第二输出图像和所述高分辨率样本图像之间的重构误差；Lper(X,Yn＝1)为所述第一输出图像与所述高分辨率样本图像之间的感知误差；LGAN(Yn＝1)为所述第一鉴别结果与所述第二鉴别结果之和；λ1、λ2、λ3均为预设的权值。8.根据权利要求7所述的图像处理方法，其特征在于，Lrec(X,Yn＝0)、Lper(X,Yn＝1)、LGAN(Yn＝1)根据以下公式计算：LGAN(Yn＝1)＝E[log(D(HR))]+E[log(1-D(Yn＝1))]其中，L为所述迭代处理中分辨率提升步骤的总次数；L≥1；为所述生成网络基于所述第二噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；l≤L；LR为所述低分辨率样本图像；为对进行下采样后得到的与低分辨率样本图像分辨率相同的图像；HRl为所述高分辨率样本图像进行下采样后得到的与分辨率相同的图像；为所述生成网络基于所述第一噪声图像进行的迭代处理中第l次分辨率提升步骤结束时生成的图像；为对进行下采样后得到的与低分辨率样本图像分辨率相同的图像；LCX()为感知损失计算函数；D(Yn＝1)为所述第一鉴别结果；D(HR)为所述第二鉴别结果；E[]为对矩阵能量的计算。9.根据权利要求7所述的图像处理方法，其特征在于，所述鉴别网络包括L个输入端，L为所述迭代处理中分辨率提升步骤的总次数；当L＞1时，所述生成网络基于第一噪声图像进行迭代处理中的前L-1次分辨率提升步骤中，每进行一次分辨率提升步骤，生成网络均生成一个中间图像；将所述第一输出图像提供给所述鉴别网络的同时，还将生成网络基于所述第一噪声图像生成的各个中间图像提供给鉴别网络，所述第一输出图像以及各中间图像一一对应地输入至所述鉴别网络的输入端；将所述高分辨率...

【专利技术属性】
技术研发人员：那彦波，朱丹，刘瀚文，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11