【技术实现步骤摘要】
图像处理方法及装置、神经网络的训练方法、存储介质
本公开的实施例涉及一种图像处理方法、图像处理装置、神经网络的训练方法、合成网络模型的图像处理方法、合成网络模型的构建方法以及存储介质。
技术介绍
当前，基于人工神经网络的深度学习技术已经在诸如图像分类、图像捕获和搜索、面部识别、年龄和语音识别等领域取得了巨大进展。深度学习的优势在于可以利用通用的结构以相对类似的系统解决非常不同的技术问题。卷积神经网络(ConvolutionalNeuralNetwork，CNN)是近年发展起来并引起广泛重视的一种人工神经网络，CNN是一种特殊的图像识别方式，属于非常有效的带有前向反馈的网络。现在，CNN的应用范围已经不仅仅限于图像识别领域，也可以应用在人脸识别、文字识别、图像处理等应用方向。
技术实现思路
本公开至少一个实施例提供一种图像处理方法，包括：获取输入图像；基于输入图像，得到分辨率从高到低排列的N个层级的初始特征图像，N为正整数，且N>2；基于第2～N层级的初始特征图像，对第1层级的初始特征图像进行循环缩放...
【技术保护点】
1.一种图像处理方法，包括：/n获取输入图像；/n基于输入图像，得到分辨率从高到低排列的N个层级的初始特征图像，N为正整数，且N>2；/n基于第2～N层级的初始特征图像，对第1层级的初始特征图像进行循环缩放处理，以得到中间特征图像；以及/n对所述中间特征图像进行合成处理，以得到输出图像；/n其中，所述循环缩放处理包括：N-1个层级的逐层嵌套的缩放处理，每个层级的缩放处理包括下采样处理、联接处理、上采样处理和残差链接相加处理；/n第i层级的下采样处理基于第i层级的缩放处理的输入进行下采样得到第i层级的下采样输出，第i层级的联接处理基于所述第i层级的下采样输出和第i+1层...
【技术特征摘要】
1.一种图像处理方法，包括：
获取输入图像；
基于输入图像，得到分辨率从高到低排列的N个层级的初始特征图像，N为正整数，且N>2；
基于第2～N层级的初始特征图像，对第1层级的初始特征图像进行循环缩放处理，以得到中间特征图像；以及
对所述中间特征图像进行合成处理，以得到输出图像；
其中，所述循环缩放处理包括：N-1个层级的逐层嵌套的缩放处理，每个层级的缩放处理包括下采样处理、联接处理、上采样处理和残差链接相加处理；
第i层级的下采样处理基于第i层级的缩放处理的输入进行下采样得到第i层级的下采样输出，第i层级的联接处理基于所述第i层级的下采样输出和第i+1层级的初始特征图像进行联接得到第i层级的联合输出，第i层级的上采样处理基于所述第i层级的联合输出得到第i层级的上采样输出，第i层级的残差链接相加处理将所述第i层级的缩放处理的输入与所述第i层级的上采样输出进行残差链接相加得到第i层级的缩放处理的输出，其中，i＝1,2,…,N-1；
第j+1层级的缩放处理嵌套在第j层级的下采样处理和第j层级的联接处理之间，所述第j层级的下采样处理的输出作为所述第j+1层级的缩放处理的输入，其中，j＝1,2,…,N-2。
2.根据权利要求1所述的图像处理方法，其中，所述第i层级的联接处理基于所述第i层级的下采样输出和所述第i+1层级的初始特征图像进行联接得到所述第i层级的联合输出，包括：
将所述第i层级的下采样输出作为所述第i+1层级的缩放处理的输入，以得到所述第i+1层级的缩放处理的输出；以及
将所述第i+1层级的缩放处理的输出与所述第i+1层级的初始特征图像进行联接，以得到所述第i层级的联合输出。
3.根据权利要求2所述的图像处理方法，其中，至少一个层级的缩放处理连续执行多次，且前一次缩放处理的输出作为后一次缩放处理的输入。
4.根据权利要求3所述的图像处理方法，其中，每个层级的缩放处理连续执行两次。
5.根据权利要求1-4任一项所述的图像处理方法，其中，在所述N个层级的初始特征图像中，第1层级的初始特征图像的分辨率最高，且第1层级的初始特征图像的分辨率与所述输入图像的分辨率相同。
6.根据权利要求1-4任一项所述的图像处理方法，其中，前一层级的初始特征图像的分辨率为后一层级的初始特征图像的分辨率的整数倍。
7.根据权利要求1-4任一项所述的图像处理方法，其中，基于所述输入图像，得到分辨率从高到低排列的所述N个层级的初始特征图像，包括：
将所述输入图像与随机噪声图像进行联接，以得到联合输入图像；以及
对所述联合输入图像进行N个不同层级的分析处理，以分别得到分辨率从高到低排列的所述N个层级的初始特征图像。
8.根据权利要求1-4任一项所述的图像处理方法，其中，获取所述输入图像，包括：
获取具有第一分辨率的原始输入图像；以及
对所述原始输入图像进行分辨率转换处理，以得到具有第二分辨率的所述输入图像，所述第二分辨率大于第一分辨率。
9.根据权利要求8所述的图像处理方法，其中，采用双立方插值算法、双线性插值算法和兰索斯(Lanczos)插值算法之一进行所述分辨率转换处理。
10.根据权利要求1-4任一项所述的图像处理方法，还包括：
对所述输入图像进行裁剪处理，以得到具有交叠区域的多个子输入图像；
所述基于输入图像得到分辨率从高到低排列的N个层级的初始特征图像具体包括：
基于每个子输入图像，得到分辨率从高到低排列的N个层级的子初始特征图像，N为正整数，且N>2；
所述基于第2～N层级的初始特征图像，对第1层级的初始特征图像进行循环缩放处理，以得到中间特征图像具体包括：
基于第2～N层级的子初始特征图像，对所述第1层级的子初始特征图像进行循环缩放处理，以得到子中间特征图像；
所述对所述中间特征图像进行合成处理，以得到输出图像具体包括：
对所述子中间特征图像进行合成处理，以得到对应的子输出图像；以及
将所述多个子输入图像对应的子输出图像拼接为所述输出图像。
11.根据权利要求10所述的图像处理方法，其中，所述多个子输入图像的尺寸大小相同，所述多个子输入图像的中心形成均匀规则的网格，且在行方向和列方向上，相邻的两个子输入图像的交叠区域的尺寸大小均是恒定的，所述输出图像中每个像素点的像素值表示为：
其中，Yp表示所述输出图像中的任意一个像素点p的像素值，T表示包括该像素点p的子输出图像的数量，Yk,(p)表示该像素点p在第k幅包括该像素点p的子输出图像中的像素值，sk表示在所述第k幅包括该像素点p的子输出图像中该像素点p到所述第k幅包括该像素点p的子输出图像的中心的距离。
12.一种合并神经网络的图像处理方法，其中，所述合并神经网络包括多个神经网络，所述多个神经网络用于执行同一图像处理任务，所述多个神经网络的输入图像的分辨率相同，所述多个神经网络的输出图像的分辨率相同，所述多个神经网络两两之间至少结构和参数之一不同；
所述合并神经网络的图像处理方法，包括：
将输入图像输入所述合并神经网络中的所述多个神经网络，以分别得到所述多个神经网络的输出；以及
将所述多个神经网络的输出相加取平均值，以得到所述合并神经网络的输出。
13.根据权利要求12所述的合并神经网络的图像处理方法，其中，所述多个神经网络包括第一神经网络，所述第一神经网络用于执行第一图像处理方法，所述第一图像处理方法包括：
获取输入图像；
基于输入图像，得到分辨率从高到低排列的N个层级的初始特征图像，N为正整数，且N>2；
基于第2～N层级的初始特征图像，对第1层级的初始特征图像进行循环缩放处理，以得到中间特征图像；以及
对所述中间特征图像进行合成处理，以得到输出图像；
其中，所述循环缩放处理包括：N-1个层级的逐层嵌套的缩放处理，每个层级的缩放处理包括下采样处理、联接处理、上采样处理和残差链接相加处理；
第i层级的下采样处理基于第i层级的缩放处理的输入进行下采样得到第i层级的下采样输出，第i层级的联接处理基于所述第i层级的下采样输出和第i+1层级的初始特征图像进行联接得到第i层级的联合输出，第i层级的上采样处理基于所述第i层级的联合输出得到第i层级的上采样输出，第i层级的残差链接相加处理将所述第i层级的缩放处理的输入与所述第i层级的上采样输出进行残差链接相加得到第i层级的缩放处理的输出，其中，i＝1,2,…,N-1；
第j+1层级的缩放处理嵌套在第j层级的下采样处理和第j层级的联接处理之间，所述第j层级的下采样处理的输出作为所述第j+1层级的缩放处理的输入，其中，j＝1,2,…,N-2。
14.一种神经网络的训练方法，其中，所述神经网络包括：分析网络、循环缩放网络和合成网络；
所述训练方法包括：
获取第一训练输入图像；
使用所述分析网络对所述第一训练输入图像进行处理，以得到分辨率从高到低排列的N个层级的训练初始特征图像，N为正整数，且N>2；
使用所述循环缩放网络，基于第2～N层级的训练初始特征图像，对第1层级的训练初始特征图像进行循环缩放处理，以得到训练中间特征图像；
使用所述合成网络对所述训练中间特征图像进行合成处理，以得到第一训练输出图像；
基于所述第一训练输出图像，通过损失函数计算所述神经网络的损失值；以及
根据所述神经网络的损失值对所述神经网络的参数进行修正；
其中，所述循环缩放处理包括：N-1个层级的逐层嵌套的缩放处理，每个层级的缩放处理包括依次执行的下采样处理、联接处理、上采样处理和残差链接相加处理；
第i层级的下采样处理基于第i层级的缩放处理的输入进行下采样得到第i层级的下采样输出，第i层级的联接处理基于所述第i层级的下采样输出和第i+1层级的初始特征图像进行联接得到第i层级的联合输出，第i层级的上采样处理基于所述第i层级的联合输出得到第i层级的上采样输出，第i层级的残差链接相加处理将所述第i层级的缩放处理的输入与所述第i层级的上采样输出进行残差链接相加得到第i层级的缩放处理的输出，其中，i＝1,2,…,N-1；
第j+1层级的缩放处理嵌套在第j层级的下采样处理和第j层级的联接处理之间，所述第j层级的下采样处理的输出作为所述第j+1层级的缩放处理的输入，其中，j＝1,2,…,N-2。
15.根据权利要求14所述的神经网络的训练方法，其中，所述损失函数表示为：
其中，L(Y,X)表示所述损失函数，Y表示所述第一训练输出图像，X表示所述第一训练输入图像对应的第一训练标准图像，Sk-1(Y)表示对所述第一训练输出图像进行第k-1层级下采样处理得到的输出，Sk-1(X)表示对所述第一训练标准图像进行第k-1层级的下采样处理得到的输出，E[]表示对矩阵能量的计算。
16.根据权利要求14所述的神经网络的训练方法，其中，使用所述分析网络对所述第一训练输入图像进行处理，以得到分辨率从高到低排列的所述N个层级的训练初始特征图像，包括：
将所述第一训练输入图像与随机噪声图像进行联接，以得到训练联合输入图像；以及
使用所述分析网络对所述训练联合输入图像进行N个不同层级的分析处理，以分别得到分辨率从高到低排列的所述N个层级的训练初始特征图像。
17.根据权利要求16所述的神经网络的训练方法，其中，基于所述第一训练输出图像，通过所述损失函数计算所述神经网络的损失值，包括：
使用判别网络对所述第一训练输出图像进行处理，并基于所述第一训练输出图像对应的判别网络的输出计算所述神经网络的损失值。
18.根据权利要求17所述的神经网络的训练方法，其中，所述判别网络包括：M-1个层级的下采样子网络、M个层级的判别支网络、合成子网络和激活层；
所述M-1个层级的下采样子网络用于对所述判别网络的输入进行不同层级的下采样处理，以得到M-1个层级的下采样子网络的输出；
所述判别网络的输入和所述M-1个层级的下采样子网络的输出分别对应作为所述M个层级的判别支网络的输入；
每个层级的判别支网络包括依次连接的亮度处理子网络、第一卷积子网络和第二卷积子网络；
第t层级的判别支网络中的第二卷积子网络的输出与第t+1层级的判别支网络中的第一卷积子网络的输出进行联接后作为第t+1层级的判别支网络中的第二卷积子网络的输入，其中，t＝1,2,…,M-1；
所述合成子网络用于对第M层级的判别支网...
【专利技术属性】
技术研发人员：那彦波，陈文彬，刘瀚文，朱丹，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。