融合形态及色彩的图像超分辨率重建模型构建及重建方法技术

本发明专利技术公开了一种融合形态及色彩的图像超分辨率重建模型构建及重建方法，考虑到仅使用图像像素损失优化超分辨率模型会忽略图像中结构、纹理、色彩分布的均衡分布，造成超分辨率重建结果出现结构不流畅、纹理不清晰、色彩不光顺和过度渲染错位等现象，提出一种构建图像对抗融合形态成分对抗网络和颜色对抗网络的超分辨率重建方法，本发明专利技术解决了现有技术无法兼顾结构、纹理、色彩图像特征这一不足，有效提高图像的重建质量。

【技术实现步骤摘要】
融合形态及色彩的图像超分辨率重建模型构建及重建方法
本专利技术涉及图像超分辨率重建方法，具体涉及一种融合形态及色彩的图像超分辨率重建模型构建及重建方法。
技术介绍
科学研究和统计表明，人类从外界获得的信息约有75％来自于图像。在图像获取过程中，由于成像距离、成像设备分辨率等因素限制，成像系统通常会受到变形、模糊、降采样和噪声等退化因素的影响，不能准确地获取原始场景中的信息。超分辨率(super-resolutionSR)重建技术是通过软件方法提高图像的分辨率，其具有在低成本的情况下充分用现有数据改善图像视觉效果。该技术利用一幅或多幅低分辨率图像的信息来恢复退化过程中所丢失的高频信息，进而生成含有更丰富高频信息的超分辨率图像。超分辨技术在医学影像辅助医生进行医疗诊断、卫星图像获取更多复杂地理环境细节、军事或刑事侦查中获取更多案件细节，以及为自动驾驶提供更加丰富安全的交通环境等方面有广泛的应用需求。目前，基于深度学习的图像超分辨率重建方法包括两个阶段：超分辨率网络训练过程和图像超分辨率重建过程。超分辨率网络由卷积神经网络演变而来。在超分辨率网络训练阶段，第一步将低分辨率图像ILR输入超分辨率网络Fθ(·)，计算输出与ILR对应的超分辨率图像ISR，利用损失函数L(ISR,IHR)计算ISR与ILR对应的真实高分辨率图像IHR之间的差异。第二步计算损失函数值的梯度，优化超分辨率网络Fθ(·)的参数。对训练数据集中的每一幅图像反复重复第一步和第二步，直至损失函数值基本保持不变，训练过程结束。超分辨率网络参数优化设置完成。在重建阶段，基于优化的超分辨率网络Fθ(·)实现测试图像的超分辨率重建，达到有效地恢复出ILR丢失的高频细节的目的。现有技术是通过最小化像素损失函数来优化超分辨率网络参数，其获得的超分辨率图像存在纹理过于平滑、结构边界模糊不突出、局部区域内亮度呈均匀分布和色彩混乱等问题，严重影响视觉感受，视觉效果较差。
技术实现思路
本专利技术的目的在于提供一种融合形态及色彩的图像超分辨率重建模型构建及重建方法，用以解决现有技术中获得的超分辨率图像存在纹理过于平滑、结构边界模糊不突出、局部区域内亮度呈均匀分布和色彩混乱等问题。为了实现上述任务，本专利技术采用以下技术方案：一种融合形态及色彩的图像超分辨率重建模型构建方法，按照以下步骤执行：步骤1、获取多幅高分辨率图像，获得目标图像集X，其中X＝{X1,X2,…,Xn,…,XN}，Xn为第n幅高分辨率图像，N为正整数，n∈N；对所述的每幅高分辨率图像进行降采样，获得多幅低分辨率图像，获得待重建图像集x，其中x＝{x1,x2,…,xn,…,xN}，xn为第n幅低分辨率图像；重复执行M次步骤2-步骤6，M为正整数：步骤2、将所述的待重建图像集输入至初始生成网络或上次优化后的生成网络，获得初步重建图像集Y，Y＝{Y1,Y2,…,Yn,…,YN},Yn为第n幅初步重建图像；所述的初始生成网络参数均为随机数；步骤3、将所述的初步重建图像集Y中第n幅初步重建图像Yn以及目标图像集X中第n幅高分辨率图像Xn进行集合，获得第n个输入图像子集Sn＝{Yn,Xn}；重复本步骤，直至获得N个输入图像子集，获得输入图像集S；步骤4、将所述的输入图像集S输入至初始对抗网络或上次训练后的对抗网络，所述的初始对抗网络参数均为随机数；所述的初始对抗网络以及上次训练后的对抗网络包括并行设置的图像对抗网络、形态成分对抗网络以及色彩对抗网络；所述的形态成分对抗网络包括依次设置的灰度化单元、卷积单元以及全连接单元；所述的灰度化单元用于对输入图像进行灰度化；所述的色彩对抗网络包括依次设置的高斯模糊单元、卷积单元以及全连接单元；所述的高斯模糊单元用于对输入图像进行高斯模糊；获得每一个输入图像子集对应的输出概率子集，获得输出概率集；其中对于第n个输入图像子集Sn对应的第n个输出概率子集其中为第n幅初步重建图像Yn被图像对抗网络认为是第n幅高分辨率图像Xn的概率；为第n幅高分辨率图像Xn被图像对抗网络认为是第n幅高分辨率图像Xn的概率；为第n幅初步重建图像Yn被形态成分对抗网络认为是第n幅高分辨率图像Xn的概率；为第n幅高分辨率图像Xn被形态成分对抗网络认为是第n幅高分辨率图像Xn的概率；为第n幅初步重建图像Yn被色彩对抗网络认为是第n幅高分辨率图像Xn的概率；为第n幅高分辨率图像Xn被色彩对抗网络认为是第n幅高分辨率图像Xn的概率；步骤5、根据所述的输出概率集，训练对抗网络，获得优化后的对抗网络参数，获得本次训练后的对抗网络，具体包括：步骤5.1、获得优化后的图像对抗网络参数，具体包括：步骤5.1.1、采用式I获得由第n个输出概率子集对应的图像对抗网络的损失函数值重复本步骤，直至获得N个图像对抗网络的损失函数值；步骤5.1.2、对步骤5.1.1获得的N个图像对抗网络的损失函数值求均值，获得图像对抗网络的损失函数平均值；步骤5.1.3、将所述的图像对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的图像对抗网络参数；步骤5.2、获得优化后的形态成分对抗网络参数，具体包括：步骤5.2.1、采用式II获得由第n个输出概率子集对应的形态成分对抗网络的损失函数值重复本步骤，直至获得N个形态成分对抗网络的损失函数值；步骤5.2.2、对步骤5.2.1获得的N个形态成分对抗网络的损失函数值求均值，获得形态成分对抗网络的损失函数平均值；步骤5.2.3、将所述的形态成分对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的形态成分对抗网络参数；步骤5.3、获得优化后的色彩对抗网络参数，具体包括：步骤5.3.1、采用式III获得由第n个输出概率子集对应的色彩对抗网络的损失函数值重复本步骤，直至获得N个色彩对抗网络的损失函数值；步骤5.3.2、对步骤5.3.1获得的N个色彩对抗网络的损失函数值求均值，获得色彩对抗网络的损失函数平均值；步骤5.3.3、将所述的色彩对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的色彩对抗网络参数；步骤5.4、固定所述的优化后的图像对抗网络参数、优化后的形态成分对抗网络参数以及优化后的色彩对抗网络参数，获得本次训练后的对抗网络；步骤6、根据所述的输出概率集、目标图像集以及初步重建图像集，优化生成网络参数，获得本次优化后的生成网络；步骤7、将最后一次执行步骤6时得到的优化后的生成网络作为图像超分辨率重建模型，结束。进一步地，所述的步骤6中根据所述的输出概率集、目标图像集以及初步重建图像集，优化生成网络参数，具体包括：步骤6.1、采用式IV获得优化后的生成网络损失函数：L＝Limg+2×10-6Lcontent+10-3Ladv式IV其中，Limg为像素损失函数，Lcontent为内容损失函数，Ladv为对抗损失函数；其中，为图像对抗损失，为形态成分对抗损失，为色彩对抗损失，步骤6.2、将优化后的生成网络损失函数输入Adam优化器后，获得优化后的生成网络参数。进一步地，所述的M＝5×104+105。进一步地，所述的形态成分对抗网络中卷积单元包括依次设置的卷积层、LeakyRelu激活层、归一化层、卷积层、LeakyRelu激活层以及归一化层；所述的形态成分对抗网络中全连接单元包括依次本文档来自技高网...

【技术保护点】
1.一种融合形态及色彩的图像超分辨率重建模型构建方法，其特征在于，按照以下步骤执行：步骤1、获取多幅高分辨率图像，获得目标图像集X，其中X＝{X1,X2,…,Xn,…,XN}，Xn为第n幅高分辨率图像，N为正整数，n∈N；对所述的每幅高分辨率图像进行降采样，获得多幅低分辨率图像，获得待重建图像集x，其中x＝{x1,x2,…,xn,…,xN}，xn为第n幅低分辨率图像；重复执行M次步骤2‑步骤6，M为正整数：步骤2、将所述的待重建图像集输入至初始生成网络或上次优化后的生成网络，获得初步重建图像集Y，Y＝{Y1,Y2,…,Yn,…,YN},Yn为第n幅初步重建图像；所述的初始生成网络参数均为随机数；步骤3、将所述的初步重建图像集Y中第n幅初步重建图像Yn以及目标图像集X中第n幅高分辨率图像Xn进行集合，获得第n个输入图像子集Sn＝{Yn,Xn}；重复本步骤，直至获得N个输入图像子集，获得输入图像集S；步骤4、将所述的输入图像集S输入至初始对抗网络或上次训练后的对抗网络，所述的初始对抗网络参数均为随机数；所述的初始对抗网络以及上次训练后的对抗网络包括并行设置的图像对抗网络、形态成分对抗网络以及色彩对抗网络；所述的形态成分对抗网络包括依次设置的灰度化单元、卷积单元以及全连接单元；所述的灰度化单元用于对输入图像进行灰度化；所述的色彩对抗网络包括依次设置的高斯模糊单元、卷积单元以及全连接单元；所述的高斯模糊单元用于对输入图像进行高斯模糊；获得每一个输入图像子集对应的输出概率子集，获得输出概率集；其中对于第n个输入图像子集Sn对应的第n个输出概率子集...

【技术特征摘要】
2019.05.29 CN 20191045798341.一种融合形态及色彩的图像超分辨率重建模型构建方法，其特征在于，按照以下步骤执行：步骤1、获取多幅高分辨率图像，获得目标图像集X，其中X＝{X1,X2,…,Xn,…,XN}，Xn为第n幅高分辨率图像，N为正整数，n∈N；对所述的每幅高分辨率图像进行降采样，获得多幅低分辨率图像，获得待重建图像集x，其中x＝{x1,x2,…,xn,…,xN}，xn为第n幅低分辨率图像；重复执行M次步骤2-步骤6，M为正整数：步骤2、将所述的待重建图像集输入至初始生成网络或上次优化后的生成网络，获得初步重建图像集Y，Y＝{Y1,Y2,…,Yn,…,YN},Yn为第n幅初步重建图像；所述的初始生成网络参数均为随机数；步骤3、将所述的初步重建图像集Y中第n幅初步重建图像Yn以及目标图像集X中第n幅高分辨率图像Xn进行集合，获得第n个输入图像子集Sn＝{Yn,Xn}；重复本步骤，直至获得N个输入图像子集，获得输入图像集S；步骤4、将所述的输入图像集S输入至初始对抗网络或上次训练后的对抗网络，所述的初始对抗网络参数均为随机数；所述的初始对抗网络以及上次训练后的对抗网络包括并行设置的图像对抗网络、形态成分对抗网络以及色彩对抗网络；所述的形态成分对抗网络包括依次设置的灰度化单元、卷积单元以及全连接单元；所述的灰度化单元用于对输入图像进行灰度化；所述的色彩对抗网络包括依次设置的高斯模糊单元、卷积单元以及全连接单元；所述的高斯模糊单元用于对输入图像进行高斯模糊；获得每一个输入图像子集对应的输出概率子集，获得输出概率集；其中对于第n个输入图像子集Sn对应的第n个输出概率子集其中为第n幅初步重建图像Yn被图像对抗网络认为是第n幅高分辨率图像Xn的概率；为第n幅高分辨率图像Xn被图像对抗网络认为是第n幅高分辨率图像Xn的概率；为第n幅初步重建图像Yn被形态成分对抗网络认为是第n幅高分辨率图像Xn的概率；为第n幅高分辨率图像Xn被形态成分对抗网络认为是第n幅高分辨率图像Xn的概率；为第n幅初步重建图像Yn被色彩对抗网络认为是第n幅高分辨率图像Xn的概率；为第n幅高分辨率图像Xn被色彩对抗网络认为是第n幅高分辨率图像Xn的概率；步骤5、根据所述的输出概率集，训练对抗网络，获得优化后的对抗网络参数，获得本次训练后的对抗网络，具体包括：步骤5.1、获得优化后的图像对抗网络参数，具体包括：步骤5.1.1、采用式I获得由第n个输出概率子集对应的图像对抗网络的损失函数值重复本步骤，直至获得N个图像对抗网络的损失函数值；步骤5.1.2、对步骤5.1.1获得的N个图像对抗网络的损失函数值求均值，获得图像对抗网络的损失函数平均值；步骤5.1.3、将所述的图像对抗网络的损失函数平均值输入至Adam优化器后，获得优化后的图像对抗网络参数；步骤5.2、获得优化后的形态成分对抗网络参数，具体包括：步骤5.2.1、采用式II获得由第n个输出概率子...

【专利技术属性】
技术研发人员：祝轩，程悦，孙逸霏，彭进业，章勇勤，张超，王荣智，宋奇衡，柳欣，
申请(专利权)人：西北大学，
类型：发明
国别省市：陕西,61