基于光学合成孔径成像的图像复原处理方法技术

本发明专利技术公开了基于光学合成孔径成像的图像复原处理方法，涉及图像复原领域，解决了系统噪音导致成像结果清晰度影响严重，先验信息要求、噪声影响、复原耗时和复原效果不稳定的问题。本发明专利技术包括利用步骤A中得到的图像数据集，采用Adam优化器对RestoreNet‑Plus网络进行分步训练，优先训练DenoiseNet网络的过程中，在数据集输入上加入随机噪声作为DenoiseNet网络的训练输入，将数据集输入作为DenioseNet网络的训练标签；其后训练DeblurNet网络的过程中，数据集输入会先经过DenoiseNet网络的运算处理抑制噪声，将DenoiseNet网络的输出作为DeblurNet网络训练输入，数据集标签作为DeblurNet网络训练标签。本发明专利技术无先验信息要求，克服成像系统噪声影响，复原耗时少和复原效果稳定。

【技术实现步骤摘要】
基于光学合成孔径成像的图像复原处理方法
本专利技术涉及图像复原领域，具体涉及基于光学合成孔径成像的图像复原处理方法。
技术介绍
由于衍射极限的存在，一般光学成像系统在某一特定工作波段下只能通过增加系统口径来提高其成像分辨能力。在光学合成孔径成像技术中，精准定位的子孔径透镜阵列将代替传统的大口径成像镜头。满足共相要求的子孔径透镜阵列能使光束发生会聚，在成像平面形成干涉图像从而有效提高系统的成像分辨能力。然而，光学合成孔径成像系统(OpticalSyntheticApertureImagingSystem，OSAI)的通光孔径面积与等效单孔径成像系统相比仍然较小，系统孔径的限制使系统截止频率之外的空间频率成份被拦截而无法参与成像，导致系统的实际点扩散函数(PointSpreadfunction，PSF)发生扩展，调制传递函数(ModulationTransferFunction，MTF)的中频响应下降甚至缺失。同时，由于成像系统噪声的存在，系统成像的清晰度受到严重影响，需要结合图像复原技术获得高分辨率图像。传统的图像复原技术主要包含维纳滤波器(WienerFilter)、露西-理查德森算法(Lucy-Richardsonalgorithm)和超拉普拉斯先验算法(Hyper-LaplacianPriorsalgorithm)等。不过，传统图像复原技术需要针对成像过程中的扰动进行特性分析，严重依赖于人工设计的信息提取器。在成像过程未知情况下，往往难以确定图像模糊和畸变的原因，导致图像复原难度增加，基于成像系统点扩散函数的非盲性复原算法失效。对于不同场景下的图像，传统图像复原技术需要进行专业调参以达到最优效果；对于同一场景下的不同图像，复原效果也极易受到目标种类和外界因素的干扰。传统图像复原技术各有其针对的问题，通常需要配合使用才能达到最佳效果。传统图像复原方法的缺陷：1、非盲性复原，需要成像系统的先验信息；2、受到成像过程中的噪声信息干扰较大；3、对于每张图像都需要调参，效果难以保证；4、复原耗时不稳定，时间成本难以估计。
技术实现思路
本专利技术所要解决的技术问题是：系统噪音导致成像结果清晰度影响严重，先验信息要求、噪声影响、复原耗时和复原效果不稳定，本专利技术提供了解决上述问题的基于光学合成孔径成像的图像复原处理方法。本专利技术通过下述技术方案实现：基于光学合成孔径成像的图像复原处理方法包括如下步骤：步骤A：图像数据集的构造，图像数据集包括数据集输入和数据集标签，通过可见光光谱相机对目标进行光学合成孔径成像干涉得到模糊图像作为数据集输入，得到目标的图像数据，通过可见光光谱相机对目标进行大口径成像得到清晰图像作为数据集标签；步骤B：网络模型建立，采用U型卷积神经网络模型，基于残差结构和空洞卷积，构建深度卷积神经网络DenoiseNet；再结合注意力机制、残差模块、多尺度模块，构建一个深度卷积神经网络DeblurNet；DenoiseNet网络与DeblurNet网络串行连接，DenoiseNet网络对图像数据中的噪声进行抑制，DeblurNet网络针对光学合成孔径成像存在的模糊现象进行图像复原；DenoiseNet网络与DeblurNet网络串联形成RestoreNet-Plus网络；步骤C：网络训练，利用步骤A中得到的图像数据集，采用Adam优化器对RestoreNet-Plus网络进行分步训练，优先训练DenoiseNet网络的过程中，在数据集输入上加入随机噪声作为DenoiseNet网络的训练输入，将数据集输入作为DenioseNet网络的训练标签；其后训练DeblurNet网络的过程中，数据集输入会先经过DenoiseNet网络的运算处理抑制噪声，将DenoiseNet网络的输出作为DeblurNet网络训练输入，数据集标签作为DeblurNet网络训练标签；步骤D：复原过程，采用步骤C中训练好的RestoreNet-Plus网络复原步骤A中的目标的图像数据。进一步地，所述数据集输入包括训练集部分和测试集部分，数据集标签作为验证集部分；对包括复原的目标图像构造图像数据集，图像数据集分为训练集部分、验证集部分和测试集部分三种类型；训练集部分和验证集部分用于步骤C的训练过程，测试集部分作为步骤D的数据集输入直接输入至步骤C中训练完成的RestoreNet-Plus网络进行运算，RestoreNet-Plus网络能够直接输出复原后的清晰图像。进一步地，步骤C中，利用步骤A中得到的图像数据集，采用Adam优化器对RestoreNet-Plus网络进行分步训练，学习率设置为10-4，计算一阶矩估计以及二阶矩估计的指数衰减因子分别设置为0.9和0.999，权重衰减设置为指数型衰减，衰减率设置为0.9。进一步地，步骤B中的U型卷积神经网络模型为多层卷积层呈现U型的神经网络模型。进一步地，步骤B中的基于残差结构和空洞卷积，构建深度卷积神经网络DenoiseNet；其中，通过对输入数据进行多次模块化处理，模块化处理由顺序的空间卷积、批量归一化和LeakyReLU函数处理组成，多次同样的模块化处理后与第一次模块化处理的结果合并输出。进一步地，对DenoiseNet网络采用四次模块化处理，即对输入DenoiseNet网络的数据集输入进行第一次模块化处理后向后输出两条路径，其中一条路径再次对第一次模块化处理的结果进行连续三次的模块化处理，另外一条路径与三次模块化处理后的结果合并输出。进一步地，所述步骤B中的多尺度模块包括对输入多尺度模块的数据进行并行的三种处理，三种处理分别为3*3空间卷积、批量归一化和LeakyReLU函数处理，5*5空间卷积、批量归一化和LeakyReLU函数处理,7*7空间卷积、批量归一化和LeakyReLU函数处理；三种处理中，3*3空间卷积所在的处理路径结果输出累加到5*5空间卷积所在的处理路径结果，5*5空间卷积所在的处理路径结果输出累加到7*7空间卷积所在的处理路径结果。进一步地，将多尺度模块的最终处理结果输出至残差注意力模块，残差注意力模块对输入的数据基于掩膜分支和主干分支进行多次多层的特征处理后向下取样的同时向后跳跃连接进行数据输出。本专利技术采用分步式方案构造网络RestoreNet-Plus，针对图像复原处理过程中的噪声问题和模糊问题，应对的方式分别为：对于噪声抑制问题，采用U型卷积神经网络模型，结合残差结构和空洞卷积，构建深度卷积神经网络DenoiseNet；对于去模糊问题，结合注意力机制、残差模块、多尺度模块，构建一个深度卷积神经网络DeblurNet；实现本专利技术的软硬件设备包括但不限于如下：训练采用的软硬件设备为：1块GeForce2080Ti显卡，Ubuntu18.04.3操作系统，Python3.7编程语言，PyTorch1.2.0深度学习框架，PyCharm编译环境；其中显卡版本至少在GeForce2本文档来自技高网...

【技术保护点】
1.基于光学合成孔径成像的图像复原处理方法，其特征在于，包括如下步骤：/n步骤A：图像数据集的构造，图像数据集包括数据集输入和数据集标签，通过可见光光谱相机对目标进行光学合成孔径成像干涉得到模糊图像作为数据集输入，得到目标的图像数据，通过可见光光谱相机对目标进行大口径成像得到清晰图像作为数据集标签；/n步骤B：网络模型建立，采用U型卷积神经网络模型，基于残差结构和空洞卷积，构建深度卷积神经网络DenoiseNet；再结合注意力机制、残差模块、多尺度模块，构建一个深度卷积神经网络DeblurNet；/nDenoiseNet网络与DeblurNet网络串行连接，DenoiseNet网络对图像数据中的噪声进行抑制，DeblurNet网络针对光学合成孔径成像存在的模糊现象进行图像复原；/nDenoiseNet网络与DeblurNet网络串联形成RestoreNet-Plus网络；/n步骤C：网络训练，利用步骤A中得到的图像数据集，采用Adam优化器对RestoreNet-Plus网络进行分步训练，优先训练DenoiseNet网络的过程中，在数据集输入上加入随机噪声作为DenoiseNet网络的训练输入，将数据集输入作为DenioseNet网络的训练标签；其后训练DeblurNet网络的过程中，数据集输入会先经过DenoiseNet网络的运算处理抑制噪声，将DenoiseNet网络的输出作为DeblurNet网络训练输入，数据集标签作为DeblurNet网络训练标签；/n步骤D：复原过程，采用步骤C中训练好的RestoreNet-Plus网络复原步骤A中的目标的图像数据。/n...

【技术特征摘要】
1.基于光学合成孔径成像的图像复原处理方法，其特征在于，包括如下步骤：
步骤A：图像数据集的构造，图像数据集包括数据集输入和数据集标签，通过可见光光谱相机对目标进行光学合成孔径成像干涉得到模糊图像作为数据集输入，得到目标的图像数据，通过可见光光谱相机对目标进行大口径成像得到清晰图像作为数据集标签；
步骤B：网络模型建立，采用U型卷积神经网络模型，基于残差结构和空洞卷积，构建深度卷积神经网络DenoiseNet；再结合注意力机制、残差模块、多尺度模块，构建一个深度卷积神经网络DeblurNet；
DenoiseNet网络与DeblurNet网络串行连接，DenoiseNet网络对图像数据中的噪声进行抑制，DeblurNet网络针对光学合成孔径成像存在的模糊现象进行图像复原；
DenoiseNet网络与DeblurNet网络串联形成RestoreNet-Plus网络；
步骤C：网络训练，利用步骤A中得到的图像数据集，采用Adam优化器对RestoreNet-Plus网络进行分步训练，优先训练DenoiseNet网络的过程中，在数据集输入上加入随机噪声作为DenoiseNet网络的训练输入，将数据集输入作为DenioseNet网络的训练标签；其后训练DeblurNet网络的过程中，数据集输入会先经过DenoiseNet网络的运算处理抑制噪声，将DenoiseNet网络的输出作为DeblurNet网络训练输入，数据集标签作为DeblurNet网络训练标签；
步骤D：复原过程，采用步骤C中训练好的RestoreNet-Plus网络复原步骤A中的目标的图像数据。


2.根据权利要求1所述的基于光学合成孔径成像的图像复原处理方法，其特征在于，所述数据集输入包括训练集部分和测试集部分，数据集标签作为验证集部分；
对包括复原的目标图像构造图像数据集，图像数据集分为训练集部分、验证集部分和测试集部分三种类型；
训练集部分和验证集部分用于步骤C的训练过程，测试集部分作为步骤D的数据集输入直接输入至步骤C中训练完成的RestoreNet-Plus网络进行运算，RestoreNet-Plus网络能够直接输出复原后的清晰图像。


3.根据权利要求1所述...

【专利技术属性】
技术研发人员：吴小龑，刘国栋，唐雎，邸江磊，任振波，胡流森，赵建林，
申请(专利权)人：中国工程物理研究院流体物理研究所，西北工业大学，
类型：发明
国别省市：四川;51