一种基于卷积神经网络CNN的三片简单透镜图像复原方法技术

本发明专利技术公开一种基于卷积神经网络CNN的三片简单透镜图像复原方法。首先生成三片简单透镜对应的模糊图像与清晰图像数据集，然后构建用于端到端图像复原的卷积神经网络CNN模型，并利用生成的数据集训练CNN模型，对于新拍摄的模糊图像，可利用已训练好的CNN模型直接得到复原清晰图像。本发明专利技术可避免现有方法中盲卷积和非盲卷积图像复原的大量优化迭代过程，也无需单独估计简单透镜的PSF，使三片简单透镜的图像复原过程更加简单方便，而且图像处理速度快，在简单透镜计算成像领域具有重要意义。

An image restoration method for three simple lens based on convolution neural network CNN

The invention discloses three simple lens image restoration methods based on the convolution neural network (CNN). The first generation of three pieces of simple lenses corresponding to the fuzzy image and clear image data set, and then construct for end-to-end image restoration of convolutional neural network CNN model, and use the data generated by the training set for the CNN model, the new fuzzy image shooting, can use the trained CNN model directly to obtain clear image restoration. The invention can avoid the iterative process of optimization restoration of blind deconvolution and non blind deconvolution image in the existing method, there is no need to separately estimate the simple lens PSF, the image of three simple lens restoration process more simple and convenient, and the image processing speed, is of great significance in the field of imaging lens has the advantages of simple calculation.

【技术实现步骤摘要】
一种基于卷积神经网络CNN的三片简单透镜图像复原方法
本专利技术涉及一种图像复原领域，具体指一种基于卷积神经网络CNN的三片简单透镜图像复原方法。
技术介绍
近年来，简单透镜计算成像逐渐成为图像复原领域一个新的研究方向。简单透镜计算成像旨在利用前端尽可能简单的光学镜头结构结合后期图像计算方法，得到与单反相机等高端相机近似的成像质量。简单透镜计算成像能极大地降低镜头的光学设计成本，在图像复原和光学设计领域都具有重要的研究价值。简单透镜的镜头通常只包含一片、两片或者三片镜片，前端光学结构简单，所以成像过程中镜片自身的像差和色差会导致图像模糊。目前简单透镜计算成像的主要方法是由盲卷积图像复原直接得到清晰图像，或者首先估计出简单透镜的模糊核，即点扩散函数PSF(PointSpreadFunction)，然后再利用非盲卷积图像复原方法得到清晰图像。专利ZL.201510223789.1公开了一种基于图像颜色平缓变化先验的单透镜计算成像方法，首先用盲卷积图像复原方法结合图像颜色平缓变换先验估计出单透镜的PSF，然后利用非盲卷积图像复原方法得到最终的清晰图像。现有方法的主要缺点在于：(1)无论是盲卷积还是非盲卷积图像复原方法都需要大量迭代优化过程，图像处理计算时间长；(2)为提高图像复原精度，一般先要估计出单透镜的PSF，再单独进行图像复原处理，整个图像处理过程比较复杂；(3)即使已经估计出PSF，每张模糊图像仍需要进行非盲卷积算法处理，不利于简单透镜计算成像在实际中处理大量图像。三片简单透镜相对于只包含一片或者两片镜片的简单透镜，其成像精度较好，而且整幅图像中图像模糊程度的空间变化性不大，目前三片简单透镜更有实际应用价值，但是也存在上述简单透镜计算成像的缺点，因此，为了使三片简单透镜更好地在实际中应用，设计快速方便的针对三镜片简单透镜的计算成像方法，是简单透镜计算成像急需解决的问题。
技术实现思路
本专利技术为克服上述情况不足，旨在提供一种基于卷积神经网络CNN的三片简单透镜图像复原方法，避免传统简单透镜计算成像方法中复杂的迭代优化过程，而且无需单独进行PSF估计，实现端到端的三镜片简单透镜快速图像复原。一种基于卷积神经网络CNN的三片简单透镜图像复原方法，其特征在于，包括以下步骤：步骤一：生成三片简单透镜对应的模糊图像与清晰图像数据集。所述步骤一中生成三片简单透镜对应的模糊图像与清晰图像数据集的具体方法包括如下步骤：步骤1.1：将棋盘格图像在电脑屏幕上全屏显示，用三片简单透镜拍摄电脑屏幕，得到拍摄的棋盘格图像；步骤1.2：将一张清晰图像在电脑屏幕上全屏显示，用三片简单透镜拍摄电脑屏幕，得到拍摄的模糊图像；步骤1.3：基于步骤1.1拍摄的棋盘格图像，采用角点检测方法，得到精准匹配的三镜片简单透镜的清晰图像与模糊图像对；步骤1.4：准备N张清晰图像，依次重复上述步骤1.2和步骤1.3，最终得到三片简单透镜对应的模糊图像与清晰图像数据集。步骤二：构建用于端到端图像复原的卷积神经网络CNN模型。所述步骤二中的卷积神经网络CNN模型的具体结构包括七层，分别是输入层、卷积层、子采样层、卷积层、子采样层、全连接层和输出层，不同层之间依靠关系权重矩阵连接，分别是W1、W2、W3、W4、W5、W6，输入是数据集中的模糊图像，输出是数据集中与该模糊图像对应的清晰图像。步骤三：利用所生成的数据集对卷积神经网络CNN模型进行训练，得到训练好的CNN模型；所述步骤三中卷积神经网络CNN模型的训练可选用Python或Caffe等常见框架。训练卷积神经网络CNN模型即确定模型中不同层之间的关系权重矩阵。步骤四：对于三片简单透镜新拍摄的模糊图像，直接将模糊图像输入已训练好的CNN模型，即可快速得到复原后的清晰图像。一旦CNN模型训练完毕，利用该CNN模型处理新模糊图像的速度非常快，一张1080P的图像处理速度不到1s。步骤一至步骤三是预处理过程，得到训练好的CNN模型之后，可将其应用到后续三镜片简单透镜拍摄的所有同类型模糊图像处理中。本专利技术有益效果：1)利用训练好的CNN模型进行端到端图像复原，避免现有方法中盲卷积和非盲卷积图像复原的大量优化迭代过程，也无需单独估计简单透镜的PSF，图像复原过程简单方便；2)虽然预处理过程耗时长，但是一旦训练好模型，后续的图像处理速度非常快，一张1080P的图像处理速度不到1s，相比现有方法的处理速度是极大的提升。附图说明图1是本专利技术方法的流程图；图2是拍摄的棋盘格图像；图3是预处理过程中拍摄的模糊图像；图4是精准匹配的清晰图像与模糊图像对；其中(a)表示清晰图像，(b)表示模糊图像。图5是卷积神经网络CNN模型的框架示意图；图6是三镜片简单透镜新拍摄的模糊图像；图7是卷积神经网络CNN模型的端到端图像复原结果；具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本实施例提供的一种基于卷积神经网络CNN的三片简单透镜图像复原方法，包括如下步骤：步骤一：生成三片简单透镜对应的模糊图像与清晰图像数据集。具体方法包括如下步骤：步骤1.1：将棋盘格图像在电脑屏幕上全屏显示，用三片简单透镜拍摄电脑屏幕，得到拍摄的棋盘格图像，如图2所示；步骤1.2：将一张清晰图像在电脑屏幕上全屏显示，用三片简单透镜拍摄电脑屏幕，得到拍摄的模糊图像，如图3所示；步骤1.3：基于步骤1.1拍摄的棋盘格图像，采用角点检测方法，得到精准匹配的三镜片简单透镜的清晰图像与模糊图像对，如图4所示；步骤1.4：准备N张清晰图像，依次重复上述步骤1.2和步骤1.3，最终得到三片简单透镜对应的模糊图像与清晰图像数据集。在具体实施过程中，N＝10000。步骤二：构建用于端到端图像复原的卷积神经网络CNN模型。其中卷积神经网络CNN模型的具体结构包括七层，如图5所示，分别是输入层、卷积层、子采样层、卷积层、子采样层、全连接层和输出层，不同层之间依靠关系权重矩阵连接，分别是W1、W2、W3、W4、W5、W6，输入是数据集中的模糊图像，输出是数据集中与该模糊图像对应的清晰图像。步骤三：利用所生成的数据集对卷积神经网络CNN模型进行训练，得到训练好的CNN模型，即确定模型中不同层之间的关系权重矩阵。在具体实施过程中，选用Caffe深度学习框架按照现有深度学习方法进行训练。步骤四：对于三片简单透镜新拍摄的模糊图像，如图6所示，直接将模糊图像输入已训练好的CNN模型，即可快速得到复原后的清晰图像，如图7所示，在具体实施过程中，处理一张1080P的图像所需的时间是0.5s。以上所揭露的仅为本专利技术一种较佳实施例而已，当然不能以此来限定本专利技术之权利范围，因此依本专利技术权利要求所作的等同变化，仍属本专利技术所涵盖的范围。本文档来自技高网...

【技术保护点】
一种基于卷积神经网络CNN的三片简单透镜图像复原方法，其特征在于，包括以下步骤：步骤一：生成三片简单透镜对应的模糊图像与清晰图像数据集；步骤二：构建用于端到端图像复原的卷积神经网络CNN模型；步骤三：利用所生成的数据集对卷积神经网络CNN模型进行训练，得到训练好的CNN模型；步骤四：对于三片简单透镜新拍摄的模糊图像，直接将模糊图像输入已训练好的CNN模型，即可快速得到复原后的清晰图像。

【技术特征摘要】
1.一种基于卷积神经网络CNN的三片简单透镜图像复原方法，其特征在于，包括以下步骤：步骤一：生成三片简单透镜对应的模糊图像与清晰图像数据集；步骤二：构建用于端到端图像复原的卷积神经网络CNN模型；步骤三：利用所生成的数据集对卷积神经网络CNN模型进行训练，得到训练好的CNN模型；步骤四：对于三片简单透镜新拍摄的模糊图像，直接将模糊图像输入已训练好的CNN模型，即可快速得到复原后的清晰图像。2.根据权利要求1所述的基于卷积神经网络CNN的三片简单透镜图像复原方法，其特征在于：所述步骤一中生成三片简单透镜对应的模糊图像与清晰图像数据集的具体方法包括如下步骤：步骤1.1：将棋盘格图像在电脑屏幕上全屏显示，用三片简单透镜拍摄电脑屏幕，得到拍摄的棋盘格图像；步骤1.2：将一张清晰图像在电脑屏幕上全屏显示，用三片简单透镜拍摄电脑屏幕，得到拍摄的模糊图像；...

【专利技术属性】
技术研发人员：张智福，余思洋，陈捷，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南,43