一种基于高频图像块估计模糊核的运动模糊复原方法技术

本发明专利技术公开了一种基于高频图像块估计模糊核的运动模糊复原方法，包括以下步骤：通过编码曝光的方式获取图像；搜索出模糊图像中高频信息含量最多的图像块；将高频图像块和对应的模糊核输入训练网络，训练出模糊核估计模型；根据估计出的模糊核对模糊图像进行非盲去模糊复原。上述技术方案利用编码曝光技术获取的图像的特性解决高频信息含量少，难以恢复的问题，利用深度学习的方法估计模糊核，解决传统方法模糊核难以估计的问题，用遗传算法搜索出图像高频信息含量最多的图像块，大大降低预测模糊核时所使用的图像尺寸，提高网络训练速度，最后使用估计出的模糊核实现非盲去模糊复原。

【技术实现步骤摘要】
一种基于高频图像块估计模糊核的运动模糊复原方法
本专利技术涉及图像处理
，尤其涉及一种基于高频图像块估计模糊核的运动模糊复原方法。
技术介绍
在便携式照相设备普及的今天，图片是人们获取信息的主要载体之一，正发挥着不可代替的重要作用。但照片的获取往往受诸多因素的影响而失真，比如光学元件的偏差，曝光时间内物体运动、传输、存储等环节出现异常。其中运动导致的图像模糊是最常见也是恢复最大的，在相机镜头的曝光时间内，当被拍摄物体和相机镜头发生旋转或者有相对位移时，相机所成的相片就会产生模糊，如何恢复隐藏在图片里的细节信息成了去模糊任务的研究重点。图像模糊过程中由于图像模糊核未知，导致图像去模糊是一个病态问题，难以解决。在图像去模糊研究的早期研究人员采用传统的方法进行图像去模糊处理，根据图像和模糊核大量的先验信息在去模糊模型中加入图像和模糊核的正则项约束，来将病态问题转化为可解决问题，进而进行图像去模糊处理。传统方法去模糊根据模糊图像所保留的信息(特别是高频信息)来恢复清晰图像，因此依赖于模糊图像中所保留高频信息的多少。有资料显示，随着深度学习在计算机视觉领域获得突飞猛进的发展后，后期研究人员也纷纷开始使用深度网络来处理图像去模糊问题，深度学习网络这种“端到端”的训练方式，不需要过多的关注图像和卷积核内在的基理性质，可直接让网络输出重建后的清晰图像。虽然深度学习的去模糊方法恢复图像的清晰度很好，由于深度学习自身的缺陷，在训练时需要大量的训练集，再加上图像的尺寸一般很大，这会使训练的时间花销非常大。中国专利文献CN104376547A公开了一种“运动模糊图像复原方法”。方法包括：相机选型；场景序列图像获取；序列图像间时空配准；高分辨率图像序列重构等步骤。上述技术方案需要图像和模糊核大量的先验信息，经过大量计算实现图像复原，效率低且耗时长。
技术实现思路
本专利技术主要解决原有的去模糊方法模糊核难以估计，深度学习方法训练时间花销大的技术问题，提供一种基于高频图像块估计模糊核的运动模糊复原方法，利用编码曝光技术获取的图像的特性解决高频信息含量少，难以恢复的问题，利用深度学习的方法估计模糊核，解决传统方法模糊核难以估计的问题，用遗传算法搜索出图像高频信息含量最多的图像块，大大降低预测模糊核时所使用的图像尺寸，提高网络训练速度，最后使用估计出的模糊核实现非盲去模糊复原。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：本专利技术包括以下步骤：(1)通过编码曝光的方式获取图像；(2)搜索出模糊图像中高频信息含量最多的图像块；(3)将高频图像块和对应的模糊核输入训练网络，训练出模糊核估计模型；(4)根据估计出的模糊核对模糊图像进行非盲去模糊复原。作为优选，所述的步骤1通过单片机控制相机快门开关实现编码曝光从而获得图像。传统曝光模式相当于低通滤波器，会过滤掉图像部分高频信息，而编码曝光的相当于带通滤波器，相比较传统曝光模式，会保留更多的高频信息。作为优选，所述的步骤2使用遗传算法搜索模糊图像中高频信息含量最多的图像块，具体包括：(2.1)设置图像块尺寸，图像块的尺寸选取为模糊核的3倍；(2.2)遗传算法进行最大高频信息搜索。作为优选，所述的最大高频信息搜索具体算法包括：(2.21)个体编码方式：采用二进制编码，图像尺寸为M×M，对图像块中心点进行二进制编码；(2.22)初始化种群，种群个体数为num，初始种群由num个随机排列的编码个体组成；(2.23)建立目标函数，对于种群中的每一个个体，将其编码转换成完整的图像块，并求图像块的高频信息之和：N(p)表示以像素点p为中心的图像块；Infor(p)表示该图像块的高频信息含量；表示像素点y的梯度；(2.24)选择目标函数作为适应度函数Infor(p)，选择父代用轮盘赌的方法，对于每个个体在(2.23)中转换成图像块信息，计算图像块的高频信息，高频信息含量越大，该图像块被选择的概率越大。(2.25)对选择的个体进行交叉变异，即对父代两个个体编码进行处理得到新个体；(2.26)编码方式采用3位二进制表示像素点坐标每一位的数字0～8，先搜索图像块中心坐标不含“9”的较优高频信息图像块，再和与之最近的中心坐标含9的相比较，来确定最后结果。作为优选，所述的步骤3先构建网络训练的数据集，再将数据集输入网络进行训练，具体包括：(3.1)构建训练集，通过编码曝光方式获取若干清晰图像、模糊核和清晰图像卷积获得模糊图片，并对卷积后的模糊图像添加高斯白噪声，采用步骤(2)提取出模糊图像的最大高频信息块，将其作为网络的输入，对应的模糊核作为网络的输出；其中获取的清晰图像主要包括自然场景、人造场景、人脸、文本图像等。(3.2)构建网络，包括生成器和判别器构成的GAN网络结构。作为优选，所述的生成器是一个U-Net，先对高频图像块进行在降采样，然后进行上采样，在上采样过程中，与相同尺寸特征图之间构建连接，实现高级信息与低级信息的有效融合，生成器的损失函数由对抗损失和内容损失两部分组成，对抗损失：其中，表示生成器生成的图像信息，实验证明λ取10时，生成器具有良好的鲁棒性；内容损失采用特征匹配损失，公式如下：其中，K表示真实的模糊核，B表示高频图像块，G(B)表示生成器根据高频图像块生成的模糊核；生成器的总损失函数：LG＝Ladv+αLp。作为优选，所述的判别器采用pix2pix中PatchGAN判别器部分，判别器的损失函数：作为优选，所述的步骤4由网络估计出模糊核后，根据传统的方法构建数学模型，所述运动模糊由下面数学模型表示，B表示模糊的图像，I表示清晰的图像，K是模糊核，n是高斯噪声。在数学模型上模糊图像可由清晰图像与运动模糊核卷积再加上高斯噪声表示，估计出的清晰图像一定满足：表示x二范数，上式表示估计出的图像与模糊核卷积后和通过编码曝光获取的模糊图像相差最小。将估计出的模糊核带入上述模型，这样盲去模糊问题转化为非盲去模糊问题，大大减小了传统盲去模糊的难度。在上述模型基础上加入有关图像的正则项来使清晰图像估计更加准确，也可使后续在求解模型使算法速度收敛更快。作为优选，在上述模型基础上加入有关图像的正则项：β表示正则化参数，表示图像的正则项。图像的正则项是清晰图像和运动模糊图像间具有较大差异的信息的数学表述，这些差异已经过理论和大量的实验证实。作为优选，使用L0正则项约束重建图像的边缘，即代入上述模型得运动模糊复原模型：对上述模型进行求解得到复原的清晰图像。清晰图像边界锐利，图像梯度对比度强；而模糊图像边沿有过渡模糊带，存在假边界效应。因此清晰图像梯度稀疏性好，这里使用L0正则项约束就是能够更好地重建图像的边缘。本专利技术的有益效果是：利用编码曝光技术获取的图像的特性解本文档来自技高网...

【技术保护点】
1.一种基于高频图像块估计模糊核的运动模糊复原方法，其特征在于，包括以下步骤：/n(1)通过编码曝光的方式获取图像；/n(2)搜索出模糊图像中高频信息含量最多的图像块；/n(3)将高频图像块和对应的模糊核输入训练网络，训练出模糊核估计模型；/n(4)根据估计出的模糊核对模糊图像进行非盲去模糊复原。/n

【技术特征摘要】
1.一种基于高频图像块估计模糊核的运动模糊复原方法，其特征在于，包括以下步骤：
(1)通过编码曝光的方式获取图像；
(2)搜索出模糊图像中高频信息含量最多的图像块；
(3)将高频图像块和对应的模糊核输入训练网络，训练出模糊核估计模型；
(4)根据估计出的模糊核对模糊图像进行非盲去模糊复原。


2.根据权利要求1所述的一种基于高频图像块估计模糊核的运动模糊复原方法，其特征在于，所述步骤1通过单片机控制相机快门开关实现编码曝光从而获得图像。


3.根据权利要求1所述的一种基于高频图像块估计模糊核的运动模糊复原方法，其特征在于，所述步骤2使用遗传算法搜索模糊图像中高频信息含量最多的图像块，具体包括：
(2.1)设置图像块尺寸，图像块的尺寸选取为模糊核的3倍；
(2.2)遗传算法进行最大高频信息搜索。


4.根据权利要求3所述的一种基于高频图像块估计模糊核的运动模糊复原方法，其特征在于，所述最大高频信息搜索具体算法包括：
(2.21)个体编码方式：采用二进制编码，图像尺寸为M×M，对图像块中心点进行二进制编码；
(2.22)初始化种群，种群个体数为num，初始种群由num个随机排列的编码个体组成；
(2.23)建立目标函数，对于种群中的每一个个体，将其编码转换成完整的图像块，并求图像块的高频信息之和：



N(p)表示以像素点p为中心的图像块；Infor(p)表示该图像块的高频信息含量；表示像素点y的梯度；
(2.24)选择目标函数作为适应度函数Infor(p)，选择父代用轮盘赌的方法，对于每个个体在(2.23)中转换成图像块信息，计算图像块的高频信息，高频信息含量越大，该图像块被选择的概率越大。
(2.25)对选择的个体进行交叉变异，即对父代两个个体编码进行处理得到新个体；
(2.26)编码方式采用3位二进制表示像素点坐标每一位的数字0～8，先搜索图像块中心坐标不含“9”的较优高频信息图像块，再和与之最近的中心坐标含9的相比较，来确定最后结果。


5.根据权利要求1所述的一种基于高频图像块估计模糊核的运动模糊复原方法，其特征在于，所述步骤3先构建网络训练的数据集，再将数据集输入网络进行训练，具体包括：
(3.1)构建训练集，通过编码曝光方式获取若干清晰图像、...

【专利技术属性】
技术研发人员：崔光茫，张纪桐，陈颖，赵巨峰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33