一种快速鱼眼图像去模糊方法技术

本发明专利技术公开了一种快速鱼眼图像去模糊方法，属于数字图像处理技术领域，该方法包括：S1、根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；S2、采用基于频域矩阵分解的方法对柱面全景图像P进行去模糊，得到去模糊的柱面全景图P'；S3、将去模糊的柱面全景图P’正投影到鱼眼图像得到清晰鱼眼图像I’。本方法提出一种基于频域矩阵分解的鱼眼镜头计算成像方法，从根本上省略了现有图像去模糊算法多次迭代优化过程，变化成一种线性加和的方法，从而大大减少了鱼眼图像去模糊所需时间，用以满足全景鱼眼视频实时性的需求。

A fast fish eye image deblurring method

The invention discloses a fisheye image deblurring method, which belongs to the technical field of digital image processing, the method comprises the following steps: S1, according to the relation between projection fisheye image and cylindrical panoramic and reverse projection, will be projected onto the fisheye image anti cylindrical panoramic image, corresponding to the cylindrical panorama; S2 and the matrix decomposition method in frequency domain based on the cylindrical panoramic image P to get fuzzy, fuzzy cylindricalpanorama P'; S3, will go to the fuzzy cylinder panorama P is projected to the fisheye image to get clear fisheye images I. This method presents a calculation method of fisheye lens imaging in frequency domain based on matrix decomposition, fundamentally omits the existing image deblurring algorithm optimization process, change into a method for linear additive, thereby greatly reducing the time required for fisheye image deblurring, in order to meet the real-time requirement of video panorama fisheye.

【技术实现步骤摘要】
一种快速鱼眼图像去模糊方法
本专利技术涉及数字图像处理
，尤其涉及一种快速鱼眼图像去模糊方法。
技术介绍
鱼眼镜头在外形上跟其他镜头不同，前组镜片像鱼眼一样向外凸出，是一种特殊的广角镜头，其视场角接近、等于甚至大于180度，能将半球空域甚至是超半球空域的物体成像在相面有限的范围内。从光学设计的角度看，鱼眼镜头所采用的透镜具有很大的球面弧度，并且距离成像平面更近。这种特殊的结构特点和成像特点，一方面使得鱼眼相机可以获得很大视野范围，在机器人导航、视频会议、实时监控、全景摄像和天文观测等需要较大视场的现实场景中得以广泛应用；另一方面，由于引入了很大的桶形畸变，使得鱼眼镜头形成的图像除了画面中心的景物保持不变，其他本应水平或垂直的景物都发生了相应的变化，从而造成鱼眼镜头成像面不同区域的分辨率是不同的，越靠近图像中心，分辨率越高，细节信息越多，越偏离图像中心，分辨率越低，细节信息越少，变形越严重。为了提高鱼眼图像清晰度，弥补鱼眼大视角带来的图像模糊，常规的做法是采用模糊增强方法。图像的模糊增强是利用图像中存在的某种不确定性，即模糊性，将模糊集理论用于图像增强的一种方法。现有图像增强方法中，直接在畸变的鱼眼图像上进行处理，但由于鱼眼图像数据是以非线性方式存储的，无法直接处理，这种处理方式无法得到较好的图像去模糊效果。另外，现有模糊图像增强方法中求得清晰图像的过程需要多次迭代，耗费的时间较长。难以满足全景鱼眼视频实时性的需求。
技术实现思路
本专利技术为克服现有鱼眼图像去模糊中需要多次迭代，耗费时间较长的技术问题，旨在提供一种满足全景鱼眼视频实时性需求的快速鱼眼图像去模糊方法。一种快速鱼眼图像去模糊方法，包括：S1、根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；S2、采用基于频域矩阵分解的方法对柱面全景图像P进行去模糊，得到去模糊的柱面全景图P'；具体包括：S21、将时域下模糊图像y和对应的模糊核k转换到频域，得到对应的模糊图像的频谱矩阵Y和模糊核的频谱矩阵K；S22、将频谱矩阵Y用一系列基表示Y＝α1H1+α2H2+…+αnHn；线性组合的系数ai即是与频域矩阵Y中与基Hi对应的那一部分数值；S23、针对Y的每一个基Hi，结合模糊核K，采用频域下的非盲卷积算法进行去模糊，得到对应的清晰图像基Xi；S24、将时域模糊图像P转换到频域模糊图像P1；S25、对于新的频域模糊图像P1，由于清晰图像分别得到模糊图像Y和模糊图像P1所使用的模糊核K是相同的，对于新的模糊图像的频谱矩阵P1，同样将其拆分成基的线性组合P1＝α1’H1+α2’H2+…+αn’Hn，则对应的清晰图像能直接表示为X＝α1’X1+α2’X2+…+αn’Xn，将所得到的清晰图像X再转换到时域得到去模糊的柱面全景图P'；S3、将去模糊的柱面全景图P’正投影到鱼眼图像得到清晰鱼眼图像I’。进一步的，所述S1具体为：根据鱼眼图像中的点I(i,j)反投影到柱面全景图像中的点P(u,v)，找到柱面全景图像中水平和垂直方向的相邻点像素点P(u+1,v)和P(u,v+1)，再根据正投影找到鱼眼图像中对应的像素点I(i+s_1,j+t_1)和I(i+s_2,j+t_2)，然后将鱼眼图像中像素点I(i+s_1,j+t_1)和I(i+s_2,j+t_2)的像素值赋予到柱面图像中对应的像素点P(u+1,v)和P(u,v+1)，依次迭代，得到柱面全景图P。进一步的，所述步骤S22中，频谱矩阵的基的选取方式：以频谱矩阵的中心点为原点，根据基的个数将频谱矩阵从里至外依次划分成与基的个数相等的多个宽度相同的矩形环，每个基的大小与频谱矩阵大小一致，最里面的矩阵环至最外的矩阵环依次设为第一矩阵环，第二矩阵环……第n矩阵环，首先将最里面的矩阵环每个像素设为1，其余两个矩形环的像素设为0，得到基H1；然后将第二矩阵环每个像素设为1，其余两个矩形环的像素设为0，得到基H2；按照这种方法依次类推，最终得到所有的基。进一步的，步骤S33中所采用的方法是基于L2范数的非盲卷积图像复原算法，算法主要流程如下：模糊图像y表示为清晰图像x与模糊核k的卷积y＝x*k，若基于最大后验概率MAP的思想，图像复原问题表示为：x＝argmaxxP(x|y)∝P(y|x)P(x)(1)公式(1)中，x表示最终所求得的清晰图像；y表示已知的模糊图像；P(x|y)表示已知模糊图像，得到清晰图像为x的概率；P(y|x)表示如果已知清晰图像，得到对应模糊图像为y的概率；P(x)表示对原始清晰图像已知的先验概率；假设噪声服从高斯分布，而且方差为η，则表示为：公式(2)中，P(y|x)表示如果已知清晰图像，得到对应模糊图像为y的概率，由清晰图像得到模糊图像的过程理解为添加了噪声，所以这个概率近似为方差为η的高斯分布Cf为N′N的卷积矩阵；假设图像先验能用一系列的滤波gk表示，而且图像对先验滤波的反应尽可能地小，则图像先验表示为：其中，P(x)表示清晰图像的已知先验信息；水平方向的滤波为gx＝[1-1]；垂直方向的滤波为gy＝[1-1]T；ρ表示先验函数；gi,k表示针对第i个像素的第k个滤波；去公式(1)、(2)、(3)的对数形式，则能得到图像复原的目标函数：||y-Cfx||2+ω∑i，kρ(gi,k*x)(4)公式(4)中w＝αη2；取高斯图像先验，并且设ρ(z)＝|z|2；对公式(4)求导，并且令导数为零，则能够得到Ax＝b，其中将Ax＝b转换到频域下求解则得到：公式(5)即为频域下基于L2范数的非盲卷积图像复原算法最终结果，其中v和ω表示频域下的坐标。本方法根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；然后对于柱面全景图，将频域下图像复原算法的矩阵相乘进行拆分，提出一种基于频域矩阵分解的鱼眼镜头计算成像方法，从根本上省略了现有图像去模糊算法多次迭代优化过程，直接由所求得的基Xi和相应的线性组合系数αi’通过相乘相加得到最终的清晰柱面全景图像P’，然后将清晰柱面全景图像P’正投影到鱼眼图像得到清晰鱼眼图像I’，该方法所需计算时间大大减少，可以满足鱼眼镜头成像的实时性需求，这种方法在图像处理和相机设计领域都具有非常重要的意义。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的鱼眼图像柱面反投影示意图；图2是本专利技术实施例提供的一种快速鱼眼图像去模糊方法流程图；图3是本专利技术实施例提供的频域矩阵对应基的选取方式示意图；图4是本专利技术实施例提供的模糊图像频谱矩阵基表示示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动本文档来自技高网...

【技术保护点】
一种快速鱼眼图像去模糊方法，其特征在于，包括：S1、根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；S2、采用基于频域矩阵分解的方法对柱面全景图像P进行去模糊，得到去模糊的柱面全景图P'；具体包括：S21、将时域下模糊图像y和对应的模糊核k转换到频域，得到对应的模糊图像的频谱矩阵Y和模糊核的频谱矩阵K；S22、将频谱矩阵Y用一系列基表示Y＝α

【技术特征摘要】
1.一种快速鱼眼图像去模糊方法，其特征在于，包括：S1、根据鱼眼图像与柱面全景图的投射与反投射关系，将鱼眼图像反投射到柱面全景图，得到对应得柱面全景图；S2、采用基于频域矩阵分解的方法对柱面全景图像P进行去模糊，得到去模糊的柱面全景图P'；具体包括：S21、将时域下模糊图像y和对应的模糊核k转换到频域，得到对应的模糊图像的频谱矩阵Y和模糊核的频谱矩阵K；S22、将频谱矩阵Y用一系列基表示Y＝α1H1+α2H2+…+αnHn；线性组合的系数ai即是与频域矩阵Y中与基Hi对应的那一部分数值；S23、针对Y的每一个基Hi，结合模糊核K，采用频域下的非盲卷积算法进行去模糊，得到对应的清晰图像基Xi；S24、将时域模糊图像P转换到频域模糊图像P1；S25、对于新的频域模糊图像P1，由于清晰图像分别得到模糊图像Y和模糊图像P1所使用的模糊核K是相同的，对于新的模糊图像的频谱矩阵P1，同样将其拆分成基的线性组合P1＝α1’H1+α2’H2+…+αn’Hn，则对应的清晰图像能直接表示为X＝α1’X1+α2’X2+…+αn’Xn，将所得到的清晰图像X再转换到时域得到去模糊的柱面全景图P'；S3、将去模糊的柱面全景图P’正投影到鱼眼图像得到清晰鱼眼图像I’。2.根据权利要求1所述的快速鱼眼图像去模糊方法，其特征在于：所述S1具体为：根据鱼眼图像中的点I(i,j)反投影到柱面全景图像中的点P(u,v)，找到柱面全景图像中水平和垂直方向的相邻点像素点P(u+1,v)和P(u,v+1)，再根据正投影找到鱼眼图像中对应的像素点I(i+s_1,j+t_1)和I(i+s_2,j+t_2)，然后将鱼眼图像中像素点I(i+s_1,j+t_1)和I(i+s_2,j+t_2)的像素值赋予到柱面图像中对应的像素点P(u+1,v)和P(u,v+1)，依次迭代，得到柱面全景图P。3.根据权利要求2所述的快速鱼眼图像去模糊方法，其特征在于：所述步骤S22中，频谱矩阵的基的选取方式：以频谱矩阵的中心点为原点，根据基的个数将频谱矩阵从里至外依次划分成与基的个数相等的多个宽度相同的矩形环，每个基的大小与频谱矩阵大小一致，最里面的矩阵环至最外的矩阵环依次设为第一矩阵环，第二矩阵环……第n矩阵环，首先将最里面的矩阵环每个像素设为1，其余两个矩形环的像素设为0，得到...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙全度影像科技有限公司，
类型：发明
国别省市：湖南,43