一种面向移动终端的抖动模糊图像复原方法技术

本发明专利技术公开了一种面向移动终端的抖动模糊图像复原方法；包括(1)获得一幅移动终端抖动时的模糊图像；(2)获得陀螺仪在相机快门开启时间内，与移动终端抖动轨迹相关的输出序列；(3)对输出序列进行积分处理后获得移动终端的转动角度，并将转动角度进行坐标映射，获得抖动PSF模板；(4)根据模糊图像和所述抖动PSF模板，采用图像复原算法进行复原处理，获得复原图像。本发明专利技术根据移动终端内置的陀螺仪估计移动终端内置相机在快门开启时间内的抖动轨迹；将陀螺仪的输出序列值进行积分得到移动终端的转动角度，坐标映射到像平面坐标系，得到抖动PSF模板，利用该PSF模板和相应的图像复原算法即可对模糊图像进行有效复原。

【技术实现步骤摘要】

本专利技术属于图像处理
，更具体涉及一种面向移动终端的抖动模糊图像复 原方法。
技术介绍
移动终端的内置相机在拍摄图片过程中，不可避免的会由于各种原因的抖动而导 致图像产生模糊，而多数时候拍摄瞬间具有不可重现性，因此对拍摄的模糊图像进行复原 就十分有必要。市场上绝大部分的移动终端都内置陀螺仪，这使得获取移动终端在相机快 门开启时间内的运动信息成为可能，根据移动终端的运动信息就能获取该时间内的抖动 PSF模板，然后根据图像复原算法和上述的抖动PSF模板对该模糊图片进行复原处理，就可 以得到复原图像。 图像复原在图像处理领域非常重要，其复原过程实际上是一种估计过程，根据图 像模糊的因素构建相应的复原模型，从而采取相应的图像复原算法对模糊图像进行复原， 提高图像的清晰度，改善其视觉效果。 模糊图像复原一直是图像处理领域的研究热点和难点，根据PSF是否已知，模糊 图像复原分为盲复原和非盲复原，非盲复原相比盲复原主要多出PSF的估计过程，这往往 是图像复原的难点。目前有很多从模糊图像中直接提取PSF的方法，此类方法复杂程度高， 计算时间较长，提取效果受图像内容影响较大，适应性一般。
技术实现思路
针对现有技术的缺陷，本专利技术提供了一种面向移动终端的抖动模糊图像复原方 法，其目的在于利用终端内置的陀螺仪获取PSF，然后将其应用到非盲复原算法中对模糊图 像进行复原，提高图像的清晰度。 本专利技术提供了，包括下述步骤： (1)获得一幅移动终端抖动时的模糊图像； (2)通过陀螺仪获得相机快门开启时间内，与移动终端抖动轨迹相关的输出序 列； 其中，输出序列为mXn组数据，数据格式为（Gxl,Gyl,Gzl,tj，m为陀螺仪的采样频 率，n为相机的快门开启时间，下标i表示输出序列号，取值为1，2，……，mXn，Gxl表示第 i组绕X轴旋转的角速度，Gyl表示第i组绕Y轴旋转的角速度，GZ1表示第i组绕Z轴旋转 的角速度，h表示第i组数据的采样时刻，X轴为相机的视轴，Y轴为像平面的纵轴，Z轴为 像平面的横轴； (3)对所述输出序列进行积分处理，获得相机在其所在XYZ坐标系中Y轴和Z轴的 转动角度，并将所述转动角度进行坐标映射，获得抖动PSF模板； (4)根据所述模糊图像和所述抖动PSF模板，采用图像复原算法进行复原处理，获 得复原图像。 更进一步地，获得抖动PSF模板的步骤具体为： (1)初始化一个空链表L，令输出序列号i的初始值为1 ; (2)对所述输出序列进行积分处理，获得相机在快门开启时间内h时刻在其所在 XYZ坐标系中Y轴的转动角度0yjPZ轴的转动角度0 zl; (3)将相机在Y轴的转动角度0yjPZ轴的转动角度0Z1映射到像平面坐标系中， 得到像平面中h时刻的一个位置点（yi，Zl，A ，并将它添加到链表L中； 其中，71为ti时刻Y轴的偏移位置，z$ti时刻Z轴的偏移位置，At为相机姿 态在该位置的保持时间，y;=hXtan( 0 yi) ,Zi=hXtan( 0zi)，Ah=tpftyh表示相机 镜头焦距； (4)判断i是否等于mXn，若是，则进入步骤（5);若否，则i加1，并返回至步骤 (2)； (6)初始化一个（2X|y|_+l)行，（2X|z|_+l)列的全0矩阵M，并令数据序列号 j的初始值为1 ; (7)取出链表L中的第j组数据（yj，zj，Atj，将矩阵M中第（yj+1y|_)行第 (zj+IzI_)列的元素值加Atj; (8)判断j是否等于mXn，若是，则进入步骤（9);若否，则j加1，并返回至步骤 (7)； (9)将矩阵M进行归一化，即得到抖动PSF模板。 本专利技术与现有技术相比的优点在于： (1)本专利技术为了提高模糊图像的清晰度，对其进行非盲复原处理，可以估计出模糊 图像的PSF;具体地利用陀螺仪输出序列准确计算相机在快门开启时间内的运动轨迹，然 后通过坐标映射就可以估计出模糊图像的PSF，再将该PSF应用到非盲复原算法中对模湖 图像进行复原处理，获得复原图像，从而提高了图像的清晰度。 (2)本专利技术只与终端相机的状态有关，而与所拍摄图片的内容无关；而现有的PSF 提取方法大多在分析模糊图像的内容后，根据先验知识对PSF进行估计和提取，这些方法 计算量大且使用范围多有局限性，本专利技术只需要根据终端相机姿态变化的输出序列进行模 糊图像的PSF提取，与拍摄内容无关，适用性强。 (3)本专利技术根据移动终端内置的陀螺仪的输出序列直接计算模糊图像的PSF，而 这些数据量比较有限，因此本专利技术在PSF提取上复杂程度很低，计算量很小。 (4)纯数字化处理，不需要添加额外的硬件，成本低廉。通过上面的描述可以看出， 本专利技术只根据移动终端内置的陀螺仪就能得到理想的结果，复原操作纯数字化，完全不需 要其他辅助硬件设备，成本低廉，具有广泛的实用价值。【附图说明】 图1是本专利技术实施例提供的相机XYZ坐标系图，其中X轴为相机的视轴，Y轴为像 平面的纵轴，Z轴为像平面的横轴； 图2是本专利技术实施例提供的复原流程图； 图3是本专利技术实施例提供的输出序列到像平面的坐标关系图； 图4是本专利技术实施例提供的PSF的提取流程图； 图5是本专利技术实施例提供的实际复原效果对比图，其中图（a)、（b)为两幅模糊图 像，图（c)是图（a)的复原效果图，图⑷是图（b)的复原效果图。【具体实施方式】 为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并 不用于限定本专利技术。 相机的抖动分为平动和旋转，平动对图像质量的影响较小，可以不考虑，旋转对图 像质量的影响很大，是造成图像模糊的主要原因。图1是本实施例提供的相机XYZ坐标系 图，其中X轴为相机的视轴，Y轴为像平面的纵轴，Z轴为像平面的横轴。相机的旋转就是绕 着X轴、Y轴和Z轴的旋转。而绕X轴的旋转对成像的影响比较小，所以也可以不考虑。 本专利技术提供了，能够估计出相机快门 开启时间内的抖动PSF模板，并用此PSF模板进行抖动模糊图像的数字化复原。本专利技术利 用移动终端内置的陀螺仪获得相机绕所述X轴、Y轴和Z轴旋转的输出序列，然后估计出相 机在快门开启时间内的抖动轨迹，再通过坐标映射得到模糊图像的PSF，最后将此PSF应用 到图像复原算法中对模糊图像进行数字复原，从而提高图像的清晰度，改善其视觉效果。由 于相机和陀螺仪都内置于移动终端，因此相机和陀螺仪拥有相同的抖动轨迹，所以可以用 陀螺仪在相机快门开启时间内的输出序列得到相机的运动信息。 在本专利技术提供的面向移动终端的抖动模糊图像复原方法中，最后需要将抖动PSF 模板应用到图像复原算法中才能对模糊图像进行复原，本实施例选用的图像复原算法为 Richardson-Lucy算法。图2是本专利技术实施例提供的复原流程图，具体包括下述步骤： (1)获得一幅移动终端抖动时的模糊图像； (2)通过陀螺仪获得相机在快门开启时间内绕所述X轴、Y轴和Z轴旋转的输出序 列。 (3)对上述输出序列进行积分处理，得到快门开启时间内各时刻相机Y轴和Z轴的 转动角度。 (4)将步骤（3)中求得的转动角度通过坐标转换映射到像平面坐标系，得到抖动 PSF模板。 (5)利用Rich本文档来自技高网...

【技术保护点】
一种面向移动终端的抖动模糊图像复原方法，其特征在于，包括下述步骤：(1)获得一幅移动终端抖动时的模糊图像；(2)通过姿态传感器获得相机快门开启时间内，与移动终端抖动轨迹相关的输出序列；其中，输出序列为m×n组数据，数据格式为(Gx,Gy,Gz,t)，m为姿态传感器的采样频率，n为相机的快门开启时间，Gx表示相机所在XYZ坐标系中X轴的输出值，Gy表示Y轴的输出值，Gz表示Z轴的输出值，t表示采样时刻，其中X轴为相机的视轴，Y轴为像平面的纵轴，Z轴为像平面的横轴；采样时刻ti对应的输出序列为(Gxi,Gyi,Gzi,ti)，i为采样时刻的序号，i的取值为1，2，……，m×n；(3)对所述输出序列进行处理获得移动终端的转动角度，并将所述转动角度进行坐标映射，获得抖动PSF模板；(4)根据所述模糊图像和所述抖动PSF模板，采用图像复原算法进行复原处理，获得复原图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：马杰，刘江伟，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42