一种基于双重曝光先验的视频去模糊方法及装置制造方法及图纸

本发明专利技术提供一种基于双重曝光先验的视频去模糊方法及装置，其中，该方法包括以下步骤：(A)设计相机的双重曝光模式，获取“长‑短”曝光帧连续交替的视频；(B)对所获取视频中的短曝光帧进行亮度拉伸；(C)设定双重曝光先验项，构建长曝光模糊帧的去模糊总体方程；(D)采用半二次分裂法对长曝光帧去模糊方程进行求解，得到模糊核；(E)采用非盲解卷积算法对长曝光模糊帧进行复原，恢复出去模糊的长曝光帧；(F)循环执行步骤B到E直至所有的长曝光帧处理完成，得到最终去模糊后的清晰视频。该方法可以准确估计出模糊核，最终恢复的视频图像序列具有较好视觉效果，并且显著提高了视频去模糊的效率。

A Video Deblurring Method and Device Based on Double Exposure Prior

【技术实现步骤摘要】
一种基于双重曝光先验的视频去模糊方法及装置
本专利技术涉及数字图像处理领域，尤其是一种基于双重曝光先验的视频去模糊方法及装置。
技术介绍
视频图像是人们获取客观世界信息的重要途径。然而在相机成像曝光时间内，由于相机的抖动或者物体的快速运动，导致获取到的视频存在运动模糊现象，给视频图像内容分析与应用带来了极大困难。视频去模糊是图像复原问题中的重要课题之一，视频去模糊可以利用图像去模糊算法逐帧进行复原，如单张图像和多张图像去模糊方法。单张图像去模糊方法通常利用各种自然图像先验信息作为去模糊方程的约束项，如自然图像梯度稀疏先验，并采用多尺度方法迭代求解，保证模糊核估计的收敛性。但是，由于模糊过程丢失了部分信息，单张图片去模糊算法可利用信息较少，难以准确估计模糊核，从而导致最终图像去模糊效果较差。多张图像去模糊算法通过结合多张不同模糊图片信息，理论上可以得到更好的去模糊结果。然而，由于在多张图像去模糊过程中，通常需要对多张图片进行像素级融合操作，使得去模糊结果受到多张图片对齐效果的影响，从而导致去模糊结果容易出现失败的情况。由于忽略了视频中时序信息上的关联性，因此，现有单张或多张图像去模糊方法在视频去模糊问题上难以取得令人满意的效果。此外，现有去模糊算法大部分是从后期图像处理算法角度出发，未考虑相机前端获取因素，忽略了曝光时间对模糊的影响，难以有效解决复杂的模糊问题。由模糊过程可知，影响物体模糊程度的一个重要因素是曝光时间。缩短曝光时间，虽然会使图像亮度不足、噪音增加，但同时也可以获取到边缘轮廓清晰的无运动模糊图像。因此，可以在长曝光模糊图像去模糊的过程中利用短曝光图像作为辅助信息，达到更好的去模糊效果。为了解决现有去模糊方法中存在的模糊核难以准确估计、去模糊结果受对齐算法限制、模糊方程求解效率低等问题，本专利技术提出一种基于双重曝光先验的视频去模糊方法及装置，通过控制视频中每一帧的曝光时间，在相机抖动导致长曝光帧出现运动模糊时，缩短相机曝光时间以获得边缘轮廓清晰的无运动模糊的短曝光帧。利用长、短曝光图像设定L2范式的双重曝光先验项，加入到去模糊优化方程中，避免多张图像在像素级上进行融合操作，准确估计出模糊核，恢复清晰视频图像，并提高算法的运行效率。
技术实现思路
为了克服现有技术中上述问题，本专利技术提供一种基于双重曝光先验的视频去模糊方法及装置。一方面，本专利技术提出一种基于双重曝光先验的视频去模糊方法，其特征在于包括以下步骤：S1)设计相机的双重曝光模式，即设置交替的长曝光时段和短曝光时段，将曝光时间控制信号输入相机控制接口，获取长曝光帧-短曝光帧连续交替的视频；S2)对所获取的视频中的短曝光帧进行预处理，根据与当前的短曝光帧相邻的长曝光帧的灰度值，对短曝光帧进行亮度拉伸，获得拉伸的短曝光帧：xs＝x0×(Ey/E0)其中，x0为原始的短曝光帧，xs为拉伸后的短曝光帧，Ey为长曝光帧的灰度均值，E0为短曝光帧的灰度均值；S3)对所获取的视频中的长曝光帧进行去模糊，设定双重曝光先验项，构建长曝光模糊帧的去模糊方程，包括：S301)利用与当前的长曝光帧相邻的拉伸的短曝光帧作为辅助信息，设定双重曝光先验对潜在清晰图像进行约束：其中，x为潜在清晰图像，xs为拉伸的短曝光帧，为潜在清晰图像的梯度，为拉伸后的短曝光帧的梯度。由于拉伸后的短曝光帧的噪音仍然为高斯噪音，并且基于最大后验概率的求解方法能够有效处理高斯噪音，因此采用L2范式的正则化先验项对图像噪音进行建模；另外，加入图像在梯度上的正则化先验项以约束图像噪音使其满足空间分布随机性；S302)利用双重曝光先验项，构建长曝光模糊帧的去模糊总体方程：其中，x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ和γ是权重因子；S4)采用半二次分裂法对去模糊总体方程进行求解，将其分解为清晰图像子问题和模糊核子问题，包括：S401)求解清晰图像子问题：其中x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ是权重因子；S402)求解模糊核子问题：其中，分别代表潜在清晰图像的梯度、长曝光模糊帧的梯度和模糊核；γ是权重因子；迭代求解所述子问题，得到长曝光模糊帧的模糊核；S5)根据求得的模糊核，采用基于超拉普拉斯先验的非盲解卷积算法对长曝光模糊帧进行复原，得到去模糊的长曝光帧；S6)循环执行步骤S2到S5直至所有的长曝光帧处理完成，得到去模糊后的清晰视频另一方面，本专利技术提出一种基于双重曝光先验的视频去模糊装置，包括：长-短曝光视频获取模块，用于将曝光时间控制信号输入相机控制接口，获取长曝光帧-短曝光帧连续交替的视频；亮度拉伸模块，用于对所获取的视频中的短曝光帧进行亮度拉伸；设定先验构建去模糊方程模块，用于设定双重曝光先验项，构建长曝光模糊帧的去模糊方程；迭代优化模块，采用半二次性分裂方法，迭代求解子问题，得到长曝光帧的模糊核；非盲解卷积复原模块，利用所述的模糊核，采用非盲解卷积算法对长曝光模糊帧进行复原，得到去模糊的长曝光帧。本专利技术的有益效果包括：本专利技术考虑到曝光时间对运动模糊的影响，获取到“长-短”曝光帧连续交替的视频，设定L2范式的双重曝光先验，构建去模糊总体方程，采用半二次分裂方法求解，得到子问题的闭式解，最终准确估计出模糊核，恢复清晰视频图像。本专利技术方法设定的双重曝光先验保证了模糊核求解的准确性和鲁棒性，并且不受多张图片对齐结果的影响。另外，加入L2范式双重曝光先验的去模糊方程，可以通过半二次分裂法求得闭式解，并通过快速傅里叶变换进行加速，提高了去模糊问题求解的准确性和效率。附图说明图1是根据本专利技术的一个实施例的基于双重曝光先验的视频去模糊方法的流程图；图2是根据本专利技术的一个实施例的相机曝光时间控制信号的示意图；图3是根据本专利技术的一个实施例的一种基于双重曝光先验的视频去模糊装置的结构示意图。图4(a)和4(b)是根据本专利技术的测试的真实长曝光模糊帧与复原后的清晰帧对照图；具体实施方式以下结合附图对本专利技术作进一步说明。本专利技术针对相机抖动造成的运动模糊问题，提出一种基于双重曝光先验的视频去模糊方法，通过控制视频每一帧的曝光时间，在相机抖动导致正常的长曝光帧出现运动模糊时，缩短相机曝光时间以获得边缘轮廓清晰的无运动模糊的短曝光帧。利用长曝光帧和短曝光帧设定L2范式的双重曝光先验项，构建长曝光模糊帧的去模糊总体方程，采用半二次分裂方法求解，迭代优化清晰图像子问题和模糊核子问题。根据求解得到的模糊核，对长曝光模糊帧采用基于超拉普拉斯先验的非盲解卷积算法进行复原，得到去模糊结果，恢复出清晰视频。如图1所示，根据本专利技术的一个实施例的基于双重曝光先验的视频去模糊方法的具体流程图包括：S1：设计相机的双重曝光模式，即设置交替的长曝光时段和短曝光时段，将曝光时间控制信号输入相机控制接口，获取长曝光帧-短曝光帧连续交替的视频；具体地，为了获取到长曝光帧和短曝光帧连续交替的视频，相机的曝光时间控制信号如图2所示，高电平信号宽度决定视频中每一帧的曝光时间；为保证长曝光帧具有足够的亮度，长曝光帧的曝光时间值设置与自动曝光时间值相同；为保证短曝光帧边缘轮廓清晰并且无运动模糊，将短曝光帧的曝光时间值设置为低于安全快门时间的值。S2：对所获取的视频中的本文档来自技高网...

【技术保护点】
1.一种基于双重曝光先验的视频去模糊方法，其特征在于包括以下步骤：S1)设计相机的双重曝光模式，即设置交替的长曝光时段和短曝光时段，将曝光时间控制信号输入相机控制接口，获取长曝光帧‑短曝光帧连续交替的视频；S2)对所获取的视频中的短曝光帧进行预处理，根据与当前的短曝光帧相邻长曝光帧的灰度值，对短曝光帧进行亮度拉伸，获得拉伸的短曝光帧；S3)对所获取的视频中的长曝光帧进行去模糊，设定双重曝光先验项，构建长曝光模糊帧的去模糊总体方程，包括：S301)利用与当前的长曝光帧相邻的拉伸的短曝光帧作为辅助信息，设定双重曝光先验对潜在清晰图像进行约束：

【技术特征摘要】
1.一种基于双重曝光先验的视频去模糊方法，其特征在于包括以下步骤：S1)设计相机的双重曝光模式，即设置交替的长曝光时段和短曝光时段，将曝光时间控制信号输入相机控制接口，获取长曝光帧-短曝光帧连续交替的视频；S2)对所获取的视频中的短曝光帧进行预处理，根据与当前的短曝光帧相邻长曝光帧的灰度值，对短曝光帧进行亮度拉伸，获得拉伸的短曝光帧；S3)对所获取的视频中的长曝光帧进行去模糊，设定双重曝光先验项，构建长曝光模糊帧的去模糊总体方程，包括：S301)利用与当前的长曝光帧相邻的拉伸的短曝光帧作为辅助信息，设定双重曝光先验对潜在清晰图像进行约束：其中，x为潜在清晰图像，xs为拉伸的短曝光帧，为潜在清晰图像的梯度，为拉伸后的短曝光帧的梯度。由于拉伸后的短曝光帧的噪音仍然为高斯噪音，并且基于最大后验概率的求解方法能够有效处理高斯噪音，因此采用L2范式的正则化先验项对图像噪音进行建模；另外，加入图像在梯度上的正则化先验项以约束图像噪音使其满足空间分布随机性；S302)利用双重曝光先验项，构建长曝光模糊帧的去模糊总体方程：其中，x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ和γ是权重因子；S4)采用半二次分裂法对去模糊总体方程进行求解，将其分解为清晰图像子问题和模糊核子问题，包括：S401)求解清晰图像子问题：其中x,y,k分别代表潜在清晰图像、长曝光模糊帧和模糊核；p(x)是双重曝光先验项；λ是权重因子；S402)求解模糊核子问题：其中...

【专利技术属性】
技术研发人员：胡海苗，张旭，李波，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11