一种空时配准解卷积的非同步多视频超分辨率方法技术

本发明专利技术公开了一种空时配准解卷积的非同步多视频超分辨率方法，首先对采集到的同场景、同时段、非同步视频集进行区域分割，区分出静止区域和活动区域；然后依据视频的静止区域，对视频集进行空间配准，并将视频集里的所有视频配准为同拍摄方位的视频；接着依据视频活动区域，对视频集进行时间配准，并进行同步视频合成重建；最后对合成重建后的视频集再次进行时间配准，并根据配准结果通过解卷积方式实现时间超分辨率重建，得到等时间间隔的高帧率高分辨率视频。本发明专利技术在视频空时分辨率提升的基础上，使视频中活动物体的拖尾效应得以解除，同时也摆脱了常规视频超分辨率在帧率提升程度方面的局限。

【技术实现步骤摘要】

本专利技术属于计算机图像与视频处理领域，涉及。
技术介绍
超分辨率，通常是指将多帧低分辨率观测图像合并重建出高分辨率图像的过程。目前，已有众多的超分辨率算法被提出，其中大多数算法的实现基础和路径如下所述。多帧观测图像信息能够互补，从而实现超分辨率的前提是:单相机和场景之间有一些小的相对运动，或多相机之间的位置和角度有小的差异。因此，超分辨率的第一步就是多帧图像配准，即估计像素从一个图像到其它图像的映射关系。第二步是基于配准的多帧图像融合，融合结果要满足一定重建约束，也即当对重建出的高分辨率图像模拟退化(包括:根据配准数据进行适当形变，模拟图像生成过程进行降采样)后，能够再现观测图像。这一重建约束可很好地嵌入到用以实现重建的贝叶斯框架之中，且贝叶斯框架应包含高分辨率图像先验信息。一般情况下，超分辨率算法只是遵循上述步骤和框架重建出一帧图像。即使是重建出多帧图像的视频超分辨率，通常也仅是提高空间分辨率，其时间分辨率并未改善。事实上，对于视频质量，除了在空间上对图像分辨率增强外，还需要在时间上增加帧率使输出视频更加流畅。尤其对于低帧率摄像机获取的高速运动场景的视频，时间分辨率的提升更加需要。当然，时间插值可以用来提高视频的帧率，是完善视频超分辨率的一种简便易行方法。然而，对于高速活动场景来说，摄像机曝光时间较长会造成视频中的运动物体产生拖尾效应，无法通过时间插值解除，且插值函数选取的任意性也使帧率提高和复原的程度受到限制。
技术实现思路
专利技术目的:为了克服现有技术中所存在的视频中运动物体的拖尾效应，以及时间插值函数选取任意性对提高视频帧率的局限等问题，本专利技术提出，在满足视频空间分辨率和帧率同时提升的基础上，进一步减小了帧率提升的限制，提高了视频中运动物体的清晰度，适应了更高的视频超分辨率需求。技术方案:为实现上述目的，本专利技术的空时配准解卷积的非同步多视频超分辨率方法，包括以下步骤:(I)使用至少两台摄像机在同一时段对同一高速活动场景进行拍摄，摄像机开始拍摄时刻不全同步，得到视频集I = Ui I i e N}，N为不小于2的自然数集；(2)依次对每一部视频Ii进行动、静区域的分割处理得到视频Xi，最终得到视频集X = Ixi I i e N}；(3)任选视频集X中的某一视频为空间参考视频，根据视频中的静止区域对视频集X进行空间配准，将所述视频集X中的所有视频配准为与所述空间参考视频同一拍摄方位的等效视频，得到视频集Y = Iyi I i e N}；(4)根据视频活动区域中物体的运动状态，对视频集Y进行时间配准，所述时间配准指的是任选视频集Y中的某一视频为时间参考视频，确定每部视频Yi与所述时间参考视频的拍摄时间差，然后进行同步视频合成重建，得到视频集Z= {Zi|i e N};(5)任选视频集Z中的某一视频为时间参考视频，根据视频活动区域中物体的运动状态，对视频集Z进行时间配准，即确定每部视频Zi与所述时间参考视频的拍摄时间差(6)以所述视频集Z中的时间参考视频为基准视频，根据拍摄时间差Ati,将视频集Z中的每一部视频Zi插入到所述时间参考视频的时间轴的相应时刻形成视频z，所述视频z的所有视频帧在每个平面坐标(m，n)处的像素均组成一个像素链z (t)mn，z(t)?是非均匀时间间隔采样的离散函数，其中t表示时间；对表达式z(t)mn= sample 进行解卷积运算，求出未被模糊的高时间分辨率、等时间间隔的原始像素链0(t)?，遍历所有坐标(m，n)求解0(0?后，得到视频O，其中，sample 为采样函数，*为卷积符号，blur (t)为已知的时间卷积核；(7)输出视频O，作为超分辨率最终结果。其中，所述视频集I中的所有视频为同时段但非同步的视频，且空时分辨率均相同。其中，所述步骤(2)中对每一部视频Ii进行动、静区域的分割处理包括以下步骤:(I)对视频Ii (即图像序列IiU) (j = 1，2...)，j为视频中图像的序数)进行空间配准，得到配准后的视频ri;(2)对所述配准后的视频ri的所有相邻帧进行差分运算，得到差分图像序列djj)(j = I, 2...)；(3)将差分图像djj)的像素值与事先所设定的阈值进行比较，如果每帧差分图像屯(」)在某区域的所有像素值均小于所述事先所设定的阈值，则将所有图像1^(」)(j =1，2...)的对应区域设为静止区域，否则为活动区域，从而形成视频\，所述视频\为静止区域和活动区域相互分割的图像序列XiU) (j = I, 2...)。其中，所述步骤(4)中进行同步视频合成重建包括以下步骤:(I)根据所述拍摄时间差，将所述视频集Y分为若干组，将采样时刻相同的同步视频记作一个同步视频组，其余的记作非同步视频；(2)对所述视频集Y中的每一个同步视频组都进行空间超分辨率重建，即将每一个同步视频组中所有相同时刻的图像进行该时刻的图像超分辨率重建得到一部新视频，所有重建的新视频的空间分辨率均相同；(3)将所述非同步视频中的图像均复原放大，也得到一组新视频，其空间分辨率与所述同步视频组的新视频保持一致。有益效果:本专利技术的视频超分辨率方法在视频空时分辨率提升的基础上，采用非同步多视频进行合成及空时配准解卷积法，使视频中活动物体的运动拖尾效应得以解除，同时也摆脱了常规视频超分辨率在帧率提升程度方面的局限。【附图说明】图1是本专利技术方法的流程图；图2是同时段非同步视频集的示意图；图3是确定静止区域和活动区域的流程图；图4是静止区域和活动区域相互分割的视频示意图；图5是同步视频合成重建过程示意图；图6是视频插入过程的剖面示意图； 图7是逐坐标对视频的像素链解卷积的示意图；图中I1' 12、13、14、yp y2、y3、y4、Z0 z2、z3、z、O 为不同视频的标记，t 表示时间。【具体实施方式】下面结合实施例对本专利技术作更进一步的说明。如图1所示，本专利技术提供的，包括如下步骤:第I步，针对某一高速活动场景，采集相同空时分辨率的同时段、非同步视频集I=UiIie N}，N为不小于2的自然数。使用至少两个相同型号的摄像机，在同一时段对同一高速活动场景进行拍摄，摄像机开始拍摄时刻不全同步。事实上，即使同时启动多个摄像机，由于时间误差和软硬件公差，其所拍摄的视频之间也会存在帧的非同步现象。同时段非同步视频集I = UiIi e N}如图2所示。为简洁明了，图2仅显示了 I中典型的四部视频山、12、13和14。在I中，除类似12和14这样的视频启动时刻同步外，大多数视频启动时刻并不同步，导致视频集非同步。第2步，如图3所示，依次对I中的每一部视频Ii进行动、静区域的分割处理得到视频Xi，最终可组成视频集X = Ixi I i e N}，N为不小于2的自然数，具体步骤如下:①将视频Ii中的图像序列Ii(J) (j = 1,2...)进行空间配准，j为视频中图像的序数，得到图像配准的视频ri;②对配准后的视频ri的所有相邻帧进行差分运算!■山_+1)-1"山_)，得到差分图像序列(1山_) (j = 1,2-) 根据差分图像序列的像素值大小，分割出图像序列1^(」)(j = 1，2…)的静止区域和活动区域，具体方法为:如果每帧差分图像djj)在某区域的所有像素值均小于事先所设定的本文档来自技高网...

【技术保护点】
一种空时配准解卷积的非同步多视频超分辨率方法，其特征在于，该方法包括以下步骤：(1)使用至少两台摄像机在同一时段对同一高速活动场景进行拍摄，摄像机开始拍摄时刻不全同步，得到视频集I＝{Ii|i∈N}，N为不小于2的自然数集；(2)依次对每一部视频Ii进行动、静区域的分割处理得到视频xi，最终得到视频集X＝{xi|i∈N}；(3)任选视频集X中的某一视频为空间参考视频，根据视频中的静止区域对视频集X进行空间配准，将所述视频集X中的所有视频配准为与所述空间参考视频同一拍摄方位的等效视频，得到视频集Y＝{yi|i∈N}；(4)根据视频活动区域中物体的运动状态，对视频集Y进行时间配准，所述时间配准指的是任选视频集Y中的某一视频为时间参考视频，确定每部视频yi与所述时间参考视频的拍摄时间差，然后进行同步视频合成重建，得到视频集Z＝{zi|i∈N}；(5)任选视频集Z中的某一视频为时间参考视频，根据视频活动区域中物体的运动状态，对视频集Z进行时间配准，即确定每部视频zi与所述时间参考视频的拍摄时间差Δti；(6)以所述视频集Z中的时间参考视频为基准视频，根据拍摄时间差Δti，将视频集Z中的每一部视频zi插入到所述时间参考视频的时间轴的相应时刻形成视频z，所述视频z的所有视频帧在每个平面坐标(m,n)处的像素均组成一个像素链z(t)mn，z(t)mn是非均匀时间间隔采样的离散函数，其中t表示时间；对表达式z(t)mn＝sample[O(t)mn*blur(t)]进行解卷积运算，求出未被模糊的高时间分辨率、等时间间隔的原始像素链O(t)mn，遍历所有坐标(m,n)求解O(t)mn后，得到视频O，其中，sample[·]为采样函数，*为卷积符号，blur(t)为已知的时间卷积核；(7)输出视频O，作为超分辨率最终结果。...

【技术特征摘要】

【专利技术属性】
技术研发人员：徐枫，蒋德富，石爱业，张振，吴学文，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32