一种基于宽度学习的视频去抖动方法技术

本发明专利技术提供一种基于宽度学习的视频去抖动方法，根据原始视频的当前待处理帧、处理过的视频对应帧、非学习型处理方法的输出视频的对应帧的上一帧，获得训练集的输入数据以及测试集的输入数据，然后利用映射函数来提取视频时间连续性的初级特征，接着利用激活函数对初级特征进行特征增强，得到增强特征；将初级特征以及增强特征联立，得到第n个网络中提取到的所有特征，在训练集中构建以视频时间连续性和视频内容保真度为约束条件的能量函数，通过最小角回归法求解满足上述能量函数中的权重，并将其连接特征层与输出层的目标权重，最后在测试集中根据目标权重与提取到的所有特征获得测试集的视频去抖动的输出帧。

【技术实现步骤摘要】
一种基于宽度学习的视频去抖动方法
本专利技术涉及计算机视觉及图像处理领域，尤其涉及一种基于宽度学习的视频去抖动方法。
技术介绍
视频去抖动方法，表现为去除视频中存在的抖动，一般包括色调抖动和亮度抖动。视频去抖动方法算法通过添加帧之间的时间连续性去除视频帧之间存在的抖动，输出一个无抖动的时间连续性视频。在现有技术中，对于视频去抖动，常见的实现方法是基于抖动补偿技术，旨在通过对齐帧之间的色调或者亮度来移除视频中的抖动效应。虽然该方法在一定程度上可以减少视频中存在的抖动效应，但是，该方法必须首先选择若干帧作为关键帧，而从具有抖动的被处理的视频中选取若干帧作为关键帧，这些关键帧本身是否具有时间一致性，难以保证；再者，若选定的关键帧本身存在抖动效应，将其它帧与存在抖动的关键帧对齐，并不能保证可以去除被处理过的视频的抖动。此外，另一种实现方法还可通过最小化含有时间一致性优化项的能量函数来维持视频帧之间的时间一致性，但这类方法主要针对某类特定的应用，限制了视频图像处理方法的泛化能力。例如，常见的该类视频图像处理算法包括：本征图分解、颜色分类、颜色一致、白平衡等。此外，基于特定应用的去除视频抖动的算法并不适用于大多数其它的情况，限制了这一类算法的泛化能力。针对上述现有方法的不足，如何设计一种新颖的视频去抖动方法，以改善或消除诸多缺陷，使处理过的视频中存在的抖动可被最大限度地去除，是计算机视觉发展过程中的亟待解决的问题。
技术实现思路
为解决现有视频去抖动方法中存在的不足，本专利技术提供一种基于宽度学习的视频去抖动方法，可根据输入视频和处理过视频中的特征建立基于宽度学习的去抖动模型从而去除视频抖动。依据本专利技术的一个方面，提供一种基于宽度学习的视频去抖动方法，包括以下步骤：a)根据原始视频的当前待处理帧In、运用基于图像处理方法逐帧处理过的视频的对应帧Pn、非学习型处理方法的输出视频的对应帧的上一帧On-1，获得训练集的输入数据Xn以及测试集的输入数据Fn，其中，Xn＝[In|Pn|On-1]，Fn＝[In|Pn]；b)利用映射函数来提取所述输入数据Xn的用于实现视频时间连续性的初级特征其中，初级特征表示为：其中Wei和βei表示随机生成的权重和偏差，为映射函数；c)利用激活函数对所提取的所述初级特征进行特征增强，得到增强特征其中，增强特征表示为：其中Whj和βhi表示随机生成的权重和偏差，ξj为激活函数，表示初级特征在所有帧中的m个共用初级特征；d)将上述提取到的初级特征以及增强特征联立，得到第n个网络中提取到的所有特征An；其中表示增强特征在所有帧中的p个共用增强特征；e)在所述训练集中，构建以视频时间连续性Ct和视频内容保真度Cf为约束条件的能量函数E，其中，能量函数E定义为表达式：通过最小角回归法求解满足上述能量函数E的权重ωn，并将权重ωn作为宽度学习网络用来连接特征层与输出层的目标权重；f)在测试集中，根据目标权重ωn与第n个网络中提取到的所有特征An，获得宽度学习网络的测试集的输出Yn：Yn＝An·ωn其中，测试集的输出Yn为基于宽度学习的视频去抖动的输出帧。在其中的一实施例，映射函数为sigmoid函数或tangent函数。在其中的一实施例，激活函数ξj为sigmoid函数或tangent函数。在其中的一实施例，权重ωn用于最小化所述测试集的输出帧和前一帧的差异从而计算输出视频相邻帧之间的时间连续性的能量损失代价因子：Ct＝||An·ωn-On-1||2。在其中的一实施例，权重ωn用于最小化所述测试集的输出视频的第n个视频帧和处理过视频中的第n个视频帧之间的差异从而计算视频内容保真度的能量损失代价因子:Cf＝||An·ωn-Pn||2。在其中的一实施例，权重ωn作为宽度学习网络用来连接特征层与输出层的目标权重时，同时满足视频时间连续性和视频内容保真度的约束条件。在其中的一实施例，逐帧处理过的视频采用的图像处理方法包括颜色分类处理、空间白平衡处理、颜色和谐化处理以及高动态范围映射处理。采用本专利技术的基于宽度学习的视频去抖动方法，首先根据原始视频的当前待处理帧、运用基于图像处理方法逐帧处理过的视频的对应帧、非学习型处理方法的输出视频的对应帧的上一帧，获得训练集的输入数据以及测试集的输入数据，然后利用映射函数来提取上述训练集的输入数据的用于实现视频时间连续性的初级特征，接着利用激活函数对初级特征进行特征增强，得到增强特征；然后将上述提取到的初级特征以及增强特征联立，得到第n个网络中提取到的所有特征，在训练集中构建以视频时间连续性和视频内容保真度为约束条件的能量函数，通过最小角回归法求解满足上述能量函数中的权重，并将其作为宽度学习网络用来连接特征层与输出层的目标权重，最后在测试集中根据目标权重与提取到的所有特征获得宽度学习网络的测试集的视频去抖动的输出帧。相比于现有技术，本申请以原始输入视频、处理过的视频以及传统去抖动方法得到的输出视频作为输入，运用逐层不断提取特征所建立的宽度学习网络，并在视频时间连续性和视频内容保真度为约束的条件下，从而得到去除了抖动的输出视频。附图说明读者在参照附图阅读了本专利技术的具体实施方式以后，将会更清楚地了解本专利技术的各个方面。其中，图1示出本专利技术的基于宽度学习的视频去抖动方法的流程图；图2示出用于实现图1的视频去抖动方法的宽度学习网络的架构示意图；图3A示出原始视频为Interview的某一视频帧的示意图；图3B示出原始视频为Cable的某一视频帧的示意图；图3C示出原始视频为Chicken的某一视频帧的示意图；图3D示出原始视频为CheckingEmail的某一视频帧的示意图；图3E示出原始视频为Travel的某一视频帧的示意图；以及图4示出采用图1的视频去抖动方法与现有技术的两种视频去抖动方法在原始视频分别为图3A～图3E时的视频去抖效果的比较示意图。具体实施方式为了使本申请所揭示的
技术实现思路
更加详尽与完备，可以参照本专利技术实施例子中的附图，我们将对本专利技术中实施的技术方案和实现细节进行更加详细的描述。图1示出本专利技术的基于宽度学习的视频去抖动方法的流程图，图2示出用于实现图1的视频去抖动方法的宽度学习网络的架构示意图，图3A～图3E分别示出原始视频为Interview、Cable、Chicken、CheckingEmail以及Travel的某一视频帧的示意图，图4示出采用图1的视频去抖动方法与现有技术的两种视频去抖动方法在原始视频分别为图3A～图3E时的视频去抖效果的比较示意图。本专利技术的硬件条件为，CPU频率2.40GHz，内存8G的计算机，软件工具为Matlab2014b。参照图1，在该实施例中，本申请的基于宽度学习的视频去抖动方法主要通过以下步骤实现。首先，在步骤S1中，根据原始视频的当前待处理帧In、运用基于图像处理方法逐帧处理过的视频的对应帧Pn、非学习型处理方法(亦即传统处理方法)的输出视频的对应帧的上一帧On-1，获得训练集的输入数据Xn以及测试集的输入数据Fn，其中，Xn＝[In|Pn|On-1]，Fn＝[In|Pn]。在训练宽度学习网络的测试集数据中，要考虑到对应输出帧On和Pn之间的视频内容保真度，以及输出帧On和其前一帧On-1之间的时间连续性，我们首先将原始视频、处理本文档来自技高网...

【技术保护点】
1.一种基于宽度学习的视频去抖动方法，其特征在于，该视频去抖动方法包括以下步骤：a)根据原始视频的当前待处理帧In、运用基于图像处理方法逐帧处理过的视频的对应帧Pn、非学习型处理方法的输出视频的对应帧的上一帧On‑1，获得训练集的输入数据Xn以及测试集的输入数据Fn，其中，Xn＝[In|Pn|On‑1]，Fn＝[In|Pn]；b)利用映射函数来提取所述输入数据Xn的用于实现视频时间连续性的初级特征

【技术特征摘要】
1.一种基于宽度学习的视频去抖动方法，其特征在于，该视频去抖动方法包括以下步骤：a)根据原始视频的当前待处理帧In、运用基于图像处理方法逐帧处理过的视频的对应帧Pn、非学习型处理方法的输出视频的对应帧的上一帧On-1，获得训练集的输入数据Xn以及测试集的输入数据Fn，其中，Xn＝[In|Pn|On-1]，Fn＝[In|Pn]；b)利用映射函数来提取所述输入数据Xn的用于实现视频时间连续性的初级特征其中，初级特征表示为：其中Wei和βei表示随机生成的权重和偏差，为映射函数；c)利用激活函数对所提取的所述初级特征进行特征增强，得到增强特征其中，增强特征表示为：其中Whi和βhi表示随机生成的权重和偏差，ξj为激活函数，表示初级特征在所有帧中的m个共用初级特征；d)将上述提取到的初级特征以及增强特征联立，得到第n个网络中提取到的所有特征An；其中表示增强特征在所有帧中的p个共用增强特征；e)在所述训练集中，构建以视频时间连续性Ct和视频内容保真度Cf为约束条件的能量函数E，其中，能量函数E定义为表达式：通过最小角回归法求解满足上述能量函数E的权重ωn，并将权重ωn作为宽度学习网络用来连接特征层与输出层的目标权重；f)在测试集中，根据目标权重ωn与第n个网络中...

【专利技术属性】
技术研发人员：陈志华，李超，陈若溪，陈莉莉，盛斌，李平，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：上海,31