基于普通摄像头采集条件下的车卡监控视频去模糊方法技术

本发明专利技术提供了一种基于普通摄像头采集条件下的车卡监控视频去模糊方法。首先，对车卡摄像头所获取的连续帧进行像素级特征匹配；然后，利用PWC

【技术实现步骤摘要】
基于普通摄像头采集条件下的车卡监控视频去模糊方法


[0001]本专利技术属计算机视觉领域，具体涉及一种基于普通摄像头采集条件下的车卡监控视频去模糊方法。

技术介绍

[0002]视频去模糊是近年来计算机视觉领域备受关注的一个研究课题。视频去模糊的过程可以建模为基于某一时刻连续的若干视频帧的信息经过设计网络的处理得到潜在的清晰帧。其中，关键在于网络的结构和处理方式与能力。
[0003]视频去模糊算法主要分为三种，一种是基于先验的传统算法，在模糊图像与清晰图像之间进行某种先验假设，再进行光流以及对应的潜在清晰图像估计，在处理过程中，往往采用手动设计先验信息。这类方法能够适用于大多数实验场景，且具有较高的运算效率，但是由于其先验假设是建立在某一固定的方程假设之中，如果所面对的场景不符合假设的情况，就会失去其有效性，比如对于多种场景混合数据集或者同一数据混合场景的情况，基于先验的算法就无法得到较好的处理结果。第二种是基于深度学习的算法，以大数量级的数据经验学习为目标，尤其是很多的端到端的网络模型，可以实现从单一的模糊图像或者视频序列生成清晰图像，且在大量计算资源条件下能够充分发挥深度网络的强大拟合能力，简单而快速。这类算法的效果主要依赖于网络模型和数据集质量，且需要较大的计算资源支持，对硬件要求极高。第三种是深度学习与先验假设相结合的方法，利用深度网络模型进行建模，并通过一定的先验算法来约束模型输出，这一类方法具有较好的算法性能，尤其对于视频序列去模糊问题，能够较好地利用帧与帧之间的相关信息，取得更好的去模糊效果。其问题在于，忽略数据的已有分布特征，其网络的训练和收敛速度不稳定。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供一种基于普通摄像头采集条件下的车卡监控视频去模糊方法。首先，对车卡摄像头所获取的连续帧进行像素级的特征匹配，保证真实清晰帧与模糊帧空间位置的对应；然后，通过PWC
‑
Net网络获取视频帧之间的运动光流信息，为网络的学习过程增加辅助特征；最后，将对齐的连续帧与光流数据输入到端到端的网络中进行训练，学习得到能够有效去除模糊的网络参数，再对待处理视频图像进行处理，得到最终的去模糊结果图像。本方法通过有效的对输入数据进行预处理，并利用光流的辅助信息优化网络训练过程，能够克服已有模型训练不稳定的问题，显著提升图像质量。
[0005]一种基于普通摄像头采集条件下的车卡监控视频去模糊方法，其特征在于步骤如下：
[0006]步骤1：利用两个摄像机对同一路段同一视角车卡场景在相同时刻进行拍摄，得到由若干帧模糊与清晰图像对构成的视频数据；以清晰图像为标准图像，采用SIFT特征提取方法对得到的视频帧图像对进行空间对齐，再对视频帧图像进行裁剪或插值处理，使所有视频帧图像的大小相同；
[0007]步骤2：以每一帧和其前后帧模糊图像作为一个训练数据单元，输入到基于金字塔模式的PWC
‑
Net光流估计网络中，得到对应帧图像的双向光流双通道数据，将处理的原三帧图像与光流数据按照通道纬度组合为一个张量作为后续网络的输入数据；
[0008]步骤3：构建基于端到端的去模糊神经网络模型，包括编码器、高层特征模块和解码器三个模块；
[0009]所述的编码器包括卷积层模块和下采样残差模块，卷积层模块对输入数据进行卷积特征提取，得到低层特征；下采样残差模块首先对卷积层提取得到低层特征进行下采样和卷积操作，提取得到初步中层特征，然后将下采样之后的特征与初步中层特征进行加权平均，输出中层特征；
[0010]所述的高层特征模块对编码器输出的中层特征进行卷积操作，输出高层特征；
[0011]所述的解码器包括上采样残差模块和卷积层模块，上采样残差模块首先对提取得到的高层特征进行上采样和卷积操作，提取得到初步中层特征，然后将上采样之后的特征与初步中层特征进行加权平均，输出中层特征；卷积层模块对得到的中层特征进行卷积操作，得到与目标图像形状一致的图像；
[0012]所述的端到端的去模糊神经网络模型的损失函数按下式计算：
[0013][0014]其中，L表示损失函数，θ表示网络参数，N为训练视频段数量，视频段指在不同时间节点所拍摄的连续视频，M为训练数据单元数量，表示第n个视频数据段中第i
‑
1帧模糊图像，表示第n个视频数据段中第i帧对应第i
‑
1帧的光流信息，表示第n个视频数据段中第i帧模糊图像，表示第n个视频数据段中第i帧对应第i+1帧的光流信息，表示第n个视频数据段中第i+1帧模糊图像，表示第n个视频数据段中第i+1帧清晰图像；EDC
θ
(
·
)表示网络输出；
[0015]步骤4：将经过步骤2处理的张量输入到步骤3构建的基于端到端的去模糊神经网络模型，采用后向传播算法进行网络训练，直到达到设定的训练次数，完成网络训练，得到训练好的去模糊神经网络模型；
[0016]步骤5：将待处理的车卡场景采集视频图像输入到步骤4训练好的去模糊神经网络模型，得到去模糊处理后的车卡场景图像。
[0017]本专利技术的有益效果是：由于对图像进行了SIFT预处理，同时增加光流的辅助信息，能够明显改善网络训练过程的稳定性，网络的收敛速度也能得到大幅改善；由于采用基于自拍摄的车卡监控场景数据集，且包含模糊图像，使训练得到的网络模型能够更好适用于车卡监控去模糊问题，方法针对性强，特别对因车辆快速移动所导致的模糊图像有更好的质量提升。
附图说明
[0018]图1是本专利技术基于普通摄像头采集条件下的车卡监控视频去模糊方法流程图；
[0019]图2是本专利技术基于端到端的去模糊神经网络模型结构示意图；
[0020]图3是采用方法进行去模糊处理的结果图像。
具体实施方式
[0021]下面结合附图和实施例对本专利技术进一步说明，本专利技术包括但不仅限于下述实施例。
[0022]如图1所示，本专利技术提供了一种基于普通摄像头采集条件下的车卡监控视频去模糊方法，其具体实现过程如下：
[0023]1、视频数据采集和预处理
[0024](1)数据采集
[0025]利用两个摄像机对同一路段同一视角车卡场景在相同时刻进行拍摄，得到由若干帧模糊与清晰图像对构成的视频数据。
[0026]在数据采集之前可以对两个摄像机进行一些调整，包括：利用三脚架和快装板将两个不同规格的摄像机架设在并排的同一位置，摄像机之间的距离尽可能保持最近，分别拍摄长曝光时间和短曝光时间的数据；将两个摄像机的焦距调到最大距离，减少透视带来的形变误差；在不同的曝光时间和25FPS设置前提下，调整光圈大小保持两个摄像机视野亮度的一致。
[0027](2)预处理
[0028]对采集到的视频数据进行像素级特征匹配预处理，包括：以清晰图像为标准图像，采用SIFT特征提取方法对得到的视频帧图像对进行空间对齐，再对视频帧图像进行裁剪或插值处理，使所有视频帧图像的大小相同。此时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于普通摄像头采集条件下的车卡监控视频去模糊方法，其特征在于步骤如下：步骤1：利用两个摄像机对同一路段同一视角车卡场景在相同时刻进行拍摄，得到由若干帧模糊与清晰图像对构成的视频数据；以清晰图像为标准图像，采用SIFT特征提取方法对得到的视频帧图像对进行空间对齐，再对视频帧图像进行裁剪或插值处理，使所有视频帧图像的大小相同；步骤2：以每一帧和其前后帧模糊图像作为一个训练数据单元，输入到基于金字塔模式的PWC
‑
Net光流估计网络中，得到对应帧图像的双向光流双通道数据，将处理的原三帧图像与光流数据按照通道纬度组合为一个张量作为后续网络的输入数据；步骤3：构建基于端到端的去模糊神经网络模型，包括编码器、高层特征模块和解码器三个模块；所述的编码器包括卷积层模块和下采样残差模块，卷积层模块对输入数据进行卷积特征提取，得到低层特征；下采样残差模块首先对卷积层提取得到低层特征进行下采样和卷积操作，提取得到初步中层特征，然后将下采样之后的特征与初步中层特征进行加权平均，输出中层特征；所述的高层特征模块对编码器输出的中层特征进行卷积操作，输出高层特征；所述的解码器包括上采样残差模块和卷积层模块，上采样残差模块首先对提取得到的高层特征进...

【专利技术属性】
技术研发人员：王琦，马欣，李学龙，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：