一种网络摄像机视频质量提升方法技术

本发明专利技术提出了一种网络摄像机视频质量提升方法，主要包括以下步骤：(1)初步视频的获取；(2)对初步视频的内容进行评估，采集视频数据，标定构建数据集，使用卷积神经网络和全连接网络训练，并使用显著性算法进行特征的融合，得到符合人的感官的视频质量评价模型，实时判断相机获取的视频质量；(3)对视频质量满足要求的视频直接输出，对不满足要求的视频进行基于超像素的多帧视频优化处理，进行降帧优化；(4)将步骤(3)处理完的视频通过网络输出。本发明专利技术的优点在于：能够对视频质量进行符合人的评价标准的高准确性的评价，并更加关注重要的目标，使用了超分辨率和多帧拼接的方式实现实时降帧优化，提升了相机原始输出的视频质量。

A Method of Video Quality Improvement for Network Camera

【技术实现步骤摘要】
一种网络摄像机视频质量提升方法
本专利技术涉及安防监控
，主要涉及一种网络摄像机视频质量提升方法。
技术介绍
网络摄像机(IPC)由网络编码模块和模拟摄像机组合而成，是传统摄像机与网络技术结合所产生的新一代摄像机，该摄像机将摄像机采集到的模拟视频信号编码压缩成数字信号并通过网络总线传送到Web服务器，使用户可以直接用浏览器实时观看摄像机视频，授权用户还可控制摄像机云台转动镜头或对系统配置进行操作，使得远程监控实施以及施工、维护更简单。近年来，随着政治、经济、社会的不断发展，影响国家安全、公共安全、环境安全的不稳定因素日益增多，作为有效的监控手段，网络摄像机IPC使用越来越广泛，已在城市安防、公共交通管理、银行金融、教育系统等多方面发挥了不可替代的作用。目前，许多城市和大型安防单位都设有独立的IPC视频监控指挥系统，其核心在于构建稳定、可靠地IPC接入平台对其海量视频进行有效管理。但是由于IPC为降低成本，其使用的环境多在光线不稳定，天气多变等不稳定的较恶劣环境下，所以采集到的视频往往质量很差，难以辨认。并且由于操作者的水平不足，更影响网络摄像机的使用效果。
技术实现思路
本专利技术的目的是为了解决现有技术应用中网络摄像机采集到的视频质量较低的问题，而提出的一种提升采集视频质量的算法系统平台，目的是提升视频质量，提升使用效果。为了实现上述目的，本专利技术采用如下技术方案：一种网络摄像机视频质量提升方法，包括如下步骤：(1)初步视频的获取；(2)对初步视频的内容进行评估，采集视频数据，标定构建数据集，使用卷积神经网络和全连接网络训练，并使用显著性算法进行特征的融合，得到符合人的感官的视频质量评价模型，实时判断相机获取的视频质量；(3)对视频质量满足要求的视频直接输出，对不满足要求的视频进行基于超像素的多帧视频优化处理，进行降帧优化；(4)将步骤(3)处理完的视频通过网络输出。进一步的，所述步骤1包括如下子步骤：(1.1)外界光线通过镜头模组到达感光芯片模组，使光信号转化为电信号，产生视频信号(1.2)初始视频信号通过图像处理算法，获得初步的视频。进一步的，所述步骤(1.2)中，图像处理算法为：自动曝光、自动白平衡、宽动态算法。进一步的，所属步骤(2)包括如下子步骤：(2.1)采集获得视频序列，对其进行不同程度和种类的降质处理，将处理后的视频序列制作成数据集，对视频序列质量进行标定；(2.2)将步骤(2.1)的数据集进行分块，得到多个小块视频，使用全参考图像质量评价算法对小块视频进行评分；(2.3)使用深度卷积神经网络框架对步骤(2.2)处理后的数据进行训练，获得网络参数；(2.4)使用步骤(2.3)训练获得的网络求取小块视频的特征，使用显著性算法求取每个小块视频的显著性分数，使用显著性分数将小块视频特征进行加权融合为大视频的特征；(2.5)将步骤(2.4)中的大视频特征输入全连接网络中，训练输出最后的评价分数；(2.6)将步骤(2.3)和步骤(2.5)中的两个网络联合训练，优化获得最后的网络模型。进一步的，所述步骤(2.2)中，全参考图像质量评价算法选自：特征相似度(FSIM)、结构相似性(SSIM)、梯度幅度相似性偏差(GMSD)。进一步的，所述步骤(2.3)中，深度卷积神经网络选自：AlexNet网络、VGG网络、ResNet网络。进一步的，所述步骤(2.4)中，显著性算法选自：谱残差(SR)、基于图形的流形排序(GBMR)。进一步的，所述步骤(3)中，降帧优化包括如下子步骤：(3.1)对于不满足视频质量的视频序列，对于每一帧图像使用超分辨率算法进行优化图像质量；(3.2)对于步骤(3.1)优化后的视频序列，使用步骤(2)提出的视频质量评价算法，进行二次评价，评价大块视频中，每一小块的视频质量；(3.3)对于步骤(3.2)中再评价后仍不满足要求的视频块，使用图像拼接算法，将相邻帧之间相同位置质量最好的视频块相互拼接在一起，多帧图像组成一帧图像，实现降帧优化视频。进一步的，所述步骤(3.1)的超分辨率优化算法选自：超分辨率卷积神经网络(SRCNN),高效亚像素卷积神经网络(ESPCN),超分辨率对抗生成网络(SRGAN)。进一步的，所述步骤(3.3)的图像拼接算法选自：基于Harris角点检测器的拼接、基于FAST角点检测器的拼接、基于SIFT特征检测器的拼接、以及基于SURF特征检测器的拼接。本专利技术与现有技术相比的优点在于：1本专利技术提出的新型基于深度学习的视频质量评价模型，能够对视频质量进行高准确性得评价，得到符合人的主观的评价分数；2.本专利技术的质量评价模型中融入了显著性评价算法，使得视频质量评价模型能够更加关注重要的目标物体，提升视频质量评价的准确性；3.本专利技术使用多帧图像的拼接的方式来实现降帧优化，考虑了视频帧间的相似性，确保最后输出的视频是最优的；4.本专利技术将整个视频质量提升方法直接在网络摄像机中实现，保证了网络摄像机一次视频输出质量，无二次优化的麻烦，确保了实时性。附图说明图1为本专利技术的网络视频质量提升方法整体流程；图2为本专利技术的视频质量评价模型的训练流程；图3为视频质量评价模块的结构图；图4为视频质量提升模块的结构图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的与本申请的一些方面相一致的方法的例子。如图1所示，本专利技术提供一种网络摄像机视频质量提升方法，包含如下步骤：(1)初步视频的获取；(2)对初步视频的内容进行评估，采集视频数据，标定构建数据集，使用卷积神经网络和全连接网络训练，并使用显著性算法进行特征的融合，得到符合人的感官的视频质量评价模型，实时判断相机获取的视频质量；(3)对视频质量满足要求的视频直接输出，对不满足要求的视频帧使用超分辨率算法进行逐帧视频优化，再通过拼接算法进行降帧拼接优化，得到优化最终优化视频；(4)将步骤(3)处理完的视频进行编码通过网络输出。在本申请一实施例中，所述步骤1包括如下子步骤：(1.1)外界光线通过镜头模组到达感光芯片模组，使光信号转化为电信号，产生视频信号(1.2)初始视频信号通过图像处理算法，获得初步的视频。其中图像处理算法包括自动曝光，自动白平衡，宽动态算法。自动曝光保证了在外界光线不停变化时保证图像的亮度稳定，对于室外的长时间应用场景自动曝光十分重要；自动白平衡避免了色温对视频图像的影响；宽动态平衡了视频画面中的光线亮度差异，如在汽车灯的强光直射下依然能拍摄到其他物体。在本申请一实施例中，如图2所示，所述步骤(2)包括如下子步骤：(2.1)采集获得视频序列，分别添加高斯噪声，脉冲噪声，高斯模糊，压缩传输错误噪声，对比度变化5种噪声模式，每种分5种噪声强度对视频序列进行降质处理，制作不同质量的视频序列，将处理后的视频序列制作成数据集，对视频序列质量进行标定。标定方式为请1000位来自不同地区的志愿者，对视频序列进行主观打分，分数为100分制，对每个视频序列的分数求取平均值，作为最终的标准评分，此标定方式为行业标准标定方式，选择来自本文档来自技高网...

【技术保护点】
1.一种网络摄像机视频质量提升方法，其特征在于，包括如下步骤：(1)初步视频的获取；(2)对初步视频的内容进行评估，采集视频数据，标定构建数据集，使用卷积神经网络和全连接网络训练，并使用显著性算法进行特征的融合，得到符合人的感官的视频质量评价模型，实时判断相机获取的视频质量；(3)对视频质量满足要求的视频直接输出，对不满足要求的视频进行基于超像素的多帧视频优化处理，进行降帧优化。(4)将步骤(3)处理完的视频通过网络输出。

【技术特征摘要】
1.一种网络摄像机视频质量提升方法，其特征在于，包括如下步骤：(1)初步视频的获取；(2)对初步视频的内容进行评估，采集视频数据，标定构建数据集，使用卷积神经网络和全连接网络训练，并使用显著性算法进行特征的融合，得到符合人的感官的视频质量评价模型，实时判断相机获取的视频质量；(3)对视频质量满足要求的视频直接输出，对不满足要求的视频进行基于超像素的多帧视频优化处理，进行降帧优化。(4)将步骤(3)处理完的视频通过网络输出。2.根据权利要求1所述的网络摄像机视频质量提升方法，其特征在于：所述步骤1包括如下子步骤：(1.1)外界光线通过镜头模组到达感光芯片模组，使光信号转化为电信号，产生视频信号(1.2)初始视频信号通过图像处理算法，获得初步的视频。3.根据权利要求2所述的网络摄像机视频质量提升方法，其特征在于：所述步骤(1.2)中，图像处理算法为：自动曝光、自动白平衡、宽动态算法。4.根据权利要求1所述的网络摄像机视频质量提升方法，其特征在于：所属步骤(2)包括如下子步骤：(2.1)采集获得视频序列，对其进行不同程度和种类的降质处理，将处理后的视频序列制作成数据集，对视频序列质量进行标定；(2.2)将步骤(2.1)的数据集进行分块，得到多个小块视频，使用全参考图像质量评价算法对小块视频进行评分；(2.3)使用深度卷积神经网络框架对步骤(2.2)处理后的数据进行训练，获得网络参数；(2.4)使用步骤(2.3)训练获得的网络求取小块视频的特征，使用显著性算法求取每个小块视频的显著性分数，使用显著性分数将小块视频特征进行加权融合为大视频的特征；(2.5)将步骤(2.4)中的大视频特征输入全连接网络中，训练输出最后的评价分数；(2.6)将步骤(2.3)和步骤(2.5)中的两...

【专利技术属性】
技术研发人员：王宣银，季佳宇，普彬，莫奇，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33