一种基于深度学习的视频质量诊断方法技术

本发明专利技术公开了一种基于深度学习的视频质量诊断方法，属于视频分析技术领域。本发明专利技术通过对监控视频图像故障进行分析，建立前端采集故障与视频图像质量对应关系，收集制作了全面的视频质量数据集，整理了符合深度学习模型的监控视频故障图像数据集，而特定的深度学习模型的选取可以提取异常视频更多的特征，适应更为复杂的规则，更适合与实际应用结合，提高了视频诊断系统在不同场景中的泛化能力，便于人们及时有效的对待诊断视频的情况进行了解，保证了视频系统的正常运行，并在一定程度上减轻了人的劳动压力。

A video quality diagnosis method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的视频质量诊断方法
本专利技术涉及一种基于深度学习的视频质量诊断方法，属于视频分析

技术介绍
监控视频系统的运行依靠人工检测和处理的方式已经变得不再现实，如何快速自动检测和定位监控系统中的问题，促使了视频质量诊断技术的发展。监控厂商已和研究机构都推出了多款视频质量诊断系统，将故障设备存在的问题清晰展现给用户，便于用户快速精确定点检修设备，保证视频监控系统的长期正常运行，减轻维护监控设备的工作量。传统的视频质量诊断：基于图像统计信息(峰值和方差)；通过比较统计量的值和设定阈值之间的大小关系，进而判断图像是否有异常。依靠人工分析有限的样本找到关键特征，再配合人为设定的判断规则判断异常类型的传统算法，都是建立在小样本的基础之上。从实践中也可得知，传统算法的泛化效果一般都比较差，通常是一套阈值或者一套规则只适用于特定的场景，改变场景时算法的准确率会受下降甚至失效。但应用场景和环境是千变万化的，传统算法实现起来会难度较大，精度不高，泛化能力不高。
技术实现思路
本专利技术提供了一种基于深度学习的视频质量诊断方法，以用于通过深度学习的方法实现视频质量诊断的问题。本专利技术的技术方案是：一种基于深度学习的视频质量诊断方法，所述方法步骤如下：步骤一，收集全面的视频质量异常数据，接着对视频质量异常数据进行预处理，将预处理得到的图像打上异常类型的标签，再给打上标签的每张预处理得到的图像进行质量打分，对每张预处理得到的图像取多人的质量打分的平均值作为对应预处理得到的图像的质量分数；将带有质量分数的预处理得到的图像与TID2013数据库中图像组建视频质量诊断深度学习数据集，视频质量诊断深度学习数据集分为三部分:训练集、验证集、测试集；其中，全面的视频质量异常数据包括9种类型的异常视频图像：信号缺失图像、清晰度异常图像、亮度异常图像、偏色图像、噪声图像、滚屏图像，条纹干扰图像、画面冻结图像、PTZ故障图像；标签包括：信号缺失、清晰度异常、亮度异常、偏色、图像噪声、滚屏、条纹干扰、画面冻结、PTZ故障；步骤二，搭建深度学习模型框架，读取训练集图像，通过深度学习模型进行网络训练，得到训练后深度学习模型；步骤三，把验证集作为训练后深度学习模型的输入，将输出的结果与验证集中的主观评价作比较，根据比较结果调整深度学习模型参数，得到调整后的深度学习模型；步骤四，读取调整后的深度学习模型，输入测试集图像，得到视频图像质量分数，根据质量分数得到视频故障类型。所述预处理依次为：统一成png格式、统一大小。所述训练集、验证集、测试集比例设置为70％训练集，10％验证集，20％测试集。所述深度学习模型采用的vgg16，激活函数ReLU。本专利技术的有益效果是：本专利技术通过对监控视频图像故障进行分析，建立前端采集故障与视频图像质量对应关系，收集制作了全面的视频质量数据集，整理了符合深度学习模型的监控视频故障图像数据集，而特定的深度学习模型的选取可以提取异常视频更多的特征，适应更为复杂的规则，更适合与实际应用结合，提高了视频诊断系统在不同场景中的泛化能力，便于人们及时有效的对待诊断视频的情况进行了解，保证了视频系统的正常运行，并在一定程度上减轻了人的劳动压力。附图说明图1为本专利技术流程图；图2通过TFRecord文件制作自己的数据集；图3为深度学习视频质量诊断特征提取示意图；图4为将几种算法经非线性映射后，分别计算PLCC、SRCC、KRCC和RMSE的值。具体实施方式实施例1：如图1-4所示，一种基于深度学习的视频质量诊断方法，所述方法步骤如下：步骤一，收集全面的视频质量异常数据，接着对视频质量异常数据进行预处理，将预处理得到的图像打上异常类型的标签，再给打上标签的每张预处理得到的图像进行质量打分，对每张预处理得到的图像取多人的质量打分的平均值作为对应预处理得到的图像的质量分数；将带有质量分数的预处理得到的图像与TID2013数据库中图像组建视频质量诊断深度学习数据集，视频质量诊断深度学习数据集分为三部分:训练集、验证集、测试集；数据集都存储到TFRecord文件，然后从TFRecord文件中读取样例进行解析；其中，全面的视频质量异常数据包括9种类型的异常视频图像：信号缺失图像、清晰度异常图像、亮度异常图像、偏色图像、噪声图像、滚屏图像，条纹干扰图像、画面冻结图像、PTZ故障图像；标签包括：信号缺失、清晰度异常、亮度异常、偏色、图像噪声、滚屏、条纹干扰、画面冻结、PTZ故障；TID2013数据库(TID2013数据库中包含失真图像、参考图像和对应的MOS文件，是目前用于图像质量评估研究中较大的一个数据库。图像数据库包含25幅参考图像和3000幅失真图像。MOS文件是主观质量评价分数,由971个实验观察者主观评价获得,每个质量分数数值在[0,9]内，数值越大图像质量越好)；收集全面的数据可以减少目前网络上可以获得的视频质量诊断的数据很少，很难满足深度学习的需求的不足，增加训练的数据量，提高模型的泛化能力，增加噪声数据，提升模型的鲁棒性。步骤二，在tensorflow环境下搭建深度学习模型框架，从Github开源库中下载模型权重vgg16_weights.npz，通过Train.py读取训练集，通过深度学习模型进行网络训练，得到训练后深度学习模型；所述的训练为：新建Train.py文件，对搭建好的网络进行训练，并保存训练参数，以便下次使用。在tensorflow环境下搭建深度学习模型框架，再用准备好的数据集完成训练。通过ImageNet上的训练初始化基准CNN权重，并随机初始化最后一个全连接层。搭建深度学习模型框架：vgg-16模型的网络层主要包括5个卷积层CONV，1个概率层PROB和1个全连接层FC；其中，卷积层CONV由卷积单元conv、非线性单元relu和最大池化单元pool构成，全连接层FC由全连接单元fc、非线性单元relu和预防过拟合单元dropout构成；概率层PROB由一个概率单元prob构成；5个卷积层中的第一个卷积层CONV1的排列构成为conv1_1，relu1_1，conv1_2，relu1_2，pool1；第二个卷积层CONV2的排列构成为conv2_1，relu2_1，conv2_2，relu2_2，pool2；第三个卷积层CONV3的排列构成为conv3_1，relu3_1，conv3_2，relu3_2，conv3_3，relu3_3，pool3；第四个卷积层CONV4的排列构成为conv4_1，relu4_1，conv4_2，relu4_2，conv4_3，relu4_3，pool4；第五个卷积层CONV5的排列构成为conv5_1，relu5_1，conv5_2，relu5_2，conv5_3，relu5_3，pool5；全连接层FC的排列构成为fc6，relu6，dropout1，fc7，relu7，dropout2，fc8。深度学习模型的训练主要步骤如下本文档来自技高网...

【技术保护点】
1.一种基于深度学习的视频质量诊断方法，其特征在于：所述方法步骤如下：/n步骤一，收集全面的视频质量异常数据，接着对视频质量异常数据进行预处理，将预处理得到的图像打上异常类型的标签，再给打上标签的每张预处理得到的图像进行质量打分，对每张预处理得到的图像取多人的质量打分的平均值作为对应预处理得到的图像的质量分数；将带有质量分数的预处理得到的图像与TID2013数据库中图像组建视频质量诊断深度学习数据集，视频质量诊断深度学习数据集分为三部分:训练集、验证集、测试集；其中，全面的视频质量异常数据包括9种类型的异常视频图像：信号缺失图像、清晰度异常图像、亮度异常图像、偏色图像、噪声图像、滚屏图像，条纹干扰图像、画面冻结图像、PTZ故障图像；标签包括：信号缺失、清晰度异常、亮度异常、偏色、图像噪声、滚屏、条纹干扰、画面冻结、PTZ故障；/n步骤二，搭建深度学习模型框架，读取训练集图像，通过深度学习模型进行网络训练，得到训练后深度学习模型；/n步骤三，把验证集作为训练后深度学习模型的输入，将输出的结果与验证集中的主观评价作比较，根据比较结果调整深度学习模型参数，得到调整后的深度学习模型；/n步骤四，读取调整后的深度学习模型，输入测试集图像，得到视频图像质量分数，根据质量分数得到视频故障类型。/n...

【技术特征摘要】
1.一种基于深度学习的视频质量诊断方法，其特征在于：所述方法步骤如下：
步骤一，收集全面的视频质量异常数据，接着对视频质量异常数据进行预处理，将预处理得到的图像打上异常类型的标签，再给打上标签的每张预处理得到的图像进行质量打分，对每张预处理得到的图像取多人的质量打分的平均值作为对应预处理得到的图像的质量分数；将带有质量分数的预处理得到的图像与TID2013数据库中图像组建视频质量诊断深度学习数据集，视频质量诊断深度学习数据集分为三部分:训练集、验证集、测试集；其中，全面的视频质量异常数据包括9种类型的异常视频图像：信号缺失图像、清晰度异常图像、亮度异常图像、偏色图像、噪声图像、滚屏图像，条纹干扰图像、画面冻结图像、PTZ故障图像；标签包括：信号缺失、清晰度异常、亮度异常、偏色、图像噪声、滚屏、条纹干扰、画面冻结、PTZ故障；
步骤二，搭建深度学习模型框架，读取...

【专利技术属性】
技术研发人员：赵志鹏，李玉惠，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南;53