一种基于TSN网络的视频画面抖动检测方法技术

本发明专利技术属于视频质量检测技术领域，具体涉及一种基于TSN网络的视频画面抖动检测方法，包括步骤：基于TSN网络结构，利用TVL1光流算法提取正常光流场和扭曲光流场；将所述正常光流场和扭曲光流场输入到TSN网络中；通过TSN网络判断视频是否抖动，并输出抖动的帧号。基于TSN网络的视频抖动检测，可以克服传统算法不能适应环境变化和长时间范围的视频检测，还可以在减少计算量大小的同时保持非常高的检测性能；TSN网络中提出的扭曲光流能够抑制视频中人物或其他事物运动的干扰，从而进一步使得检测抖动更加精准。

A detection method of video jitter based on TSN network

【技术实现步骤摘要】
一种基于TSN网络的视频画面抖动检测方法
本专利技术属于视频质量检测
，具体涉及一种基于TSN网络的视频画面抖动检测方法。
技术介绍
随着平安城市，大安防的快速发展，监控系统在各个领域得到广泛应用，而监控系统所传输的视频质量是影响其是否能发挥作用的重要因素，因此如何高效率的去维护监控系统是视频监控领域急迫需要解决的的问题。视频画面抖动是监控系统中经常出现的一种故障，所谓视频画面抖动通常是由于摄像头固定不牢固或者其它外力以及人为的作用造成视频画面出现规律性的上下、左右、或上下左右的抖动，影响视觉效果。目前常用的视频画面抖动的检测方法都是基于传统的方法，而其中使用较多的就是灰度投影法和光流法，灰度投影法其实是一种对图像分布特征进行简化提取的一种操作，以二维图像的像素行和列为单位，将图像特征转化为沿行、列坐标的曲线，从而更容易对图像分布特征进行计算，但其只适用于固定场景及简单条件下视频抖动检测且准确性相对较差；而光流法就是首先提取视频的特征点，然后利用光流算法对特征点进行跟踪，故光流非常依赖于特征点的检测好坏，如果当前环境没有办法找到比较多的角点，那估算出的位移就会比较不正确，如果想要获得比较好的效果则计算量比较大，并且光流对实际环境中移动的物体非常容易产生错误的估计，鲁棒性较差，且其不适用长时间范围和复杂环境下的视频抖动检测。现有的一些技术基本都是基于传统的方法，但传统算法的泛化效果一般都比较差，通常是一套阈值或者一套规则只适用于特定的场景，改变场景时算法的准确率会受下降甚至失效。但应用场景和环境是千变万化的，这对传统算法来说实现起来会大大增加难度。例如江爱文等提出一种基于前－后向光流点匹配运动熵的视频抖动检测算法，该算法首先采用ORB(orientedFASTandrotatedBRIEF)算法提取视频的特征点，然后利用前向－后向光流算法对特征点进行跟踪，该算法具有很强的实时处理能力，但其存在两个问题：①光流算法对光照变化敏感且不适用于长时间跟踪，算法不适用于复杂环境下的视频抖动检测；②只判断视频是否存在抖动，不能输出抖动产生的帧序号。
技术实现思路
为了解决现有技术中存在的技术缺陷，本专利技术提出了一种基于TSN网络的视频画面抖动检测方法。本专利技术通过以下技术方案实现：一种基于TSN网络的视频画面抖动检测方法，其包括步骤：1)基于TSN网络结构，利用TVL1光流算法提取正常光流场和扭曲光流场；2)将所述正常光流场和扭曲光流场输入到TSN网络中；3)通过TSN网络判断视频是否抖动，并输出抖动的帧号。进一步地，所述TSN网络由空间流卷积网络和时间流卷积网络构成。进一步地，将所述正常光流场和扭曲光流场作为输入，用于捕获运动信息，当实时拍摄的视频中移动物体过多时，通过所述扭曲光流场抑制物体运动，使其专注于视频中的背景运动。进一步地，在所述步骤3)中，所述TSN网络判断包括：给定一段视频V，将V按相等间隔分为K段{S1，S2，...,SK}之后，TSN网络按如下方式对一系列片段建模：TSN(T1,T2,...,TK)＝H(G(F(T1；W),F(T2；W),...,F(TK；W)))其中：(T1,T2,...,TK)代表片段序列，每个片段TK从其对应的段SK中随机采样得到；F(TK；W)函数代表采用W作为参数的卷积网络作用于片段TK，该函数返回TK相对于抖动类别的得分；G()为段共识函数；H()为概率预测函数。进一步地，段共识函数G()结合多个片段的类别得分输出以获得关于类别假设的共识，基于该假设的共识，概率预测函数H()预测整段视频属于抖动类别的概率；结合标准分类交叉熵损失，关于部分共识的最终损失函数的形式为：其中，C是行为总类别数；yi是类别i的groundtruth，Gi为采用聚合函数g从所有片段中相同类别的得分中推断出的抖动类别分数。优选的，C＝1，即抖动一种类别。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现基于TSN网络的视频画面抖动检测方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现基于TSN网络的视频画面抖动检测方法的步骤。与现有技术相比，本专利技术至少具有下述的有益效果或优点：基于TSN网络的视频抖动检测，可以克服传统算法不能适应环境变化和长时间范围的视频检测，还可以在减少计算量大小的同时保持非常高的检测性能；TSN网络中提出的扭曲光流能够抑制视频中人物或其他事物运动的干扰，从而进一步使得检测抖动更加精准。本方案使用TSN网络去检测视频抖动，充分的利用了TSN网络的优点，不仅能适应任何场景下的环境变化，还能实时检测长时间范围的视频，且能抑制视频中其他物体运动的干扰，抗干扰能力强；在应对不同场景的变换的同时，同样可以达到很好的检测效果。附图说明以下将结合附图对本专利技术做进一步详细说明；图1为本专利技术的TSN网络结构结构图；图2为本专利技术的视频抖动检测流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种基于TSN网络的视频画面抖动检测方法，在一个实施例中，利用行人识别原理去检测视频是否发生抖动，所谓行为识别就是从一个未知的视频或者是图像序列中自动分析其中正在进行的行为。简单的行为识别即动作分类，给定一段视频，只需将其正确分类到已知的几个动作类别，复杂点的识别是视频中不仅仅只包含一个动作类别，而是有多个，系统需自动的识别出动作的类别以及动作的起始时刻，而视频抖动从直观的角度看也是一种动作行为。故可用行为识别的原理来检测视频抖动，其中TSN是目前行为识别中精度较高的算法，它是由空间流卷积网络和时间流卷积网络构成，首先将一个输入视频分为k段，一个片段从他对应的随机采样得到，不同片段的类别得分采用共识函数进行融合来产生段共识，然后对所有模式的预测融合产生最终的预测结果；能够从整个视频中学习模型参数而不是一个短的片段，采用稀疏时间采样策略，其中采样片段只包含一小部分帧，这种方法大大降低了计算开销，TSN的网络结构图如图1所示。本方案是基于训练TSN网络来使得其学习到视频抖动特征从而检测画面是否抖动。其具体实施步骤如下：根据TSN的网络结构，首先利用TVL1光流算法(TVL1光流算法即假定连续两帧图像I0和I1，X＝(x，y)是I0上一个像素点，则其光流模型的能量函数为：其中，U＝(u，v)是二维光流场，和是二维梯度，参数λ是数据项的权值常数，第一项为数据约束项，表示同一像素点在前后两帧图像间的灰度值差；第二项是运动正则化约束，即假设运动是连续的。TVL1光流的计算采用基于图像去躁的双向求解的数值分析本文档来自技高网...

【技术保护点】
1.一种基于TSN网络的视频画面抖动检测方法，其特征在于，包括步骤：/n1)基于TSN网络结构，利用TVL1光流算法提取正常光流场和扭曲光流场；/n2)将所述正常光流场和扭曲光流场输入到TSN网络中；/n3)通过TSN网络判断视频是否抖动，并输出抖动的帧号。/n

【技术特征摘要】
1.一种基于TSN网络的视频画面抖动检测方法，其特征在于，包括步骤：
1)基于TSN网络结构，利用TVL1光流算法提取正常光流场和扭曲光流场；
2)将所述正常光流场和扭曲光流场输入到TSN网络中；
3)通过TSN网络判断视频是否抖动，并输出抖动的帧号。


2.根据权利要求1所述的基于TSN网络的视频画面抖动检测方法，其特征在于，所述TSN网络由空间流卷积网络和时间流卷积网络构成。


3.根据权利要求1所述的基于TSN网络的视频画面抖动检测方法，其特征在于，将所述正常光流场和扭曲光流场作为输入，用于捕获运动信息，当实时拍摄的视频中移动物体过多时，通过所述扭曲光流场抑制物体运动，使其专注于视频中的背景运动。


4.根据权利要求1所述的基于TSN网络的视频画面抖动检测方法，其特征在于，在所述步骤3)中，所述TSN网络判断包括：给定一段视频V，将V按相等间隔分为K段{S1，S2，...,SK}之后，TSN网络按如下方式对一系列片段建模：
TSN(T1,T2,...,TK)＝H(G(F(T1；W),F(T2；W),...,F(TK；W)))
其中：(T1,T2,...,TK)代表片段序列，每个片段TK从其对应的段SK中随机采样得...

【专利技术属性】
技术研发人员：毛亮，王倩，李俊民，朱婷婷，王祥雪，谭焕新，侯玉清，刘双广，
申请(专利权)人：高新兴科技集团股份有限公司，西安电子科技大学，
类型：发明
国别省市：广东;44