一种时序行为片段生成方法技术

本发明专利技术公开了一种时序行为片段生成方法，涉及视频处理技术领域，包括：采用金字塔上下文感知机制对视频单元特征序列进行编码处理，得到多尺度信息特征；采用可学习边界匹配网络，从视频单元特征序列提取时序行为片段的固定特征表示；基于多尺度信息特征和固定特征表示，生成时序行为片段。本发明专利技术通过金字塔上下文感知机制有效编码了视频的多尺度信息，并且拥有极大的感受野，解决了视频中时序行为片段长短不一的问题；提出了可学习边界匹配网络，它可以通过学习的编码方式提取长度不一的时序行为片段的固定特征表示，并且它可以加入到网络进行端到端的训练，解决了现有方法提取出来的时序行为片段特征存在许多的噪声的缺陷。

【技术实现步骤摘要】
一种时序行为片段生成方法
本专利技术涉及视频处理
，具体而言，涉及一种时序行为片段生成方法。
技术介绍
时序行为片段生成是指给定一段未分割的长视频，算法需要检测视频中的行为片段，包括其开始时间和结束时间，从而达到准确定位长视频中行为发生的时间段和过滤掉不相关信息的效果。现有的方法可以分类两类，分别是基于锚点机制的方法(Anchor-basedmethods)和基于边界点定位的方法(Boundary-basedmethods)。基于锚点机制的方法预先定义不同尺寸的时序窗口来代表不同长度的时序行为片段，然后通过分类器对预先定义的时序行为片段进行分类以区分行为和背景两类。但是，实际应用中数据集类别丰富、时序行为片段长度不一，那么预先定义的时序窗口存在以下缺点：1)不能有效覆盖长视频中长短不一的时序行为片段；2)窗口尺度的设置需要大量人工干预；3)预先定义的时序窗口一方面不具备精确的边界。基于边界点定位的方法是对视频中的时间点进行分类，判断其作为行为开始和结束的概率来确定其是不是时序行为片段的边界点。现存的方法通过使用堆叠本文档来自技高网...

【技术保护点】
1.一种时序行为片段生成方法，其特征在于，包括以下步骤：/nS1、使用双流卷积神经网络对输入视频进行编码提取视频单元特征序列；/nS2、采用金字塔上下文感知机制对视频单元特征序列进行编码处理，得到多尺度信息特征；/nS3、采用可学习边界匹配网络，从视频单元特征序列提取时序行为片段的固定特征表示；/nS4、基于多尺度信息特征和固定特征表示，生成时序行为片段。/n

【技术特征摘要】
1.一种时序行为片段生成方法，其特征在于，包括以下步骤：
S1、使用双流卷积神经网络对输入视频进行编码提取视频单元特征序列；
S2、采用金字塔上下文感知机制对视频单元特征序列进行编码处理，得到多尺度信息特征；
S3、采用可学习边界匹配网络，从视频单元特征序列提取时序行为片段的固定特征表示；
S4、基于多尺度信息特征和固定特征表示，生成时序行为片段。


2.根据权利要求1所述的时序行为片段生成方法，其特征在于，所述步骤S1具体为：
将视频图片序列划分为视频单元序列；
对于视频单元序列中的每一视频单元，使用双流卷积神经网络对其进行编码提取初始视频单元特征，得到初始视频单元特征序列，并对初始视频单元特征序列进行降维后，得到最终的视频单元特征序列。


3.根据权利要求2所述的时序行为片段生成方法，其特征在于，所述初始视频单元特征序列采用一层时序卷积层进行降维处理。


4.根据权利要求1所述的时序行为片段生成方法，其特征在于，所述金字塔上下文感知机制包括若干层连续连续的时序空洞卷积模块，每层时序空洞卷积模块用于获取视频单元特征序列中一种尺度的信息特征，将各层时序空洞卷积模块获取到的信息特征进行拼接操作后，得到所述多尺度信息特征。


5.根据权利要求4所述的时序行为片段生成方法，其特征在于，所述时序空洞卷积模块包括逐级连接的时序空洞卷积层、线性整流函数、时序卷积层和随机失活层。


6.根据权利要求1所述的时序行为片段生成方法，其特征在于，所述步骤S3具体包括：
S31、通过正态分布初始化得到聚类中心向量；
S32、通过全连接层和softmax计算视频单元特征属于聚类中心向量的视频单元分布图；
S33、利用时序行为掩码矩阵与视频单元分布图进行元素积运算，得到时序行为片段分布图；
S34、将时序行为片段分...

【专利技术属性】
技术研发人员：宋井宽，李涛，高联丽，
申请(专利权)人：贵州大学，电子科技大学，
类型：发明
国别省市：贵州;52