基于空域分类网络和时域分类网络融合的视频分类方法技术

本发明专利技术公开了一种基于空域分类网络和时域分类网络融合的视频分类方法，主要解决现有视频分类方法准确率低的问题。其实现方案为1)获取训练集和测试视频；2)从训练集中提取视频帧；3)使用训练集对卷积神经网络进行训练；4)对从训练集中提取的视频帧提取特征；5)使用训练集对空域分类网络进行训练；6)使用训练集对时域分类网络进行训练；7)使用训练后的空域分类网络和时域分类网络对测试视频进行分类，并对空域分类网络和时域分类网络的分类结果进行融合，完成对视频的分类。本发明专利技术相比现有视频分类方法有效提高了分类准确率，可用于视频的特征提取和识别。

Video classification method based on spatial classification network and time domain classification network fusion

The invention discloses a video classification method based on the fusion of spatial classification network and temporal classification network, which mainly solves the problem of low accuracy of existing video classification methods. Its implementation scheme is 1) acquiring training set and testing video; 2) extracting video frames from training set; 3) using training set to train convolutional neural network; 4) extracting video frame features from training set; 5) using training set to train spatial classification network; 6) using training set to train temporal classification network. 7) Using the trained spatial classification network and temporal classification network to classify the test video, and fusing the classification results of spatial classification network and temporal classification network to complete the classification of video. Compared with the existing video classification method, the present invention effectively improves the classification accuracy and can be used for video feature extraction and recognition.

【技术实现步骤摘要】
基于空域分类网络和时域分类网络融合的视频分类方法
本专利技术属于图像处理
，更进一步设计一种视频的计算机分类方法，可用于视频的特征提取和识别。
技术介绍
随着互联网技术的不断普及和视频压缩存储技术的日益发展，互联网上所能获取的视频数量呈现了爆炸式的增长。如何对海量的视频数据进行分析管理，就成为了目前亟需解决的重要问题。其中，视频分类技术是视频分析的基础。如果新增的互联网视频不能被适当的标记和分类，用户就无法有效的利用互联网获取或者共享这些视频文件。早期的视频分类方法往往分为两步。第一步是提取一种或多种视频特征，第二步是利用分类器对提取到的特征进行分类。但是这类算法过度依赖所提取特征的质量，而且不能充分获取视频中复杂的视频模式，因此对视频的分类准确率并不理想。近年来，深度神经网络在计算机视觉领域取得了巨大成功，它能够借助层次化的结构，从训练数据中学习复杂多样的特征模式，从而有效提取输入数据的特征。研究人员也提出了多种基于深度神经网络的视频分类技术，使得视频分类方法的效果得到了明显的提升。但是研究表明，在一些情况下，对输入视频数据添加细微干扰，如改变部分像素点像素值后，深度神经网络本文档来自技高网...

【技术保护点】
1.基于空域分类网络和时域分类网络融合的视频分类方法，包括：1)获取训练集和测试视频：从已标记类别的视频数据库中任取N个视频组成训练集：X＝{x1,x2,...,xk,...,xN}，其中xk是第k个训练集视频，xk的标签为yk，k＝1,2,...,N；将剩余视频组成测试集，从测试集中取一个视频作为测试视频xtest；2)提取训练集X中训练集视频xk的全部视频帧

【技术特征摘要】
1.基于空域分类网络和时域分类网络融合的视频分类方法，包括：1)获取训练集和测试视频：从已标记类别的视频数据库中任取N个视频组成训练集：X＝{x1,x2,...,xk,...,xN}，其中xk是第k个训练集视频，xk的标签为yk，k＝1,2,...,N；将剩余视频组成测试集，从测试集中取一个视频作为测试视频xtest；2)提取训练集X中训练集视频xk的全部视频帧其中，τ＝1,2,...,T，T为视频xk中所包含视频帧的数目，以训练集视频xk的标签yk作为全部视频帧的标签；3)以全部视频帧及其标签yk作为训练数据，对卷积神经网络进行训练，得到训练好的卷积神经网络Z；4)提取全部视频帧的特征：4a)计算全部视频帧的视觉注意力特征4b)使用步骤3)训练好的卷积神经网络Z对视觉注意力特征进行提取，得到空域特征矩阵4c)使用步骤3)训练好的卷积神经网络Z对全部视频帧进行特征提取，得到时域特征矩阵5)利用空域特征矩阵对空域分类网络进行训练；6)利用时域特征矩阵对时域分类网络进行训练；7)使用训练后的空域分类网络和时域分类网络对测试视频xtest进行分类：7a)使用步骤5)训练后的空域分类网络计算空域分类网络上测试视频xtest属于不同视频类别的概率：ps＝{ps(1),ps(2),...,ps(m),...ps(M)}，其中ps(m)是空域分类网络上测试视频xtest属于第m类视频的概率，m＝1,2,...,M,M为视频类别数；7b)使用步骤6)训练后的时域分类网络计算时域分类网络上测试视频xtest属于不同视频类别的概率：pt＝{pt(1),pt(2),...,pt(m),...,pt(M)}，其中pt(m)是时域分类网络上测试视频xtest属于第m类视频的概率；7c)根据7a)和7b)的结果，计算测试视频xtest属于第m类视频的概率：p(m)＝wps(m)+(1-w)pt(m)，其中w是空域分类网络的分类结果所占的权重；7d)将p(m)中最大值所对应的视频类别，作为测试视频xtest的分类结果。2.根据权利要求1所述的方法，其特征在于，其中步骤4a)中计算全部视频帧的视觉注意力特征按如下步骤进行：4a1)提取全部视频帧自下而上的视觉注意力特征的维度为h*w，其中h为全部视频帧的...

【专利技术属性】
技术研发人员：韩冰，褚福跃，王平，高新波，连慧芳，张萌，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61