一种基于LSTM时间一致性视频分析的统一方法技术

本发明专利技术公开了一种基于LSTM时间一致性视频分析的统一方法，包括：1)读取待分析的视频片段，并将其分割成一个时间片段序列；2)使用CNN编码视频内容；3)编码视频语义；4)编码视频及语义的联合映射(SVS)；5)从语义外观一致性将目标视频语义与数据集语义相匹配；6)从时间一致性将目标视频与数据集语义进行匹配；7)进一步进行细化处理；8)使用LSTM预测语义动态，从而得到最准确的视频分析及摘要提取。本发明专利技术为计算机视觉和图像处理领域中一种基于视觉的视频分析的统一方法，能够准确、高效的分析理解视频，并能提取视频的有效信息。

【技术实现步骤摘要】
一种基于LSTM时间一致性视频分析的统一方法
本专利技术属于计算机视觉，数字图像处理等领域，尤其涉及一种基于LSTM的语义外观相似性以及时间一致性的视频分析统一方法。
技术介绍
视频分析主要体现在视频分类，视频描述以及时间动作检测上，通过输入一段视频，能够对视频内容进行理解，一直以来都是计算机视觉上一个巨大的挑战。随着时代的发展，海量视频的不断增长使得准确获取视频主要内容成为当前研究的热点与挑战，由此引出了视频摘要，这是一种对视频内容的简单概括，通过剔除冗余内容而将视频主要内容浓缩成简短的文字或视频图像序列的一种技术，是对视频内容的一种总结。视频摘要在现代视频技术中应用非常广泛，例如，足球视频中人们关心的只是比赛的关键进球部分；交通监控视频中人们关心的则是事故突发时的所有情况；目标检测视频中人们关心的则是目标人物出现时刻的相关信息……而研究表明，人在盯着视频画面22分钟后将对视频画面里的95％以上的信息视而不见(参见：许彬,张海涛,胡豆豆.云计算平台中监控视频摘要任务调度方法研究.计算机应用与软件,34(7):7-10,2017.)，因此，视频摘要技术显得尤为重要，它不仅能够减少人力本文档来自技高网...

【技术保护点】
1.一种基于LSTM时间一致性视频分析的统一方法，其特征在于，包括以下步骤：步骤1，读取待分析的测试视频片段C，将测试视频和参考视频基准分割成一个视频片段序列；步骤2，编码视频内容：将视频片段序列表示成连续的帧Ii，i∈1,2,...,n，n表示片段序列的帧数；对于单帧Ii，使用卷积神经网络CNN来对其外观空间表示进行编码；对于多个帧，则用多个单帧合并获得视频片段的可视特征表示；步骤3，编码视频语义：将视频的外观空间表示集用A表示，设用s描述一个视频片段C的文本语义，其中s是一个包含自然语言单词的字符串序列，将s中的单词序列映射到一个数字向量空间S(s1,...,sm)，其中m是s中的单词数量...

【技术特征摘要】
1.一种基于LSTM时间一致性视频分析的统一方法，其特征在于，包括以下步骤：步骤1，读取待分析的测试视频片段C，将测试视频和参考视频基准分割成一个视频片段序列；步骤2，编码视频内容：将视频片段序列表示成连续的帧Ii，i∈1,2,...,n，n表示片段序列的帧数；对于单帧Ii，使用卷积神经网络CNN来对其外观空间表示进行编码；对于多个帧，则用多个单帧合并获得视频片段的可视特征表示；步骤3，编码视频语义：将视频的外观空间表示集用A表示，设用s描述一个视频片段C的文本语义，其中s是一个包含自然语言单词的字符串序列，将s中的单词序列映射到一个数字向量空间S(s1,...,sm)，其中m是s中的单词数量，S即为视频语义集；步骤4，将视频外观空间及语义映射到SVS联合空间：使用正则化相关分析CCA将所有片段的外观空间表示A和相关语义的数字向量空间S联合映射到SVS，其中CCA映射是通过对每一片段真实语义的训练完成的；将视频片段的外观空间表示与相关语义映射到SVS的相邻两个点，继而实现：当查找一个视频片段的外观空间表示时，通过欧几里得距离就能找到相应的语义；步骤5，视频外观与语义的一致性匹配：构建一个视频片段的训练数据集，包括视频片段的外观表示和相关语义；依据步骤2-4将测试视频片段处理为SVS空间的一个片段序列，在训练集中为每个测试片段选择最匹配的语义；步骤6，从时间一致性将测试视频片段语义与训练集语义进行匹配：依据Markovian假设，测试视频片段i的语义仅仅取决于片段i的外观表示及其前一片段i-1的语义；将先验概率设为均匀分布，使用联合SVS表示的L2范数来定义后验概率，应用标准的维特比方法获得一个序列V，使得概率最大化；步骤7，进一步细化匹配：使用受限维特比方法提供V*的赋值，选取概率值最大的语义；步骤8，预测语义的动态：采用LSTMRNN网络完成模型训练并预测下一个视频片段的最准确语义。2.根据权利要求1所述的一种基于LSTM时间一致性视频分析的统一方法，其特征在于，步骤1包括以下步骤：读取待分析的测试视频片段C以及各类的参考视频基准，参考视频基准包括：LSMDC’16基准，用于测试视频字幕，SumMe和TVSum基准，用于测试视频摘要，Thumos2014基准，用于测试时间动作，GreatestHits基准，用于测试声音；然后将参考视频和测试视频分割成一个时间片段序列。3.根据权利要求2所述的一种基于LSTM时间一致性视频分析的统一方法，其特征在于，步骤2包括以下步骤：步骤2-1，对于一个给定的视频帧，用VGG-19CNN来编码视频片段的外观，使用这个网络的最后一层预测ImegeNet类标签，表示为单一编码；把这个网络当作一个功能转换函数f:I→a'，并且从网络的倒数第二层为视频帧I返回4,096D的响应矢量；步骤2-2，将每个单一帧编码后，使用RNN网络进行训练，通过给出(ai-k,…,ai-1)的编码，预...

【专利技术属性】
技术研发人员：李晓丽，宋国美，杜振龙，
申请(专利权)人：南京工业大学，
类型：发明
国别省市：江苏,32