基于查询的无监督深度学习的多视频摘要方法技术

本发明专利技术涉及视频摘要处理，为提出一种能够结合视频的视觉信息和与主题相关的先验信息，利用受限玻尔兹曼机思想的多视频摘要方法，本发明专利技术基于查询的无监督深度学习的多视频摘要方法，首先对同一查询事件下的多视频进行镜头检测预处理获取候选关键帧；然后将融合的视频特征作为可见层H

Query-based unsupervised in-depth learning for multi-video summarization

The present invention relates to video summarization processing. In order to propose a multi-video summarization method which combines video visual information and subject-related prior information, and utilizes the idea of limited Boltzmann machine, the multi-video summarization method based on unsupervised deep learning of query is proposed. First, shot detection and pre-processing of multi-video under the same query event is carried out to obtain candidate key frames. Then the fused video features are used as the visible layer H.

【技术实现步骤摘要】
基于查询的无监督深度学习的多视频摘要方法
本专利技术涉及视频摘要处理。特别是涉及对具有冗余性，交叉性等特点的多媒体视频数据，通过无监督深度学习(受限玻尔兹曼机)方法对多视频关键镜头进行分析，再结合网络图像的辅助信息进行摘要获取的基于查询的无监督深度学习的多视频摘要方法。具体讲，涉及查询的无监督深度学习的多视频摘要方法。
技术介绍
随着技术的发展，在线视频的数量正以飞快的速度增长，用户也可以使用自己的移动设备方便地上传个人视频到共享网站。记录同一事件、同一场景的视频可能存在大量的冗余信息，这对用户捕捉重要信息带来了困难。因此对大量的视频集中提取出有意义的部分，使用户快速获取视频信息的重要内容的技术是迫切需求的。视频摘要是通过将一个或多个视频转换为精简视频来满足此要求的技术，引起了越来越多的研究人员的关注。多视频摘要技术旨在针对某个查询主题下的大量视频，提取出和检索主题内容相关的且有意义的部分，并以一定的逻辑形式呈现出来，目的是通过简洁而又涵盖主题内容的概要帮助用户更好地了解视频集的重要信息。视频摘要的方法也可以分为两类：基于关键帧的视频摘要和基于视频剪辑的视频摘要。不管是哪类方法，根本目的都是一样的，就是使用户在最短的时间获取原始视频中最大的信息量。多视频摘要需要满足的基本要求：1)最大信息覆盖率；2)重要性；3)主题相关性。最大信息覆盖率指的是所提取的视频内容能够覆盖同一主题下多个视频的主要内容。重要性指的则是根据某些先验信息提取视频集中重要的关键镜头，从而提取出多个视频中重要的内容。主题相关性指的是要保证获取的视频摘要并能准确的反映查询主题的内容。对于单视频摘要，目前有很多实现方法。但是多视频数据集的处理就比较困难。一方面多视频数据集存在较大的冗余性：大量同性质的网站提供相同或者类似的视频资源，用户可以上传自己的视频数据。另一方面多视频数据集同一内容所表现出来的音频信息，文本信息和视觉信息可能存在较大差别。因此多视频摘要技术相对于单个视频摘要获取就存在比较大的困难。作为一个更具挑战性的任务，研究学者针对多视频数据集提出了一些比较可行的方法。其中聚类的方法或者图模型法在原始搜索结果中分析和发现视觉相似的图像作为搜索样例原型是一种比较常用的方法。传统的聚类方法不能解决多视频数据集在同一主题下内容多样且冗余所带来的困难。只考虑视觉上的信息效果较差，需要结合多视频的多模态信息进行摘要的获取。针对同一主题下的多视频数据集，利用视频的视觉共现特性(visualCo-occurrence)实现多视频摘要是一种比较新颖的方法。该方法认为重要的视觉概念往往重复出现在同一主题下的多个视频中，并根据这一特点提出了最大二元组查找算法(MaximalBicliqueFinding)，提取多视频的稀疏共现模式，从而实现多视频摘要。但是该方法仅适用于特定的数据集，对于视频中重复性较小的视频集，该方法就失去了意义。此外，相关学者利用多视频中的文本，音频等多模态信息，判断视频中的重要信息，生成多视频摘要。目前，由于多视频数据的复杂性，多视频摘要技术的方法还有待提升。因此，如何借助已有的多视频信息对数据集进行视频结构和内容的分析，更好地实现多视频摘要，成为目前相关学者研究的热点。
技术实现思路
本专利技术所要解决的技术问题是：针对多媒体视频数据的冗余信息、重复信息较多等特点，提供一种能够结合视频的视觉信息和与主题相关的先验信息，利用受限玻尔兹曼机思想的多视频摘要方法。本专利技术所采取的技术方案是：基于查询的无监督深度学习的多视频摘要方法，首先对同一查询事件下的多视频进行镜头检测预处理获取候选关键帧，提取4096维的VGG卷积神经网络特征和256维的颜色特征；然后将融合的4352维的视频特征作为可见层H0输入到深层架构以构造具有隐藏层H1的多层受限玻尔兹曼机RBM，为了整合文档摘要的查询信息，在第一层RBM进行两个不同的过程，包括：基于查询的初始权重设置和查询导向惩罚过程；随后通过低层参数自下而上连接到RBM网络的第二、三层；在基于深层体系结构的概念提取之后，通过更高层的隐藏层H3输出简洁且有意义的多视频摘要。具体的，提取视频视觉特征，使用VGG卷积神经网络和颜色特征得到镜头检测候选关键帧的4352维融合特征，记为f＝[f1,f2,...fi,...,fv]，fi表示第i帧的特征。无监督深度学习的网络采用多层受限玻尔兹曼机，具体表示如下：视频特征f作为可见层H0输入到深层架构以构造具有隐藏层H1的受限玻尔兹曼机RBM，第一层RBM即可见层H0和隐藏层H1之间的能量函数通过公式(1)来定义：E(h0,h1；θ1)＝-((h0)TA1h1+(b1)Th0+(c1)Th1)(1)其中，θ1＝(A1,b1,c1)是可见层H0和隐藏层H1之间的模型参数，A1是H0中的可见单元和H1中隐藏单元之间的对称交互项，b1是H0的偏差，c1是H1的偏差。可见层H0和隐藏层H1之间具有如下联合分布：其中，Z是一个归一化函数，在H0中可见矢量分配给h0的对数似然概率如公式(3)所示：可见层H0的输入状态h0和隐藏层H1的隐藏状态h1的条件概率分布由公式(4)和(5)定义：其中σ(x)＝1/(1+exp(-x))；定义h1(k)为来自链的第k个h1的样本，从k＝0开始，其中h1(0)是RBM的输入观察，而(h1(k),h0(k))fork→∞是马尔可夫链的样本，计算出公式(3)的导数与参数θ1＝(A1,b1,c1)有如下关系：当k＝1时，模型参数A1的导数可以通过公式(7)获得：其中<·>data表示数据分布的期望，<·>recon表示一步之后数据的“重建”分布，由此参数A1定义转化成：其它在θ1中的参数更新的方式也以相似的方式进行计算，其中是动量参数，εA,εb,εc是学习率；以上是第一层RBM可见层H0与隐藏层H1的操作过程，RBM被用作深层模型的构建块，因为自下而上的连接可以用来从低层特征推断更紧凑的高层表示，同理隐藏层H1与隐藏层H2之间、隐藏层H2与输出层H3之间的连接的能量函数分别由式(11)(12)表示，联合分布函数分别由式(13)(14)表示：E(h1,h2；θ2)＝-((h1)TA2h2+(b2)Th1+(c2)Th2)(11)E(h2,h3；θ3)＝-((h2)TA3h3+(b3)Th2+(c3)Th3)(12)依据第一层RBM参数推导，同理可推导出θ2、A2、b2、c2以及θ3、A3、b3、c3。此外，为了得到与主题相关度高的视频摘要，借助查询的网络图像的辅助信息，在第一层RBM中进行查询面向初始权重设置和查询导向惩罚两方面的操作，Q＝[q1,q2,...,qi,...,qm]表示查询的网络图像特征集合，m表示网络图像集合帧的个数；在随机初始化设置后，如果第i个H0中的节点帧与查询网络图像的平均相似性大于0.5，进行公式(15)操作：其中，是H0中的可见单元i和H1中隐藏单元j之间的对称交互项；在惩罚过程中，与主题相关程度高的候选关键帧的重构错误比其它帧惩罚更多；其中γ是惩罚因子，si表示第i个候选关键帧与主题相关程度，定义为sim(·,·)表示余弦相似性。最后，在基于深层体系结构的概念提取之后，重要性矩阵AF如公式(本文档来自技高网...

【技术保护点】
1.一种基于查询的无监督深度学习的多视频摘要方法，其特征是，首先对同一查询事件下的多视频进行镜头检测预处理获取候选关键帧，提取4096维的VGG卷积神经网络特征和256维的颜色特征；然后将融合的4352维的视频特征作为可见层H

【技术特征摘要】
1.一种基于查询的无监督深度学习的多视频摘要方法，其特征是，首先对同一查询事件下的多视频进行镜头检测预处理获取候选关键帧，提取4096维的VGG卷积神经网络特征和256维的颜色特征；然后将融合的4352维的视频特征作为可见层H0输入到深层架构以构造具有隐藏层H1的多层受限玻尔兹曼机RBM，为了整合文档摘要的查询信息，在第一层RBM进行两个不同的过程，包括：基于查询的初始权重设置和查询导向惩罚过程；随后通过低层参数自下而上连接到RBM网络的第二、三层；在基于深层体系结构的概念提取之后，通过更高层的隐藏层H3输出简洁且有意义的多视频摘要。2.如权利要求1所述的基于查询的无监督深度学习的多视频摘要方法，其特征是，具体的，提取视频视觉特征，使用VGG卷积神经网络和颜色特征得到镜头检测候选关键帧的4352维融合特征，记为f＝[f1,f2,...fi,...,fv]，fi表示第i帧的特征。3.如权利要求1所述的基于查询的无监督深度学习的多视频摘要方法，其特征是，无监督深度学习的网络采用多层受限玻尔兹曼机，具体表示如下：视频特征f作为可见层H0输入到深层架构以构造具有隐藏层H1的受限玻尔兹曼机RBM，第一层RBM即可见层H0和隐藏层H1之间的能量函数通过公式(1)来定义：E(h0,h1；θ1)＝-((h0)TA1h1+(b1)Th0+(c1)Th1)(1)其中，θ1＝(A1,b1,c1)是可见层H0和隐藏层H1之间的模型参数，A1是H0中的可见单元和H1中隐藏单元之间的对称交互项，b1是H0的偏差，c1是H1的偏差；可见层H0和隐藏层H1之间具有如下联合分布：其中，Z是一个归一化函数，在H0中可见矢量分配给h0的对数似然概率如公式(3)所示：可见层H0的输入状态h0和隐藏层H1的隐藏状态h1的条件概率分布由公式(4)和(5)定义：其中σ(x)＝1/(1+exp(-x))；定义h1(k)为来自链的第k个h1的样本，从k＝0开始，其中h1(0)是RBM的输入观察，而(h1(k),h0(k))fork→∞是马尔可夫链的样本，计算出公式(3)的导数与参数θ1＝(A1,b1,c1...

【专利技术属性】
技术研发人员：冀中，张媛媛，庞彦伟，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12