一种用于短视频的事件检测方法技术

本发明专利技术公开了一种用于短视频的事件检测方法，包括：提出低秩约束模型，用于最大化不同视角间的关联性和互补性，获得更加鲁棒的子空间结构；采用判别学习的方式，通过回归分析建立样本的特征表征与类别标签之间的联系；建立弹性的正则化网络，引入非负标号松弛矩阵，将严格的二元标签矩阵松弛为一个松弛变量矩阵，用于在扩大不同类之间的距离同时，提供更多空间来拟合标签；根据获取到的目标函数，将提取的训练集的特征矩阵以及对应的标签矩阵带入，通过拉格朗日乘子法求出字典矩阵，映射矩阵；根据约束条件，带入测试集的特征矩阵进而求出预测的特征集的标签，将其和数据真实的标签做比对，通过计算mAP的方式求出最后的预测结果。

An Event Detection Method for Short Video

【技术实现步骤摘要】
一种用于短视频的事件检测方法
本专利技术涉及视频检测领域，尤其涉及一种用于短视频的事件检测方法。
技术介绍
随着互联网社交平台的发展，海量的各种各样的媒体形式在互联网上传播。其中，短视频作为一种新兴的媒体在近些年迅速发展流行起来。在海量的短视频中，快速确定短视频的种类，将短视频按照一定的标准进行分类，是进行短视频内容分析的重要环节，是后续进行个性化推荐的重要前提。但相比于传统的动作识别，事件检测更加的复杂和具有挑战性。视频中的人物、背景以及事件往往更加复杂。相较于传统的常规视频，短视频具有时间短，镜头单一，噪声大，拍摄视角不同等诸多特点。针对于这些特点，需要有新的方法来解决上述存在的问题。目前主流的视频事件检测切入角度有：提取深度语义特征，多视角特征融合等。其中多视角融合这一切入点由于其充分利用了视频各个视角的信息在该领域取得了诸多成果。但目前在该领域存在一定的问题，一方面已存在的方法对于各个视角的互补性和关联性利用不足，另一方面不同视角间的信息融合后得到的子空间鲁棒性不足，因此提出一种有效的复杂事件检测的方式是很有必要的。
技术实现思路
本专利技术提供了一种用于短视频的事件检测方法，本专利技术提高了检测精度，具有较高的空间鲁棒性，详见下文描述：一种用于短视频的事件检测方法，所述事件检测方法包括以下步骤：采集短视频的前景信息和背景信息；提出低秩约束模型，用于最大化不同视角间的关联性和互补性，获得更加鲁棒的子空间结构；采用判别学习的方式，通过回归分析建立样本的特征表征与类别标签之间的联系；建立弹性的正则化网络，引入非负标号松弛矩阵，将严格的二元标签矩阵松弛为一个松弛变量矩阵，用于在扩大不同类之间的距离同时，提供更多空间来拟合标签；根据获取到的目标函数，将提取的训练集的特征矩阵X以及对应的标签矩阵Y带入，通过拉格朗日乘子法求出字典矩阵U，映射矩阵W，A；根据约束条件带入测试集的特征矩阵X，U,W，求出对应的Z，再根据Y＝ZA，求出预测的特征集的标签Y，将其和数据真实的标签做比对，通过计算mAP的方式求出最后的预测结果。所述低秩约束模型具体为：其中，Ui∈RD×P表示第i个视角对应的字典，P表示字典中元素的个数；Z∈RP×N表示不同视角共享的特征表征矩阵；Ei∈RD×(N+M)代表第i个视角的稀疏误差矩阵，R表示设定的字典个数，γ1和γ2表示平衡因子；T表示转置；代表矩阵U的核范数，δi(U)表述矩阵U的第i个奇异值。||·||1表示L1范数。||·||2，1表示矩阵的L2,1范数。所述非负标号松弛矩阵具体为：其中，A表示学习的低秩特征Z与标签矩阵的Y映射矩阵，Y表示标签矩阵，||·||F表示矩阵的F范数，γ表示平衡因子，矩阵B的元素Bij定义为矩阵M∈RN×C为弹性矩阵。所述目标函数具体为：将U，W，A，带入测试集的特征矩阵，根据Y＝ZA，求得最后的预测结果。本专利技术主要采集短视频前景信息，将提取的多视角的特征映射到一个共同的潜在子空间当中去，并对该空间加以低秩约束，通过回归学习的方式建立低秩特征和标签之间的关联，该技术方案的有益效果是：1、本专利技术提出了一个新颖的低秩模型，不仅能够最大化不同视角间的关联性和互补性，而且可以获得更加鲁棒的子空间结构；2、本专利技术为了增强模型的判别性，采用判别学习的方式，通过回归分析建立样本的特征表征与类别标签之间的联系；3、本专利技术建立了一个弹性的正则化网络，引入一个非负标号弹性矩阵，将严格的二元标签矩阵松弛为一个松弛变量矩阵，在尽可能地扩大不同类之间的距离同时，从而提供更多空间来拟合标签；4、本专利技术还可以利用大量的无监督的短视频辅助学习，来提升模型性能，通过采用上述方式，获得了更加精确的检测结果，填补了相关研究在事件检测方面的空白。附图说明图1为一种用于短视频的事件检测方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1一种用于短视频的事件检测方法，参见图1，该方法包括以下步骤：101：采集短视频的前景信息和背景信息；其中，前景信息包括：主要人物和事件；背景信息包括：地点和环境。102：提出新颖的低秩约束模型，不仅能够最大化不同视角间的关联性和互补性，而且可以获得更加鲁棒的子空间结构；103：为了增强低秩模型的判别性，采用判别学习的方式，通过回归分析建立样本的特征表征与类别标签之间的联系；104：建立一个弹性的正则化网络，引入一个非负标号松弛矩阵，将严格的二元标签矩阵松弛为一个松弛变量矩阵，在尽可能地扩大不同类之间的距离的同时，从而提供更多空间来拟合标签；105：根据获取到的目标函数，将提取好的训练集的特征矩阵X以及它对应的训练集的标签矩阵Y带入，通过拉格朗日乘子法，求出对应的字典矩阵U，映射矩阵W，A；106：根据约束条件(默认误差矩阵E为0)，带入测试集的特征矩阵X，以及步骤105中求得的U,W，求出对应的Z，再根据Y＝ZA，通过求出的Z和步骤105中求出的A,求出预测的特征集的标签Y，将其和数据真实的标签坐比对，通过计算mAP的方式求出最后的预测结果。综上所述，本专利技术实施例通过上述步骤101-步骤104，获得了更加精确的检测结果，填补了相关研究在事件检测方面的空白。实施例2下面结合图1、以及具体的计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：201：提取短视频的两个视角的特征，即前景信息和背景信息；其中，前景信息，包括：主要人物和事件；背景信息，包括：地点和环境特征矩阵X＝[X1；X2；…；XK]。其中，K代表视角数，代表所有样本的第i种特征，Di表示特征维数，N代表样本数。202：学习发现一组各个视角所特有的一组映射矩阵D表示学习到的各视角共享的低秩子空间的特征维度，将不同视角下的特征映射到一个更本征低维的空间中使得不同视角对之间的关联性最大化，要求：其中，I表示Di×Di的单位矩阵，表示Xi与Xj的协方差矩阵，Dj表示与Di所对应视角不同的视角特征维度，Wj表示与Wi所对应视角不同的视角的映射矩阵，Sii表示各个视角自身的协方差矩阵，即Xi与Xi的协方差矩阵。203：引入新颖的低秩约束模型即：将映射后的特征矩阵分解成一个由低秩结构决定的共享的显著性成分Z及各视角特有的误差矩阵Ei；其中，Ui∈RD×P表示第i个视角对应的字典，P表示字典中元素的个数；Z∈RP×N表示不同视角共享的特征表征矩阵；Ei∈RD×(N+M)代表第i个视角的稀疏误差矩阵，R表示设定的字典个数，γ1和γ2表示平衡因子；T表示转置。代表矩阵U的核范数，δi(U)表述矩阵U的第i个奇异值。||·||1表示L1范数。||·||2，1表示矩阵的L2,1范数。204：对样本进行回归分析，引入非负标号松弛矩阵；其中，A表示学习的低秩特征Z与标签矩阵的Y映射矩阵，Y表示标签矩阵，||·||F表示矩阵的F范数，γ表示平衡因子，矩阵B的元素Bij定义为矩阵M∈RN×C为弹性矩阵。特别的，当存在一定量的不属于任意一类别的样本时，即当存在Yi,j＝0，设定Bij＝0。205：引入拉普拉斯矩阵L，强化样本间的关联，其表达形式为：其中，φ为平衡因子。206：获取完整的目标函数；具体实现时，求出各个变量的表达式，适当初始化后对各个变量进行迭代求值。待结本文档来自技高网...

【技术保护点】
1.一种用于短视频的事件检测方法，其特征在于，所述事件检测方法包括以下步骤：采集短视频的前景信息和背景信息；提出低秩约束模型，用于最大化不同视角间的关联性和互补性，获得更加鲁棒的子空间结构；采用判别学习的方式，通过回归分析建立样本的特征表征与类别标签之间的联系；建立弹性的正则化网络，引入非负标号松弛矩阵，将严格的二元标签矩阵松弛为一个松弛变量矩阵，用于在扩大不同类之间的距离同时，提供更多空间来拟合标签；根据获取到的目标函数，将提取的训练集的特征矩阵X以及对应的标签矩阵Y带入，通过拉格朗日乘子法求出字典矩阵U，映射矩阵W，A；根据约束条件

【技术特征摘要】
1.一种用于短视频的事件检测方法，其特征在于，所述事件检测方法包括以下步骤：采集短视频的前景信息和背景信息；提出低秩约束模型，用于最大化不同视角间的关联性和互补性，获得更加鲁棒的子空间结构；采用判别学习的方式，通过回归分析建立样本的特征表征与类别标签之间的联系；建立弹性的正则化网络，引入非负标号松弛矩阵，将严格的二元标签矩阵松弛为一个松弛变量矩阵，用于在扩大不同类之间的距离同时，提供更多空间来拟合标签；根据获取到的目标函数，将提取的训练集的特征矩阵X以及对应的标签矩阵Y带入，通过拉格朗日乘子法求出字典矩阵U，映射矩阵W，A；根据约束条件带入测试集的特征矩阵X，U,W，求出对应的Z，再根据Y＝ZA，求出预测的特征集的标签Y，将其和数据真实的标签做比对，通过计算mAP的方式求出最后的预测结果。2.根据权利要求1所述的一种用于短视频的事件检测方法，其特征在于，所述低秩约...

【专利技术属性】
技术研发人员：张静，刘靖辉，井佩光，苏育挺，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12