基于低秩约束和多视角特征融合的微视频流行度预测方法技术

本发明专利技术公开了一种基于低秩约束和多视角特征融合的微视频流行度预测方法，所述方法包括：对4种视角模态特征分别进行低秩近似处理，得到去除噪声的4种低秩特征信息；通过多视角信息典型相关分析对4种低秩特征信息进行特征融合；利用融合后的特征信息，建立表示各微视频之间的图关系的拉普拉斯矩阵；基于拉普拉斯矩阵，利用半监督的方法对微视频的流行度进行预测。本发明专利技术避免了单一视角的特征对于流行度预测的局限性，采用低秩约束处理各视角的特征，使得建立的特征之间的拉普拉斯矩阵有更高的稳定性。

【技术实现步骤摘要】
基于低秩约束和多视角特征融合的微视频流行度预测方法
本专利技术涉及微视频流行度预测领域，尤其涉及一种基于低秩约束和多视角特征融合的微视频流行度预测方法。
技术介绍
随着网络技术与社交平台的普及，微视频已经作为一种新的用户内容，受到了越来越多的关注。微视频是指短则30秒，长则不超过20分钟的视频短片。微视频的出现，不仅符合现代社会快节奏生活方式下的网络观看习惯和移动终端特色，也可满足娱乐爆炸、注意力稀缺时代消费者的自主参与感和注意力回报率的需求，可以预见，“微视频”带给大众的将是随时随地随意的视频享受。而微视频流行度的预测在广告推送，视频推荐以及预留带宽方面均具有指导作用，因此，对于微视频流行度的预测具有重要的意义。在现实生活中，每一个对象均可以用多种不同的视角特征进行表示，例如：微视频的表示可以存在声学特征，视觉特征，社会属性特征以及文本特征等多种形式，不同视角的特征可以为微视频流行度的预测起到不同的作用，因此特征融合以及特征选择也是目前比较流行的处理多视角特征的方法[1]。专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和不足：在实际的应用中，由于外部环境的变化以及相机的抖动导致微视频受到污染，视频提取的特征具有噪声是不能完全依赖的，目前的方法并没有很好的解决噪声对于特征的影响的问题，无法满足实际应用中多种需要。
技术实现思路
本专利技术提供了一种基于低秩约束和多视角特征融合的微视频流行度预测方法，本专利技术避免了单一视角的特征对于流行度预测的局限性，采用低秩约束处理各视角的特征，使得建立的特征之间的拉普拉斯矩阵有更高的稳定性，详见下文描述：一种基于低秩约束和多视角特征融合的微视频流行度预测方法，所述方法包括：对4种视角模态特征分别进行低秩近似处理，得到去除噪声的4种低秩特征信息；通过多视角信息典型相关分析对4种低秩特征信息进行特征融合；利用融合后的特征信息，建立表示各微视频之间的图关系的拉普拉斯矩阵；基于拉普拉斯矩阵，利用半监督的方法对微视频的流行度进行预测。所述方法还包括：对给定的微视频提取4种视角模态特征。所述4种视角模态特征具体为：视觉特征、声学特征、文本特征以及社会属性特征。所述通过多视角信息典型相关分析对4种低秩特征信息进行特征融合具体为：使各个视角的低秩特征投影到公共子空间上的余弦距离最大，用低秩特征公共子空间表示融合之后的特征空间，在此基础上进行微视频流行度的预测。所述利用融合后的特征信息，建立表示各微视频之间的图关系的拉普拉斯矩阵具体为：其中，L为低秩特征子空间的归一化拉普拉斯矩阵，D为对角矩阵，其值为各列的数值之和。本专利技术提供的技术方案的有益效果是：1、对各视角的特征信息进行低秩化近似处理，获得更加紧密的结构特征，以及采用去除噪声处理，使获取到的拉普拉斯矩阵具有更高的稳定性；2、利用多视角典型相关分析的方法对4种视角信息进行学习，达到特征融合的目的，学习得到公共子空间，以此来消除单一特征空间对于预测结果的局限；3、利用获取到的拉普拉斯矩阵表示各微视频特征之间的图关系，以此来提高流行度预测的精度，满足实际应用中的多种需要。附图说明图1为一种基于低秩约束和多视角特征融合的微视频流行度预测方法的流程图；图2为本专利技术提出的方法与其他流行度预测算法的对比结果的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。实施例1为了达到较好的预测效果，需要能够全面、自动、准确进行微视频流行度预测的方法。研究表明：相近特征之间的微视频具有相似的流行度。本专利技术实施例提出了一种基于低秩约束和多视角特征融合的微视频流行度预测方法，参见图1，详见下文描述：101：对4种视角模态特征分别进行低秩近似处理，得到去除噪声的4种低秩特征信息；102：通过多视角信息典型相关分析对4种低秩特征信息进行特征融合；103：利用融合后的特征信息，建立表示各微视频之间的图关系的拉普拉斯矩阵；基于拉普拉斯矩阵，利用半监督的方法对微视频的流行度进行预测。其中，在步骤101之前，该方法还包括：对给定的微视频提取4种视角模态特征。进一步地，上述4种视角模态特征具体为：视觉特征、声学特征、文本特征以及社会属性特征。其中，步骤102中的通过多视角信息典型相关分析对4种低秩特征信息进行特征融合具体为：使各个视角的低秩特征投影到公共子空间上的余弦距离最大，用低秩特征公共子空间表示融合之后的特征空间，在此基础上进行微视频流行度的预测。其中，步骤103中的利用融合后的特征信息，建立表示各微视频之间的图关系的拉普拉斯矩阵具体为：其中，L为低秩特征子空间的归一化拉普拉斯矩阵，D为对角矩阵，其值为各列的数值之和。综上所述，本专利技术实施例通过上述步骤101-步骤103避免了单一视角的特征对于流行度预测的局限性，采用低秩约束处理各视角的特征，使得建立的特征之间的拉普拉斯矩阵有更高的稳定性。实施例2下面结合具体的计算公式、实例对实施例1中的方案进行进一步地介绍，详见下文描述：201：对给定的微视频提取4种视角模态特征，即：视觉特征、声学特征、文本特征以及社会属性特征；本专利技术实施例首先对给定的微视频提取4种微视频研究的常用特征，包括：视觉特征、声学特征、文本特征以及社会属性特征。1、视觉特征包括：颜色直方图信息、微视频中的物体信息(可以用卷积神经网络的方法得到，也可以采用其他方法获取，本专利技术实施例对此不做限制)和美学特征。2、声学特征包括：微视频中的音乐以及其他主要背景音的特征。3、文本特征包括：微视频中的文本标注等，可以用word2vec[2]方法直接得到。4、社会属性特征是指用户账号的信息，包括：账号是否通过验证，粉丝数等信息。这4种模态的特征均能对流行度的预测起到影响，而且互为补充。其中，上述视觉特征、声学特征、文本特征以及社会属性特征为微视频领域公知的技术术语，本专利技术实施例对此仅做简单的介绍，在此不做赘述。202：利用低秩近似的方法对4种视角模态特征分别进行处理，得到低秩处理后的去除噪声的4种低秩特征信息；在实际提取的4种视角模态特征中，由于微视频本身的噪音，视角等影响，会使得建立的视频图关系适用性不高，因此采用低秩化对提取的微视频模态特征进行处理，去除噪音等污染信息，使得建立的拉普拉斯矩阵更加稳定。隐含低秩化处理的公式表示如下：s.t.Xk＝AkZk+Ek(1)其中，λ为平衡常数，||.||1表示矩阵的l-1范数，||.||*表示矩阵的迹范数，Xk为第k个视角的原始特征数据，Zk表示低秩转换矩阵，Ek表示噪声信息，Ak表示预先设定的字典矩阵，在一般情况下，从实际应用角度出发，通常选定Ak＝Xk，则得到原始特征空间的低秩化表示结果上述目标函数迹范数的最小化可以采用奇异值收缩(SVT)算法求解，具体求解步骤为本领域技术人员所公知，本专利技术实施例对此不做赘述。203：利用多视角信息典型相关分析处理4种低秩特征信息，进行特征融合；在步骤202中得到了4个视角的特征数据的低秩化结果，需要利用多视角典型相关分析的方法进行特征融合，来得到公共子空间以便综合考虑各个视角的信息。多视角典型相关分析的公式如下：其中，W1,...,WK为多视角典型相关分析中的特征转换矩阵，Sij为不同视角的微视频之间的协方差矩阵，Sii本文档来自技高网...

【技术保护点】
一种基于低秩约束和多视角特征融合的微视频流行度预测方法，其特征在于，所述方法包括：对4种视角模态特征分别进行低秩近似处理，得到去除噪声的4种低秩特征信息；通过多视角信息典型相关分析对4种低秩特征信息进行特征融合；利用融合后的特征信息，建立表示各微视频之间的图关系的拉普拉斯矩阵；基于拉普拉斯矩阵，利用半监督的方法对微视频的流行度进行预测。

【技术特征摘要】
1.一种基于低秩约束和多视角特征融合的微视频流行度预测方法，其特征在于，所述方法包括：对4种视角模态特征分别进行低秩近似处理，得到去除噪声的4种低秩特征信息；通过多视角信息典型相关分析对4种低秩特征信息进行特征融合；利用融合后的特征信息，建立表示各微视频之间的图关系的拉普拉斯矩阵；基于拉普拉斯矩阵，利用半监督的方法对微视频的流行度进行预测。2.根据权利要求1所述的一种基于低秩约束和多视角特征融合的微视频流行度预测方法，其特征在于，所述方法还包括：对给定的微视频提取4种视角模态特征。3.根据权利要求1或2所述的一种基于低秩约束和多视角特征融合的微视频流行度预测方法，其特征在于，所述4种视角模态特征具体为：视觉特征、声学特...

【专利技术属性】
技术研发人员：苏育挺，白须，井佩光，张静，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12