一种融合情感信息的多模态短视频标签推荐方法技术

本发明专利技术公开了一种融合情感信息的多模态短视频标签推荐方法，属于视频处理技术领域，包括：构建短视频样本集；将短视频样本输入基于多头注意力机制和自编码器的初始多模态标签推荐模型，以使其对短视频样本的图像、音频、文本进行特征提取得到内容特征和情感特征，并利用注意力网络进行融合得到多个候选视频标签；以期望视频标签为目标，以候选视频标签与期望视频标签的文字特征区别为损失，训练初始多模态标签推荐模型得到目标多模态标签推荐模型；将当前短视频输入目标多模态标签推荐模型以使其生成目标视频标签。本发明专利技术通过融合图像特征、音频特征以及文本特征，能够充分利用视频相关的多模态信息，有效提高所生成的视频标签的质量。标签的质量。标签的质量。

【技术实现步骤摘要】
一种融合情感信息的多模态短视频标签推荐方法


[0001]本专利技术属于视频处理
，更具体地，涉及一种融合情感信息的多模态短视频标签推荐方法。

技术介绍

[0002]由于多媒体技术和便携式移动设备的发展以及不同短视频平台的推动，短视频作为传统文字、图文媒体的延伸，逐渐成为大众传播用来获取信息和进行社交的新媒体形式。同时短视频时间跨度有限，可以被方便地拍摄并即时分享，使其广泛传播并且数量十分巨大。推荐系统一开始主要应用于商业领域，通过分析用户和商品间的联系推荐与用户相匹配的商品内容，随后推荐系统逐渐在社交媒体以及新闻平台中通过分析用户相关信息，如历史推文、评论以及文章等对用户感兴趣的内容进行推荐任务。推荐系统中的主体从广义上可以分为用户和物品，推荐任务的方式也可以大致分为一下几种，一种是通过相关算法匹配与用户相符的物品列表，即通过物品之间的相似度为用户进行推荐；一种是通过用户之间的相似度，使得同一物品可以被推荐到具有相同特性的用户组中；还有一种是通过用户本身的相关信息进行合理建模来匹配同样具有类似属性的物品列表，标签推荐的基本思想即来源于这一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合情感信息的多模态短视频标签推荐方法，其特征在于，包括：S1：构建短视频样本集，各短视频样本的标签包括对应的多个平台标签，且其属性包括对应的图像特征、音频特征以及文本特征；S2：将所述短视频样本输入基于多头注意力机制和自编码器的初始多模态标签推荐模型，以使其对所述短视频样本的图像、音频、文本进行特征提取，得到内容特征和情感特征，并利用注意力网络进行融合得到多个候选视频标签；以期望视频标签为目标，以所述候选视频标签与所述期望视频标签的文字特征区别为损失，训练所述初始多模态标签推荐模型得到目标多模态标签推荐模型；S3：将当前短视频输入所述目标多模态标签推荐模型以使其生成目标视频标签。2.如权利要求1所述的融合情感信息的多模态短视频标签推荐方法，其特征在于，所述短视频样本集包括训练集、验证集和测试集；所述S2包括：S21：将所述训练集输入所述初始多模态标签推荐模型；所述初始多模态标签推荐模型包括：内容特征提取模块、情感特征提取模块和标签预测模块融合；S22：利用所述内容特征提取模块中的预训练模型对所述训练集的图像模态和音频模态进行特征提取，再提取文本特征，利用多模态Transfomer模型对图像特征、音频特征和文本特征进行融合得到对应的内容特征；S23：利用所述情感特征提取模块中的预训练模型对所述训练集的图像模态和音频模态进行特征提取，再提取文本特征，再利用多头注意力机制对图像特征、音频特征和文本特征进行融合得到对应的情感特征；S24：利用所述标签预测模块融合所述训练集对应的内容特征、情感特征和标签文本特征得到短视频融合特征，并根据所述短视频融合特征生成若干个候选视频标签；计算各个所述候选视频标签和真实视频标签之间文字特征的误差，以便于通过不断迭代训练，缩小所述损失；S25：利用所述验证集和所述测试集分别对训练过程中的初始多模态标签推荐模型进行验证和测试，将通过验证和测试的初始多模态标签推荐模型作为所述目标多模态标签推荐模型。3.如权利要求2所述的融合情感信息的多模态短视频标签推荐方法，其特征在于，所述内容特征提取模块基于模态Transfomer结构；所述情感特征提取模块基于跨模态的多头注意力结构；所述标签预测模块基于注意力网络。4.如权利要求3所述的融合情感信息的多模态短视频标签推荐方法，其特征在于，所述内容特征提取模块包括依次连接的：编码器层、堆叠块层和融合层；所述编码器层用于对不同模态信息进行编码，所述堆叠块层用于进行带有注意力机制的模态表示；所述融合层用于...

【专利技术属性】
技术研发人员：李玉华，杜畅，李瑞轩，辜希武，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：