基于多模态预训练模型的短视频热度预测方法及装置制造方法及图纸

本发明专利技术公开了一种基于多模态预训练模型的短视频热度预测方法及装置，所述方法包括：抽取待预测短视频的特征信息，所述特征信息包括：视频信息、文本信息、短视频作者信息和短视频作者的粉丝量；基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果；根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果。本发明专利技术使预测结果与历史数据中呈现出的状态相结合，使预测结果更准确。使预测结果更准确。使预测结果更准确。

【技术实现步骤摘要】
基于多模态预训练模型的短视频热度预测方法及装置


[0001]本专利技术涉及短视频服务领域，具体为一种基于多模态预训练模型的短视频热度预测方法及装置。

技术介绍

[0002]随着短视频领域的兴起与繁荣，在移动端观看、评论、转发和创作短视频己经成为人们日常生活中必不可少的一种娱乐。
[0003]本专利技术的专利技术人发现，对于短视频而言，热度是非常重要的。热度基本可以用转发量和评论数来进行表示。对于短视频热度的预测可以对舆情的监管提供帮助。然而，目前并不存在针对短视频进行热度预测的技术方法，更不存在利用多模态预训练模型这种深度学习模型对短视频进行热度预测的技术方法。

技术实现思路

[0004]针对上述问题，本专利技术的目的是提供一种基于多模态预训练模型的短视频热度预测方法及装置，以对短视频的热度进行更准确的预测。
[0005]为实现上述目的，本专利技术采用如下技术方案：
[0006]一种基于多模态预训练模型的短视频热度预测方法，其步骤包括：
[0007]抽取待预测短视频的特征信息，所述特征信息包括：视频信息、文本信息、短视频作者信息和短视频作者的粉丝量；
[0008]基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果；
[0009]根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果。
[0010]进一步地，基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果，包括：
[0011]构建短视频数据集，其中所述短视频数据集中短视频的标签为热度度量；
[0012]抽取所述短视频的样本特征，所述样本特征包括：样本视频信息和样本文本信息；
[0013]基于所述样本特征与所述标签对预训练模型进行有监督训练，得到多模态预测模型；
[0014]将视频信息与文本信息输入到所述多模态预测模型，得到所述待预测短视频的第一热度预测结果。
[0015]进一步地，所述热度度量包括：转发量、评论量或转发量与评论量之和。
[0016]进一步地，所述预训练模型的结构包括：深度神经网络。
[0017]进一步地，所述将视频信息与文本信息输入到短视频热度预测模型，得到所述待预测短视频的第一热度预测结果，包括：
[0018]将所述视频信息和文本信息分别输入到视频嵌入器和文本嵌入器，得到视频初始表示和文本初始表示；
[0019]基于所述视频初始表示和文本初始表示，计算得到上下文视频嵌入表示；
[0020]将所述上下文视频嵌入表示送入一输出层，得到所述待预测短视频的第一热度预测结果。
[0021]进一步地，所述基于所述视频初始表示和文本初始表示，计算得到上下文视频嵌入表示，包括：
[0022]将每个视觉帧及对应的局部文本上下文输入到一个跨模态Transformer中，计算文本与其对应视觉帧之间的上下文多模态嵌入；
[0023]将所有的上下文多模态嵌入输入到时间Transformer中，得到所述上下文视频嵌入表示。
[0024]进一步地，所述根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果，包括：
[0025]分别对短视频作者信息与短视频作者的粉丝量进行量化，得到作者信息量化结果与粉丝量量化结果；
[0026]通过对所述第一热度预测结果、作者信息量化结果与粉丝量量化结果进行加权计算，得到第二热度预测结果。
[0027]一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一所述方法。
[0028]一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一所述方法。
[0029]与现有技术相比，本专利技术至少具有以下优点：
[0030]1.本专利技术首次将多模态预训练模型这一深度学习模型用于对短视频的热度预测；
[0031]2.本专利技术继承了深度学习模型在输入输出和特征工程上的简洁性，整个模型和过程简洁高效；
[0032]3.本专利技术通过使用大量样本对象的历史热度度量和特征信息进行训练，使短视频热度预测模型建立在大量已有数据的基础之上。因此，在利用基于多模态预训练模型的短视频热度预测模型对待预测短视频进行热度预测时，可以使预测结果与历史数据中呈现出的状态相结合，使预测结果更准确。本专利技术提供的技术方案充分利用了大量历史样本数据的，满足了短视频热度的预测需求，可以对短视频领域舆情的监管提供帮助。
附图说明
[0033]图1是本专利技术的基于多模态预训练模型对短视频热度进行预测的流程图。
具体实施方式
[0034]为使本专利技术的上述特征和优点能更明显易懂，下面通过具体实施例，对本专利技术的技术方案做进一步说明。
[0035]图1为本实施例的用于预测网络热度的方法的流程图，下面对图1中的各步骤分别进行说明。
[0036]步骤1：抽取待预测短视频的特征信息。
[0037]具体的，本实施例可以通过接受外部输入信息的方式获得短视频的特征。
[0038]作为示例，给定待测短视频，该短视频的特征信息包括：视频特征、文本特征、作者信息和作者粉丝量。
[0039]步骤2：基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果。
[0040]具体的，本实施例使用大量历史数据对多模态预训练模型HERO进行训练，得到基于多模态预训练模型的短视频热度预测模型。HERO模型以视频片段的帧和对应的文本作为输入，它们被输入到一个视频嵌入器和一个文本嵌入器中来提取初始表示。之后模型计算一个上下文化视频嵌入。首先，每个视觉帧及对应的局部文本上下文输入到一个跨模态Transformer中，计算文本与其对应视觉帧之间的上下文化多模态嵌入。然后将得到的整个视频片段的帧嵌入输入到时间Transformer中，学习全局视频上下文，并获得最终的上下文化视频嵌入。在原模型HERO的基础上新增神经网络输出层输出短视频的转发量和评论量的和，即热度度量。
[0041]作为示例，在给定大量历史短视频数据作为训练数据的情况下，采用多模态预训练模型HERO进行训练。训练时的输入为短视频中的视频和文本信息，模型对视频帧的特征和文字特征进行学习。训练过程采用样本数据转发量和评论量的和作为监督，进行有监督训练。
[0042]之后，将待预测短视频的视频和文本特征信息作为输入信息提供给训练好的基于多模态预训练模型的短视频热度预测模型，得到第一热度预测结果。
[0043]步骤3：根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果。
[0044]具体的，本专利技术对该热度度量经作者信息和作者粉丝量微调，首先将作者信息和作者粉丝量进行量化度量，然后将第一热度预测结果赋予权值α，作者信息量化后赋予权值β，粉丝量量化后赋予权值γ(且α本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态预训练模型的短视频热度预测方法，其步骤包括：抽取待预测短视频的特征信息，所述特征信息包括：视频信息、文本信息、短视频作者信息和短视频作者的粉丝量；基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果；根据短视频作者信息与短视频作者的粉丝量，对所述第一热度预测结果进行微调，得到第二热度预测结果。2.如权利要求1所述的方法，其特征在于，基于视频信息与文本信息，计算所述待预测短视频的第一热度预测结果，包括：构建短视频数据集，其中所述短视频数据集中短视频的标签为热度度量；抽取所述短视频的样本特征，所述样本特征包括：样本视频信息和样本文本信息；基于所述样本特征与所述标签对多模态预训练模型进行有监督训练，得到短视频热度预测模型；将视频信息与文本信息输入到短视频热度预测模型，得到所述待预测短视频的第一热度预测结果。3.如权利要求2所述的方法，其特征在于，所述热度度量包括：转发量、评论量或转发量与评论量之和。4.如权利要求2所述的方法，其特征在于，所述多模态预训练模型的结构包括：深度神经网络。5.如权利要求2所述的方法，其特征在于，所述将视频信息与文本信息输入到短视频热度预测模型，得到所述待预测短视频的第一热度预测结果，包括：将所述视频信息和文本信息分别输入到视频嵌入器和文本嵌入器，得到视频初始表示和文本初始表示...

【专利技术属性】
技术研发人员：呼大永，孟庆川，张鸿浩，马灿，苏浩山，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：