本公开实施例提供一种视频数据处理方法、装置、电子设备及存储介质。该方法包括：获取目标话题标签对应的聚类表征和包括所述目标话题标签的待处理视频数据，其中所述聚类表征是对多个包括所述目标话题标签的目标视频数据进行聚类获得的；对所述待处理视频数据进行多模态特征提取，获得所述待处理视频数据的多模态表征；根据所述目标话题标签对应的聚类表征和所述待处理视频的多模态表征，确定所述目标话题标签和所述待处理视频数据的相关性。话题标签和所述待处理视频数据的相关性。话题标签和所述待处理视频数据的相关性。
【技术实现步骤摘要】
视频数据处理方法、装置、电子设备及存储介质
[0001]本公开涉及计算机
，具体而言，涉及一种视频数据处理方法、视频数据处理装置、电子设备以及计算机可读存储介质。
技术介绍
[0002]话题标签(hashtag)是一种内容平台上的用于表示视频内容的标志，常用于内容平台上生成独特话题，以及精炼地表达发布内容包含的信息。在内容平台上，合理的话题标签能有效地吸引内容消费者积极参与到相关的话题，同时带动视频的播放量。
[0003]但是，在实际情况中，存在视频创作者为了蹭话题热度而为自己发布的视频添加与视频内容无关的热点话题标签，以吸引用户点击视频。
[0004]相关技术中，通过人工观看的方式判断视频内容和话题标签的相关性，这种方式准确性较差、效率较低。
技术实现思路
[0005]本公开实施例提供一种视频数据处理方法、视频数据处理装置、视频表征装置、电子设备以及计算机可读存储介质，该方法提高了目标话题标签和待处理视频数据的相关性判断的效率和准确性，从而可以根据相关性筛选获得与目标话题标签相关程度较低的待处理视频数据，以提高话题标签和视频数据匹配的准确性。
[0006]本公开实施例提供一种视频数据处理方法，该方法包括：获取目标话题标签对应的聚类表征和包括所述目标话题标签的待处理视频数据，其中所述聚类表征是对多个包括所述目标话题标签的目标视频数据进行聚类获得的；对所述待处理视频数据进行多模态特征提取，获得所述待处理视频数据的多模态表征；根据所述目标话题标签对应的聚类表征和所述待处理视频的多模态表征，确定所述目标话题标签和所述待处理视频数据的相关性。
[0007]在本公开的一些示例性实施例中，获取目标话题标签对应的聚类表征，包括：获取多个包括所述目标话题标签的目标视频数据；对各个目标视频数据进行多模态特征提取，获得各个目标视频数据的多模态表征；对各个目标视频数据的多模态表征进行聚类，获得所述目标话题标签对应的聚类表征。
[0008]在本公开的一些示例性实施例中，所述方法还包括：获取所述目标话题标签及包括所述目标话题标签的多个训练视频数据；通过多模态表征模型对各个训练视频数据进行多模态特征提取，获得各个训练视频数据的多模态表征；根据各个训练视频数据的多模态表征获得预测话题标签；根据所述预测话题标签和所述目标话题标签训练所述多模态表征模型，以根据训练完成的所述多模态表征模型对所述待处理视频数据或者各个目标视频数据进行多模态特征提取。
[0009]在本公开的一些示例性实施例中，所述训练视频数据包括训练图像数据、训练文本数据和训练音频数据，所述多模态表征模型包括视频表征模块、文本表征模块、音频表征
模块和特征融合模块；所述通过多模态表征模型对各个训练视频数据进行多模态特征提取，获得各个训练视频数据的多模态表征，包括：通过所述视频表征模块对各个训练图像数据进行视频特征提取，获得各个训练图像数据的视频特征；通过所述文本表征模块对各个训练文本数据进行文本特征提取，获得各个训练文本数据的文本特征；通过所述音频表征模块对各个训练音频数据进行音频特征提取，获得各个训练音频数据的音频特征；通过所述特征融合模块对各个训练图像数据的视频特征、各个训练文本数据的文本特征和各个训练音频数据的音频特征进行特征融合，获得各个训练视频数据的多模态表征。
[0010]在本公开的一些示例性实施例中，根据所述目标话题标签对应的聚类表征和所述待处理视频的多模态表征，确定所述目标话题标签和所述待处理视频数据的相关性，包括：确定所述目标话题标签对应的聚类表征和所述待处理视频的多模态表征的相似度；当所述相似度小于相似度阈值时，确定所述目标话题标签和所述待处理视频数据不相关。
[0011]在本公开的一些示例性实施例中，所述方法还包括：获取不包括目标话题标签的候选视频数据；对所述候选视频数据进行多模态特征提取，获得所述候选视频数据的多模态表征；根据所述目标话题标签对应的聚类表征和所述候选视频数据的多模态表征，确定所述目标话题标签和所述候选视频数据的相关性。
[0012]在本公开的一些示例性实施例中，所述方法还包括：若所述目标话题标签和所述候选视频数据相关，则将所述目标话题标签添加至所述候选视频数据中。
[0013]本公开实施例提供一种视频数据处理装置，包括：获取模块，被配置为执行获取目标话题标签对应的聚类表征和包括所述目标话题标签的待处理视频数据，其中所述聚类表征是对多个包括所述目标话题标签的目标视频数据进行聚类获得的；获得模块，被配置为执行对所述待处理视频数据进行多模态特征提取，获得所述待处理视频数据的多模态表征；确定模块，被配置为执行根据所述目标话题标签对应的聚类表征和所述待处理视频的多模态表征，确定所述目标话题标签和所述待处理视频数据的相关性。
[0014]本公开实施例提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行可执行指令，以实现如上述任一项的视频数据处理方法。
[0015]本公开实施例提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述任一项的视频数据处理方法。
[0016]本公开实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现上述任一项的视频数据处理方法。
[0017]本公开实施例提供的视频数据处理方法，目标话题标签对应的聚类表征是根据多个包括目标话题标签的目标视频数据进行聚类得到的，根据目标话题标签对应的聚类表征和待处理视频的多模态表征，确定目标话题标签和待处理视频数据的相关性，提高了相关性判断的效率和准确性，从而可以根据相关性筛选获得与目标话题标签相关程度较低的待处理视频数据，以提高话题标签和视频数据匹配的准确性，从而提升视频数据总体的浏览量。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1示出了可以应用本公开实施例的视频数据处理方法的示例性系统架构的示意图。
[0021]图2是根据一示例性实施例示出的一种视频数据处理方法的流程图。
[0022]图3是根据一示例性实施例示出的另一种视频数据处理方法的流程图。
[0023]图4是根据一示例示出的使用多模态表征模型对目标视频数据和待处理视频数据进行特征提取的示意图。
[0024]图5是根据一示例性实施例示出的另一种视频数据处理方法的流程图。
[0025]图6是根据示例示出的一种多模态表征模型的示意图。
[0026]图7是根据一示例性实施例示出的另一种视频数据处理方法的流程图。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频数据处理方法，其特征在于，包括：获取目标话题标签对应的聚类表征和包括所述目标话题标签的待处理视频数据，其中所述聚类表征是对多个包括所述目标话题标签的目标视频数据进行聚类获得的；对所述待处理视频数据进行多模态特征提取，获得所述待处理视频数据的多模态表征；根据所述目标话题标签对应的聚类表征和所述待处理视频的多模态表征，确定所述目标话题标签和所述待处理视频数据的相关性。2.根据权利要求1所述的视频数据处理方法，其特征在于，获取目标话题标签对应的聚类表征，包括：获取多个包括所述目标话题标签的目标视频数据；对各个目标视频数据进行多模态特征提取，获得各个目标视频数据的多模态表征；对各个目标视频数据的多模态表征进行聚类，获得所述目标话题标签对应的聚类表征。3.根据权利要求1或2所述的视频数据处理方法，其特征在于，还包括：获取所述目标话题标签及包括所述目标话题标签的多个训练视频数据；通过多模态表征模型对各个训练视频数据进行多模态特征提取，获得各个训练视频数据的多模态表征；根据各个训练视频数据的多模态表征获得预测话题标签；根据所述预测话题标签和所述目标话题标签训练所述多模态表征模型，以根据训练完成的所述多模态表征模型对所述待处理视频数据或者各个目标视频数据进行多模态特征提取。4.根据权利要求3所述的视频数据处理方法，其特征在于，所述训练视频数据包括训练图像数据、训练文本数据和训练音频数据，所述多模态表征模型包括视频表征模块、文本表征模块、音频表征模块和特征融合模块；所述通过多模态表征模型对各个训练视频数据进行多模态特征提取，获得各个训练视频数据的多模态表征，包括：通过所述视频表征模块对各个训练图像数据进行视频特征提取，获得各个训练图像数据的视频特征；通过所述文本表征模块对各个训练文本数据进行文本特征提取，获得各个训练文本数据的文本特征；通过所述音频表征模块对各个训练音频数据进行音频特征提取，获得各个训练音频数据的音频特征；通过所述特征融合模块对各个训练图像数据...
【专利技术属性】
技术研发人员：谢树雷，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。