视频配乐方法、数据处理方法、设备及存储介质技术

本申请提供一种视频配乐方法、数据处理方法、设备及存储介质，其中方法包括：根据待配乐的视频确定所述视频的特征向量以及标签；根据所述视频的特征向量和标签以及配乐曲库中各音乐的特征向量和标签，为所述视频配乐；其中，所述视频或音乐的特征向量用于表征所述视频或音乐在视频和音乐的跨模态空间中的位置。本申请可以融合标签反映的大致信息以及特征向量反映的细节内容，更加精准地定位配乐范围，提高视频配乐的准确性，提升用户体验。提升用户体验。提升用户体验。

【技术实现步骤摘要】
视频配乐方法、数据处理方法、设备及存储介质


[0001]本申请涉及视频处理
，尤其涉及一种视频配乐方法、数据处理方法、设备及存储介质。

技术介绍

[0002]随着互联网技术的不断发展，视频类内容的传播也越来越广泛。在各类视频中，配乐是非常重要的一环，如何快速、准确地实现视频的配乐成为热点问题。
[0003]目前，常用的视频配乐方法为先确定视频对应的标签，再根据标签从曲库中选择合适的音乐。标签的信息难以反映视频的细节，因此，视频配乐的准确性较差。

技术实现思路

[0004]本申请实施例的主要目的在于提供一种视频配乐方法、数据处理方法、设备及存储介质，以提升视频配乐的准确性。
[0005]第一方面，本申请实施例提供一种视频配乐方法，包括：
[0006]根据待配乐的视频确定所述视频的特征向量以及标签；
[0007]根据所述视频的特征向量和标签以及配乐曲库中各音乐的特征向量和标签，为所述视频配乐；
[0008]其中，所述视频或音乐的特征向量用于表征所述视频或音乐在视频和音乐的跨模态空间中的位本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频配乐方法，其特征在于，包括：根据待配乐的视频确定所述视频的特征向量以及标签；根据所述视频的特征向量和标签以及配乐曲库中各音乐的特征向量和标签，为所述视频配乐；其中，所述视频或音乐的特征向量用于表征所述视频或音乐在视频和音乐的跨模态空间中的位置。2.根据权利要求1所述的方法，其特征在于，根据所述视频的特征向量和标签以及配乐曲库中各音乐的特征向量和标签，为所述视频配乐，包括：根据配乐曲库中各音乐的特征向量以及所述视频的特征向量，从所述配乐曲库中选择第一音乐列表；根据配乐曲库中各音乐的标签以及所述视频的标签，从所述配乐曲库中选择第二音乐列表；根据所述第一音乐列表和所述第二音乐列表的交集，确定所述视频的配乐列表。3.根据权利要求2所述的方法，其特征在于，根据所述第一音乐列表和所述第二音乐列表的交集，确定所述视频的配乐列表，包括：将所述第一音乐列表和第二音乐列表取交集，交集中的音乐按照与视频的特征向量的匹配度排序；若交集中的音乐数量大于等于预设数量，则取前预设数量个音乐形成配乐列表；若交集中的音乐数量小于预设数量，则取所述第一音乐列表中剩余的部分音乐以及所述交集形成配乐列表。4.根据权利要求2所述的方法，其特征在于，若所述视频的标签与至少两个音乐标签相匹配，则每一相匹配的音乐标签有其对应的第二音乐列表；根据所述第一音乐列表和所述第二音乐列表的交集，确定所述视频的配乐列表，包括：按照相匹配的音乐标签的优先级，依次对各音乐标签对应的第二音乐列表进行下述处理，直至配乐列表中的音乐数量达到预设数量：将所述第一音乐列表和所述第二音乐列表取交集，并将交集中的至少部分音乐添加到配乐列表；其中，所述音乐标签的优先级由音乐标签与视频的标签的匹配度确定。5.根据权利要求2
‑
4任一项所述的方法，其特征在于，所述方法还包括：提取所述配乐曲库中各音乐的特征向量，得到配乐特征向量库；相应的，根据配乐曲库中各音乐的特征向量以及所述视频的特征向量，从所述配乐曲库中选择第一音乐列表，包括：根据所述视频的特征向量，在所述配乐特征向量库中进行跨模态向量检索，确定特征向量与所述视频的特征向量的距离满足要求的音乐，形成第一音乐列表。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：通过训练样本，训练音乐分类网络和视频分类网络；在得到训练后的音乐分类网络和视频分类网络后，基于音乐分类网络和视频分类网络，训练音乐特征向量提取网络和视频特征向量提取网络；其中，音乐特征向量提取网络的输入为音乐分类网络的中间层的输出，视频特征向量
提取网络的输入为视频分类网络的中间层的输出；所述音乐分类网络用于确定音乐的标签，所述视频分...

【专利技术属性】
技术研发人员：邓俊祺，康力，陈思宇，熊子钦，王立波，陈颖，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：