视频处理方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了一种视频处理方法、装置、电子设备和存储介质，涉及深度学习、人工智能、计算机视觉及自然语言处理技术领域，可应用在视频处理领域相关场景中。该方案为：获取源视频的第一特征信息；获取每个候选音乐素材的第二特征信息；将第一特征信息和第二特征信息分别在特征空间内进行映射，以获取源视频与候选音乐素材的相似度；根据每个候选音乐素材对应的相似度，从多个候选音乐素材中选取目标音乐素材；在源视频中加载目标音乐素材，以生成目标视频。本申请通过两类特征信息在特征空间的映射，能为源视频添加匹配度更高的目标音乐素材，不再依赖人工干预对视频进行背景音乐的添加，提高了视频处理过程的准确性和效率、并节省了人力成本。

【技术实现步骤摘要】
视频处理方法、装置、电子设备和存储介质
本申请的实施例总体上涉及图像处理
，并且更具体地涉及深度学习、人工智能、计算机视觉及自然语言处理

技术介绍
近年来，随着视频处理技术的迅速发展，为视频添加匹配的背景音乐，已经成为了视频处理过程中非常重要的环节。准确地为视频添加匹配的背景音乐，能够为用户带来方便和娱乐。因此，如何提高视频处理过程中的准确性，已成为了重要的研究方向之一。
技术实现思路
本申请提供了一种视频处理方法、装置、电子设备和存储介质。根据第一方面，提供了一种视频处理方法，包括：获取源视频的第一特征信息；获取每个候选音乐素材的第二特征信息；将所述第一特征信息和所述第二特征信息分别在特征空间内进行映射，以获取所述源视频与所述候选音乐素材的相似度；根据每个所述候选音乐素材对应的所述相似度，从多个所述候选音乐素材中选取目标音乐素材；以及在所述源视频中加载所述目标音乐素材，以生成目标视频。根据第二方面，提供了一种视频处理装置，包括：r>第一获取模块，用本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其中，包括：/n获取源视频的第一特征信息；/n获取每个候选音乐素材的第二特征信息；/n将所述第一特征信息和所述第二特征信息分别在特征空间内进行映射，以获取所述源视频与所述候选音乐素材的相似度；/n根据每个所述候选音乐素材对应的所述相似度，从多个所述候选音乐素材中选取目标音乐素材；以及/n在所述源视频中加载所述目标音乐素材，以生成目标视频。/n

【技术特征摘要】
1.一种视频处理方法，其中，包括：
获取源视频的第一特征信息；
获取每个候选音乐素材的第二特征信息；
将所述第一特征信息和所述第二特征信息分别在特征空间内进行映射，以获取所述源视频与所述候选音乐素材的相似度；
根据每个所述候选音乐素材对应的所述相似度，从多个所述候选音乐素材中选取目标音乐素材；以及
在所述源视频中加载所述目标音乐素材，以生成目标视频。


2.根据权利要求1所述的视频处理方法，其中，所述将所述第一特征信息和所述第二特征信息分别在特征空间内进行映射，以获取所述源视频与所述候选音乐素材的相似度，包括：
对所述第一特征信息进行度量学习，以获取在所述特征空间内所述源视频的第一特征表示；
对所述第二特征信息进行度量学习，以获取在所述特征空间内所述候选音乐素材的第二特征表示；
获取所述第一特征表示和所述第二特征表示之间的相似度，作为所述源视频与所述候选音乐素材的所述相似度。


3.根据权利要求1所述的视频处理方法，其中，所述获取源视频的第一特征信息，包括：
对所述源视频进行特征提取，以获取所述源视频的图像特征；
对所述源视频进行实体识别，以获取所述源视频的第一实体关键词；以及
根据所述图像特征和所述第一实体关键词，生成所述第一特征信息。


4.根据权利要求3所述的视频处理方法，其中，所述根据所述图像特征和所述第一实体关键词，生成所述第一特征信息，包括：
获取所述第一实体关键词的第一词向量；以及
将所述图像特征和所述第一词向量进行拼接，以获取所述第一特征信息。


5.根据权利要求1所述的视频处理方法，其中，所述获取每个候选音乐素材的第二特征信息，包括：
对所述候选音乐素材进行特征提取，以获取所述候选音乐素材的音频特征；
对所述候选音乐素材进行语音信息识别，以获取所述候选音乐素材的第二实体关键词；以及
根据所述音频特征和所述第二实体关键词，生成所述第二特征信息。


6.根据权利要求1所述的视频处理方法，其中，所述根据所述音频特征和所述第二实体关键词，生成所述第二特征信息，包括：
获取所述第二实体关键词的第二词向量；以及
将所述音频特征和所述第二词向量进行拼接，以获取所述第二特征信息。


7.根据权利要求2-6任一项所述的视频处理方法，其中，还包括：
选取样本数据，其中所述样本数据中包括样本视频和与所述样本视频匹配的背景音乐；
分别获取所述样本视频的第三特征信息和所述背景音乐的第四特征信息；
利用所述第三特征信息和所述第四特征信息，对度量学习模型进行训练，以生成目标度量学习模型，其中，所述目标度量学习模型用于对所述第一特征信息和所述第二特征信息进行度量学习。


8.根据权利要求7所述的视频处理方法，其中，所述选取样本数据，包括：
获取候选样本视频和所述候选样本视频的描述信息；以及
根据所述描述信息从所述候选样本视频中筛选出所述样本视频。


9.根据权利要求7所述的视频处理方法，其中，所述分别获取所述样本视频的第三特征信息和所述背景音乐的第四特征信息，还包括：
从所述样本数据中分离出所述样本视频和所述背景音乐；
将所述样本视频输入视频通道中进行特征提取，以获取所述第三特征信息；以及
将所述背景音乐输入音频通道中进行特征提取，以获取所述第四特征信息。


10.一种视频处理装置，其中，包括：
第一获取模块，用于获取源视频的第一特征信息；
第二获取模块，用于获取每个候选音乐素材的第二特征信息；
相似度获取模块，用于将所述第一特征信息和所述第二特征信息分别在特征空间内进行映射，以获取所述源视频与所述候选音乐素材的相似度；
素材选取模块，用于根据每个所述候选音乐素材对应的所述相似...

【专利技术属性】
技术研发人员：薛学通，任晖，杨敏，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11