视频文件的配乐方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种视频文件的配乐方法、系统、设备及存储介质，该方法包括：从待配乐的初始视频文件中提取出所述初始视频文件的各项视频特征，并结合各项所述视频特征生成所述初始视频文件的配乐音频文件；基于所述初始视频文件和配乐音频文件，生成测试视频文件；根据所述测试视频文件收看对象的用户画像模型和评价参数，对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件。本发明专利技术降低了视频配乐的整体成本，并结合视频内容特征和用户反馈，进行视频配乐，使用户在收看视频时能够获得更好的体验。

Music matching method, system, equipment and storage medium of video files

The invention discloses a music matching method, system, equipment and storage medium for video files. The method includes: extracting various video features of the initial video files from the initial video files to be music matching, generating the music audio files of the initial video files combined with the video features, and generating the test based on the original video files and music audio files. According to the user's portrait model and evaluation parameters of the viewing object of the test video file, the music audio file in the test video file is amended to generate the standby video file. The invention reduces the overall cost of video music score, combines video content characteristics and user feedback, and carries out video music score, so that users can obtain better experience when watching video.

【技术实现步骤摘要】
视频文件的配乐方法、系统、设备及存储介质
本专利技术涉及视频配乐
，尤其涉及一种视频文件的配乐方法、系统、设备及存储介质。
技术介绍
在制作面向受众群体的视频文件时，通常是先制作出视频内容，然后根据视频内容进行后期配乐，最终形成向广大用户播放的视频，这一点在时下的广告视频制作过程中体现的尤其明显。在现有的广告视频制作过程中，广告商设计人员会优先根据委托人的要求设计出视频内容，然后挑选已有的音频文件对视频进行后期配乐，如此，广告视频不仅整体成本高，且没有考虑到受众群体对于视频配乐的偏好要求。现有的也存在自动的音乐生成算法，但是，现有的音乐自动生成算法无法将音乐与视频内容特征结合起来，视频配乐效果一般。
技术实现思路
本专利技术的主要目的在于提供一种视频文件的配乐方法、系统、设备及存储介质，旨在提高创作广告视频新配乐的质量，降低配乐成本，并结合广告视频内容特征和用户反馈，对广告视频配乐进行优化调整，从而使用户在收看广告视频时获得更好的收看体验。为实现上述目的，本专利技术提供一种视频文件的配乐方法，所述视频文件的配乐方法包括以下步骤：从待配乐的初始视频文件中提取出所述初始视频文件的各项视频特征，并结合各项所述视频特征生成所述初始视频文件的配乐音频文件；基于所述初始视频文件和配乐音频文件，生成测试视频文件；根据所述测试视频文件收看对象的用户画像模型和评价参数，对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件。可选地，所述视频特征包括：光流强度特征、色度直方图特征、shot边界特征，所述从待配乐的初始视频文件中提取出所述视频文件的各项视频特征的步骤包括：提取所述初始视频文件中各视频图像对应的各光流图，和所述视频图像的色度直方图；将各所述光流图的平均光流强度作为所述初始视频文件的光流强度特征；将所述色度直方图进行归一化处理之后，作为所述初始视频文件的色度直方图特征；检测所述视频图像的shot边界，将所述shot边界所述初始视频文件的shot边界特征。可选地，所述视频特征还包括：视频情感分数特征，所述从待配乐的初始视频文件中提取出所述视频文件的各项视频特征的步骤还包括：读取所述初始视频文件的视频内容，检测并统计所述视频内容中标识视频情感的情感数据；将所述情感数据输入至预设情感分析模型，以供所述预设情感分析模型对所述情感数据进行预测得到所述视频内容的情感分数；将所述情感分数作为所述初始视频文件的视频情感分数特征。可选地，结合各项所述视频特征生成所述初始视频文件的配乐音频文件的步骤包括：将各项所述视频特征输入至预设配乐模型，所述预设配置模型通过添加的预设训练样本进行学习训练，所述预设训练样本包括：音视频数据和纯音频数据；在所述预设配乐模型中，结合各项所述视频特征生成所述初始视频文件的配乐音频文件。可选地，在所述将各项所述视频特征输入至预设配乐模型的步骤之前，所述方法还包括：检测所述初始视频文件的lookback特征，并将所述lookback特征输入至所述预设配乐模型。可选地，所述预设配乐模型为基于序列神经网络生成音频文件的配乐模型，在所述预设配乐模型中，结合各项所述视频特征生成所述初始视频文件的配乐音频文件的步骤包括：根据所述初始视频文件的各项所述视频特征和所述lookback特征，生成音符序列；将所述音符序列输入音符时长序列神经网络，以供所述音符时长神经网络根据所述音符序列和所述lookback特征输出音符时长序列；将所述音符序列输入鼓点序列神经网络，以供所述鼓点序列神经网络根据所述音符序列输出鼓点组合；根据所述音符序列、音符时长序列和所述鼓点组合，生成所述初始视频文件的配乐音频文件。可选地，基于所述初始视频文件和配乐音频文件，生成测试视频文件的步骤包括：读取所述初始视频文件和所述配乐音频文件的播放时间序列；基于所述播放时间序列，将所述初始视频文件和所述配乐音频文件合成为测试视频文件。可选地，所述根据所述测试视频文件收看对象的用户画像模型和评价参数，对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件的步骤包括：检测所述测试视频文件的投放平台，从所述投放平台上获取所述测试视频文件收看对象的用户画像模型和评价参数；读取相同用户画像模型的各用户在预设周期内收看所述测试视频文件的评价参数，并根据所述评价参数构建用户行为特征序列；根据所述用户行为特征序列计算用户收看所述测试视频文件时，对所述配乐音频文件的偏好概率分布数据；以所述偏好概率分布数据指导生成所述配乐音频文件的预设配乐模型，以对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件。此外，本专利技术还提供一种视频文件的配乐系统，所述视频文件的配乐系统基于序列神经网络生成视频文件的配乐音频，所述视频文件的配乐系统包括：配乐音频生成模块，用于从待配乐的初始视频文件中提取出所述初始视频文件的各项视频特征，并结合各项所述视频特征生成所述初始视频文件的配乐音频文件；待测视频生成模块，用于基于所述初始视频文件和配乐音频文件，生成测试视频文件；配乐音频修正模块，用于根据所述测试视频文件收看对象的用户画像模型和评价参数，对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件。可选地，所述视频文件的配乐系统还包括：学习训练模块，用于添加预设训练样本对生成所述配乐音频文件的预设配乐模型进行学习训练，所述预设训练样本包括：音视频数据和纯音频数据。此外，本专利技术还提供一种视频文件的配乐设备，所述视频文件的配乐设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频文件的配乐程序，所述视频文件的配乐程序被所述处理器执行时实现如上所述的视频文件的配乐方法的步骤。此外，本专利技术还提供一种存储介质，应用于计算机，所述存储介质上存储有视频文件的配乐程序，所述视频文件的配乐程序被处理器执行时实现如上所述的视频文件的配乐方法的步骤。本专利技术通过从待配乐的初始视频文件中提取出所述初始视频文件的各项视频特征，并结合各项所述视频特征生成所述初始视频文件的配乐音频文件；基于所述初始视频文件和配乐音频文件，生成测试视频文件；根据所述测试视频文件收看对象的用户画像模型和评价参数，对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件；由此，结合从初始视频文件的视频内容中提取出的各项视频特征，由经过添加音视频数据和纯音频数据进行迁移学习训练，并由采集的收看该广告视频文件受众群体的用户特征数据进行指导优化的配音模型，生成当前初始视频文件经过配音后的待用视频文件。不仅通过自动配音算法实现自动配乐降低了视频文件配乐的高昂成本，并结合视频内容特征进行配乐进一步提升了配乐的整体质量，而且，还基于该视频文件受众群体的反馈评价对配乐音频文件进行优化调整，满足了用户对于配乐内容的偏好要求，提升了用户对于该视频文件的收看体验。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的结构示意图；图2为本专利技术视频文件的配乐方法第一实施例的流程示意图；图3为图2中步骤S100的细化步骤示意图；图4为本专利技术视频文件的配乐方法第二实施例的流程示意图；图5为本专利技术视频文件的配乐方法第三实施例的流程示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅本文档来自技高网...

【技术保护点】
1.一种视频文件的配乐方法，其特征在于，所述视频文件的配乐方法包括以下步骤：从待配乐的初始视频文件中提取出所述初始视频文件的各项视频特征，并结合各项所述视频特征生成所述初始视频文件的配乐音频文件；基于所述初始视频文件和配乐音频文件，生成测试视频文件；根据所述测试视频文件收看对象的用户画像模型和评价参数，对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件。

【技术特征摘要】
1.一种视频文件的配乐方法，其特征在于，所述视频文件的配乐方法包括以下步骤：从待配乐的初始视频文件中提取出所述初始视频文件的各项视频特征，并结合各项所述视频特征生成所述初始视频文件的配乐音频文件；基于所述初始视频文件和配乐音频文件，生成测试视频文件；根据所述测试视频文件收看对象的用户画像模型和评价参数，对所述测试视频文件中配乐音频文件进行修正，生成待用视频文件。2.如权利要求1所述的视频文件的配乐方法，其特征在于，所述视频特征包括：光流强度特征、色度直方图特征、shot边界特征，所述从待配乐的初始视频文件中提取出所述视频文件的各项视频特征的步骤包括：提取所述初始视频文件中各视频图像对应的各光流图，和所述视频图像的色度直方图；将各所述光流图的平均光流强度作为所述初始视频文件的光流强度特征；将所述色度直方图进行归一化处理之后，作为所述初始视频文件的色度直方图特征；检测所述视频图像的shot边界，将所述shot边界所述初始视频文件的shot边界特征。3.如权利要求1所述的视频文件的配乐方法，其特征在于，所述视频特征还包括：视频情感分数特征，所述从待配乐的初始视频文件中提取出所述视频文件的各项视频特征的步骤还包括：读取所述初始视频文件的视频内容，检测并统计所述视频内容中标识视频情感的情感数据；将所述情感数据输入至预设情感分析模型，以供所述预设情感分析模型对所述情感数据进行预测得到所述视频内容的情感分数；将所述情感分数作为所述初始视频文件的视频情感分数特征。4.如权利要求1至3任一项所述的视频文件的配乐方法，其特征在于，结合各项所述视频特征生成所述初始视频文件的配乐音频文件的步骤包括：将各项所述视频特征输入至预设配乐模型，所述预设配置模型通过添加的预设训练样本进行学习训练，所述预设训练样本包括：音视频数据和纯音频数据；在所述预设配乐模型中，结合各项所述视频特征生成所述初始视频文件的配乐音频文件。5.如权利要求4所述的视频文件的配乐方法，其特征在于，在所述将各项所述视频特征输入至预设配乐模型的步骤之前，所述方法还包括：检测所述初始视频文件的lookback特征，并将所述lookback特征输入至所述预设配乐模型。6.如权利要求4所述的视频文件的配乐方法，其特征在于，所述预设配乐模型为基于序列神经网络生成音频文件的配乐模型，在所述预设配乐模型中，结合各项所述视频特征生成所述初始视频文件的配乐音频文件的步骤包括：根据所述初始视频文件的各项所述视频特征和所述lookback特征，生成音符序列；将所述音符序列输入音符时长序列神经网络，以供所述音符时长神经网络根据所述音符序列和所述l...

【专利技术属性】
技术研发人员：裴勇，郑文琛，杨强，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东,44