一种音乐视频生成方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种音乐视频生成方法、装置、电子设备及存储介质，该方法包括：获取目标音乐的歌词序列、和弦信息集和节奏信息集，基于歌词序列确定歌词语义信息序列，歌词语义信息序列中的歌词语义信息的数量和歌词序列中歌词的句数相同，根据歌词语义信息序列和节奏信息集生成初始图片集，利用和弦信息集对初始图片集中的图片进行风格转换，得到目标图片集，基于目标图片集和目标音乐确定目标视频，目标视频包括目标音乐。本申请通过音乐节奏，和弦和文本的结合，得到了更多贴合文本和节奏的图片，且在此基础上，还利用和弦信息对图片做进一步风格转换，得到信息更丰富，和音乐更贴合的视频图片。的视频图片。的视频图片。

【技术实现步骤摘要】
一种音乐视频生成方法、装置、电子设备及存储介质


[0001]本公开涉及互联网
，尤其涉及一种音乐视频生成方法、装置、电子设备及存储介质。

技术介绍

[0002]随着短视频平台快速发展，手机硬件性能快速提升，视频创造越来越被观众喜爱和创做。传统的文字内容，音乐内容都与能承载更多信息的媒介想结合。现有技术中，对于短视频领域有较多视频配乐的相关技术，但为音乐适配画面的相关技术确实少见的。基本采用的是视频素材库与音乐情感，或者素材库和风格的单一映射，并不能够携带更多信息让音乐和画面更贴合。

技术实现思路

[0003]本公开提供一种音乐视频生成方法、装置、电子设备及存储介质，本公开的技术方案如下：
[0004]根据本公开实施例的第一方面，提供一种音乐视频生成方法，包括：
[0005]获取目标音乐的歌词序列、和弦信息集和节奏信息集；
[0006]基于歌词序列确定歌词语义信息序列；歌词语义信息序列中的歌词语义信息的数量和歌词序列中歌词的句数相同；
[0007]根据歌词语义信息序列和节奏信息集生成初始图片集；
[0008]利用和弦信息集对初始图片集中的图片进行风格转换，得到目标图片集；
[0009]基于目标图片集和目标音乐确定目标视频；目标视频包括目标音乐。
[0010]在一些可能的实施例中，获取目标音乐的和弦信息集，包括：
[0011]对目标音乐的和弦进行分析，得到按照目标音乐的播放顺序排列的多个和弦级数信息，以及每个和弦级数信息对应的音乐片段在目标音乐中的时间段；
[0012]确定多个和弦级数信息一一对应的多个风格信息；
[0013]基于每个和弦级数信息对应的风格信息和每个和弦级数信息对应的音乐片段在目标音乐中的时间段确定目标音乐的和弦信息集。
[0014]在一些可能的实施例中，获取目标音乐的节奏信息集，包括：
[0015]对目标音乐进行频谱转换，得到目标音乐对应的梅尔谱；
[0016]对目标音乐对应的梅尔谱进行冲击分离处理，得到节奏谱和和弦谱；节奏谱表征目标音乐的节奏在有规律的变化，和弦谱表征目标音乐的和弦音律；
[0017]对节奏谱进行幅度变化提取，得到目标音乐的幅度变化数据；
[0018]对和弦谱进行动量变化提取，得到目标音乐的动量变化数据；
[0019]基于目标音乐的幅度变化数据和动量变化数据确定节奏信息集；节奏信息集包括多个节奏信息以及每个节奏信息在目标音乐中的时间戳；每个节奏信息表征目标音乐的帧能量值。
[0020]在一些可能的实施例中，根据歌词语义信息序列和节奏信息集生成初始图片集，包括：
[0021]针对歌词语义信息序列中的每个歌词语义信息执行：确定正在处理的歌词语义信息对应的歌词在目标音乐中的时间段；
[0022]基于歌词语义信息对应的歌词在目标音乐中的时间段，从节奏信息集中确定出歌词语义信息对应的歌词关联的目标节奏信息和目标节奏信息对应的时间戳；
[0023]基于歌词语义信息、目标节奏信息、目标节奏信息对应的时间戳、歌词语义信息对应的歌词在目标音乐中的时间段和预设图片帧率确定歌词语义信息对应的第一图片集；
[0024]当确定好每个歌词语义信息对应的第一图片集时，将每个歌词语义信息对应的第一图片集按预设顺序排列，得到初始图片集；预设顺序为每个歌词语义信息对应的歌词在目标音乐中的时间先后顺序。
[0025]在一些可能的实施例中，基于歌词语义信息、目标节奏信息、目标节奏信息对应的时间戳、歌词语义信息对应的歌词在目标音乐中的时间段和预设图片帧率确定当词语义信息对应的第一图片集，包括：
[0026]基于歌词语义信息对应的歌词在目标音乐中的时间段和预设图片帧率确定歌词语义信息对应的第一图片集中的图片数量；
[0027]根据目标节奏信息、目标节奏信息对应的时间戳和第一图片集中的图片数量确定第一图片集中每张图片对应的语义信息指数；语义信息指数表征第一图片集中每张图片的图片画面变化速度；
[0028]基于第一图片集中每张图片对应的语义信息指数和歌词语义信息生成第一图片集。
[0029]在一些可能的实施例中，根据目标节奏信息、目标节奏信息对应的时间戳和第一图片集中的图片数量确定第一图片集中每张图片对应的语义信息指数，包括：
[0030]根据目标节奏信息、目标节奏信息对应的时间戳和第一图片集中的图片数量确定第一图片集中每张图片对应的第一语义信息指数和第二语义信息指数；第一语义信息指数对应歌词语义信息；第二语义信息指数对应歌词语义信息的相邻歌词语音信息；第一语义信息指数和第二语义信息指数综合表征第一图片集中每张图片的图片画面变化速度；
[0031]基于第一图片集中每张图片对应的语义信息指数和歌词语义信息生成第一图片集，包括：
[0032]基于每张图片对应的第一语义信息指数和歌词语义信息确定每张图片对应第一语义信息；
[0033]基于每张图片对应的第二语义信息指数和相邻歌词语义信息确定每张图片对应的第二语义信息；
[0034]基于每张图片对应的第一语义信息和第二语义信息确定每张图片对应的综合语义信息；
[0035]基于每张图片对应的综合语义信息生成第一图片集；
[0036]相邻歌词语义信息为，在歌词语义信息序列中的歌词语义信息的前一个歌词语义信息或者后一个歌词语义信息。
[0037]在一些可能的实施例中，利用和弦信息集对初始图片集中的图片进行风格转换，
得到目标图片集，包括：
[0038]基于每句歌词在目标音乐中的时间段、和弦信息集中每个和弦级数信息对应的风格信息和每个和弦级数信息在目标音乐中的时间段，确定初始图片集中，每个第一图片集对应的目标风格信息和目标风格信息对应的时间段；第一图片集为初始图片集中，每个歌词语义信息对应的图片集；
[0039]基于目标风格信息和目标风格信息对应的时间段对每个第一图片集中的每张图片进行风格转换，得到每个歌词语义信息对应的第二图片集；第二图片集中的图片和初始图片集中的图片一一对应，且一一对应的两张图片的图片内容相同，图片风格不同；
[0040]将第二图片集按照目标音乐的播放先后顺序进行排列，得到目标图片集。
[0041]根据本公开实施例的第二方面，提供一种音乐视频生成装置，包括：
[0042]信息获取模块，被配置为执行获取目标音乐的歌词序列、和弦信息集和节奏信息集；
[0043]信息序列获取模块，被配置为执行基于歌词序列确定歌词语义信息序列；歌词语义信息序列中的歌词语义信息的数量和歌词序列中歌词的句数相同；
[0044]图片集生成模块，被配置为执行根据歌词语义信息序列和节奏信息集生成初始图片集；
[0045]风格转换模块，被配置为执行利用和弦信息集对初始图片集中的图片进行风格转换，得到目标图片集；
[0046]视频确定模块，被配置为执行基于目标图片集和目标音乐确定目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音乐视频生成方法，其特征在于，包括：获取目标音乐的歌词序列、和弦信息集和节奏信息集；基于所述歌词序列确定歌词语义信息序列；所述歌词语义信息序列中的歌词语义信息的数量和所述歌词序列中歌词的句数相同；根据所述歌词语义信息序列和所述节奏信息集生成初始图片集；利用所述和弦信息集对所述初始图片集中的图片进行风格转换，得到目标图片集；基于所述目标图片集和所述目标音乐确定目标视频；所述目标视频包括所述目标音乐。2.根据权利要求1所述的音乐视频生成方法，其特征在于，所述获取目标音乐的和弦信息集，包括：对所述目标音乐的和弦进行分析，得到按照所述目标音乐的播放顺序排列的多个和弦级数信息，以及每个和弦级数信息对应的音乐片段在所述目标音乐中的时间段；确定所述多个和弦级数信息一一对应的多个风格信息；基于所述每个和弦级数信息对应的风格信息和所述每个和弦级数信息对应的音乐片段在所述目标音乐中的时间段确定所述目标音乐的和弦信息集。3.根据权利要求1或者2所述的音乐视频生成方法，其特征在于，所述获取目标音乐的节奏信息集，包括：对所述目标音乐进行频谱转换，得到所述目标音乐对应的梅尔谱；对所述目标音乐对应的梅尔谱进行冲击分离处理，得到节奏谱和和弦谱；所述节奏谱表征所述目标音乐的节奏在有规律的变化，所述和弦谱表征所述目标音乐的和弦音律；对所述节奏谱进行幅度变化提取，得到所述目标音乐的幅度变化数据；对所述和弦谱进行动量变化提取，得到所述目标音乐的动量变化数据；基于所述目标音乐的幅度变化数据和动量变化数据确定节奏信息集；所述节奏信息集包括多个节奏信息以及每个节奏信息在所述目标音乐中的时间戳；所述每个节奏信息表征所述目标音乐的帧能量值。4.根据权利要求3所述的音乐视频生成方法，其特征在于，所述根据所述歌词语义信息序列和所述节奏信息集生成初始图片集，包括：针对所述歌词语义信息序列中的每个歌词语义信息执行：确定正在处理的歌词语义信息对应的歌词在所述目标音乐中的时间段；基于所述歌词语义信息对应的歌词在所述目标音乐中的时间段，从所述节奏信息集中确定出所述歌词语义信息对应的歌词关联的目标节奏信息和所述目标节奏信息对应的时间戳；基于所述歌词语义信息、所述目标节奏信息、所述目标节奏信息对应的时间戳、所述歌词语义信息对应的歌词在所述目标音乐中的时间段和预设图片帧率确定所述歌词语义信息对应的第一图片集；当确定好每个歌词语义信息对应的第一图片集时，将所述每个歌词语义信息对应的第一图片集按预设顺序排列，得到所述初始图片集；所述预设顺序为所述每个歌词语义信息对应的歌词在所述目标音乐中的时间先后顺序。5.根据权利要求4所述的音乐视频生成方法，其特征在于，所述基于所述歌词语义信
息、所述目标节奏信息、所述目标节奏信息对应的时间戳、所述歌词语义信息对应的歌词在所述目标音乐中的时间段和预设图片帧率确定所述当词语义信息对应的第一图片集，包括：基于所述歌词语义信息对应的歌词在所述目标音乐中的时间段和所述预设图片帧率确定所述歌词语义信息对应的第一图片集中的图片数量；根据所述目标节奏信息、所述目标节奏信息对应的时间戳和所述第一图片集中的图片数量确定第一图片集中每张图片对应的语义信息指数；所述语义信息指数表征所述第一图片集中每张图片的图片画面变化速度；基于所述第一图片集中每张图片对应...

【专利技术属性】
技术研发人员：张凯翔，车浩，王晓瑞，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：