配乐音频生成方法和装置制造方法及图纸

根据本公开的第一方面，提供了一种配乐音频生成方法和装置。该方法包括：获取需要进行配乐的音频；获取所述音频的节拍信息和旋律信息；基于所述节拍信息将所述音频分成多个小节；基于每个小节的所述节拍信息和旋律信息，生成与所述小节对应的配乐小节；将所述多个配乐小节合并以生成针对所述音频的配乐；以及基于所述音频和所述配乐合成配乐音频。由此，能够根据输入音频的节拍和旋律，自行匹配配乐小节，并由此合成与输入音频(例如，人声哼唱或说唱)高度匹配的独创性配乐作品。

【技术实现步骤摘要】
配乐音频生成方法和装置
本公开涉及一种音频处理领域，尤其设置一种配乐音频生成方法和装置。
技术介绍
随着人们对个性元素的追求，人们在听人演唱的同时，越来越多地希望能够制作由自己演唱的音乐作品，并以此作为自己的个性标识，如作为自己的手机铃声等。但是，音乐演唱。例如演唱说唱乐往往需要演唱者具有一定的乐理知识以及歌唱技巧，而这对普通消费者而言有一定难度。现有的歌唱声音合成技术通常会调整用户歌声的节拍和语调，并将其已有的曲库进行搭配，上述方法会更改用户输入声音的属性，并且曲库有限，无法实现人们彰显个性的需求。因此，需要一种改进的配乐音频生成方案。
技术实现思路
本公开要解决的一个技术问题是提供一种改进的配乐音频生成方案，该方案能够根据输入音频的节拍和旋律，自行匹配配乐小节，并由此合成与输入音频(例如，人声哼唱或说唱)高度匹配的独创性配乐作品。根据本公开的第一方面，提供了一种配乐音频生成方法，包括：获取需要进行配乐的音频；获取所述音频的节拍信息和旋律信息；基于所述节拍信息将所述音频分成多个小节；基于每个小节的所述节拍信本文档来自技高网...

【技术保护点】
1.一种配乐音频生成方法，包括：/n获取需要进行配乐的音频；/n获取所述音频的节拍信息和旋律信息；/n基于所述节拍信息将所述音频分成多个小节；/n基于每个小节的所述节拍信息和旋律信息，生成与所述小节对应的配乐小节；/n将所述多个配乐小节合并以生成针对所述音频的配乐；以及/n基于所述音频和所述配乐合成配乐音频。/n

【技术特征摘要】
1.一种配乐音频生成方法，包括：
获取需要进行配乐的音频；
获取所述音频的节拍信息和旋律信息；
基于所述节拍信息将所述音频分成多个小节；
基于每个小节的所述节拍信息和旋律信息，生成与所述小节对应的配乐小节；
将所述多个配乐小节合并以生成针对所述音频的配乐；以及
基于所述音频和所述配乐合成配乐音频。


2.如权利要求1所述的方法，其中，获取所述音频的节拍信息包括：
获取所述音频背景中包含的节拍器音频，并基于所述节拍器音频生成所述音频的节拍信息；或者
基于节拍检测算法，检测出所述音频的节拍信息。


3.如权利要求1所述的方法，其中，所述音频包括人声的哼唱或说唱音频，并且获取所述音频的旋律信息包括如下至少一项
基于旋律检测算法，获取所述人声的哼唱旋律作为所述音频的旋律信息；
基于旋律检测算法，获取所述人声的说唱音高作为所述音频的旋律信息。


4.如权利要求1所述的方法，其中，基于每个小节的所述节拍信息和旋律信息，生成与所述小节对应的配乐小节包括：
根据每个小节的关键节拍的旋律信息，生成与所述小节对应的配乐信息；以及
基于所述配乐信息，从现有的配乐小节库中选择相应的配乐小节。


5.如权利要求4所述的方法，其中，基于每个小节的所述节拍信息和旋律信息，生成与所述小节对应的配乐小节包括：
计算每一个重拍附近旋律的音高分布；以及
基于所述音高分布，确定所述重拍所在小节的和弦素材作为所述配乐小节。


6.如权利要求4所述的方法，其中，基于每个小节的所述节拍信息和旋律信息，生成与所述小节对应的配乐小节包括：
基于所述用户对曲风的选择，确定每个小节的关键节拍和/或旋律信息。


7.如权利要求1所述的方法，还包括：
基于某一小节的在前小节和/或在后小节的配乐小节，生成所述小节对应的配乐小节。


8.如权利要求7所述的方法，基于某一小节的在前小节和/或在后小节的配乐小节，生成所述小节对应的配乐小节：
根据大数据分析的配乐小节衔接模型，生成所述小节对应的配乐小节。


9.如权利要求1所述的方法，其中，所述配乐小节是如下的至少一项：
和弦小节；
单音小节。


10.如权利要求1所述的方法，还包括：
对所述音频进行调性检测；以及
基于所述调性检测获取的所述音频的调性信息，生成某一小节所对应的配乐小节。


11.如权利要求10所述的方法，其中，对所述音频进行调性检测包括：
对所述音频进行频谱变换；
基于所述频谱变化进行基于音高的变换；以及
根据所述基于音高的变换结果，生成所述调性信息。


12.如权利要求10所述的方法，其中，基于所述调性检测获取的所述音频的调性信息，生成某一小节所对应的配乐小节包括：
从与所述调性信息相符合的配乐小节库中选择与所述小节对应的配乐小节。


13.如权利要求1所述的方法，还包括：
对所述音频的配乐进行全局优化，生成一个或多个配乐小节。


14.如权利要求1所述的方法，其中，将所述多个配乐小节合并以生成针对所述音频的配乐包括：
基于默认和/或用户选择的演奏乐器和/或演奏风格，生成针对所述音频的配乐。


15.如权利要求1所述的方法，其中，基于所述音频和所述配乐合成配乐音频包括：
调整所述音频和/或所述配乐的响度，以使得所述音频和所述配乐相互配合。


16.如权利要求1所述的方法，其中，获取需要进行配乐的音频包括：
获取需要进行配乐的多个音频，所述多个音频用于生成一个或多个配乐音频，并且
获取所述音频的节拍信息和旋律信息包括：
获取所述多个音频各自的节拍信息和旋律信息。


17.如权利要求16所述的方法，还包括如下至少一项：
根据用户的选择确定所述多个音频的相互关系；
根据所述多个音频各自的节拍信息和旋律信息确定...

【专利技术属性】
技术研发人员：邓俊祺，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY