人声伴奏对齐方法及装置制造方法及图纸

提供一种人声伴奏对齐方法及装置。该人声伴奏对齐方法包括：响应于接收到人声音频信号，获取所述人声音频信号的人声音高序列和与所述人声音频信号相应的参考乐器数字接口Midi音高序列；基于参考Midi音高序列和人声音高序列之间的相似性，对人声音频信号进行偏移；并且将偏移后的人声音频信号与伴奏进行混合，得到人声伴奏对齐的混音结果。根据本公开的人声伴奏对齐方法及装置，可使人声音频信号与伴奏自动对齐，从而解决由于外部因素导致人声与伴奏无法对齐的问题，提高用户使用k歌系统的k歌体验。

【技术实现步骤摘要】
人声伴奏对齐方法及装置
本公开涉及音视频
更具体地，本公开涉及一种人声伴奏对齐方法及装置。
技术介绍
通过使用线上k歌系统，用户可以根据伴奏录制自己的声音，然后将人声通过一些效果器如EQ、压缩、混响、音量均衡，最后再将处理后的人声与伴奏进行混合，得到混音后的人声与伴奏的音频。但是在整体过程中，会有一些因素导致人声无法与伴奏准确对齐，除了演唱者自身的乐感之外，还有手机录音硬件设备、手机机型适配、效果器延迟等外部等影响因素。K歌人声伴奏对齐主要指对采集的人声音频信号进行偏移，使得偏移后的人声相比于偏移前的人声与伴奏对齐的更加准确，可以解决一些由于演唱者演唱水准不佳或录制硬件等外部因素导致的延迟或超前伴奏的问题。通常，k歌软件都会提供手动偏移的功能来达到上述目的。
技术实现思路
本公开的示例性实施例在于提供一种人声伴奏对齐方法及装置，以至少解决相关技术中的人声伴奏对齐的问题，也可不解决任何上述问题。根据本公开的第一方面，提供了一种人声伴奏对齐方法，其特征在于，包括：获取人声音频信号的人声音高序列和与伴奏相应的参考Midi音高序列；基于参考Midi音高序列和人声音高序列之间的相似性，对人声音频信号进行偏移；并且将偏移后的人声音频信号与伴奏进行混合，得到人声伴奏对齐的混音结果。可选地，获取与伴奏相应的参考Midi音高序列的步骤包括：获取与伴奏相应的参考Midi文件；并且获取从参考Midi文件提取的与伴奏相应的参考Midi音高序列。可选地，在获取与伴奏相应的参考Midi音高序列的步骤之前，还包括：从与伴奏相应的参考Midi文件提取关键信息，其中，关键信息包括Midi音高、音高起始时间、音高持续时间中的至少一个；并且将提取的关键信息整合为包含音高信息的时间序列，并将得到的时间序列作为与伴奏相应的参考Midi音高序列。可选地，获取所述人声音频信号的人声音高序列的步骤包括：检测所述人声音频信号的基频，获得人声音高的基频序列；并且根据频率与音高之间的关系将人声音高的基频序列转换为人声音高序列。可选地，检测所述人声音频信号的基频的步骤包括：根据所述人声音频信号的延迟指数和序列长度计算所述人声音频信号的自相关系数；根据所述人声音频信号中自相关系数最大的时间，计算所述人声音频信号的波形的周期；并且根据所述人声音频信号的波形的周期与采样率的关系计算所述人声音频信号的基频。可选地，获取所述人声音频信号的人声音高序列和与所述人声音频信号相应的参考Midi音高序列的步骤包括：分别对获取的参考Midi音高序列和人声音高序列进行音高统一化处理，将音高统一化处理后的参考Midi音高序列和人声音高序列作为最终的参考Midi音高序列和人声音高序列。可选地，对人声音频信号进行偏移的步骤包括：对参考Midi音高序列和人声音高序列进行相似性比对，以获得使参考Midi音高序列和人声音高序列之间的相似性最大的最佳人声偏移时间；并且将人声音频信号偏移最佳人声偏移时间。可选地，对参考Midi音高序列和人声音高序列进行相似性比对，以获得使参考Midi音高序列和人声音高序列之间的相似性最大的最佳人声偏移时间的步骤包括：通过前后移动人声音高序列，识别参考Midi音高序列和人声音高序列两者之差的最小值时移动的时间，并将识别出的时间作为最佳人声偏移时间。可选地，将人声音频信号偏移最佳人声偏移时间的步骤包括：基于预设的置信度确定最佳人声偏移时间是否适用；并且当确定最佳人声偏移时间适用时，将人声音频信号偏移最佳人声偏移时间。可选地，基于预设的置信度确定最佳人声偏移时间是否适用的步骤包括：对偏移了最佳人声偏移时间的人声音高序列的曲线进行平滑处理；并且如果平滑处理后的曲线中的峰的数量超过预设数量或者两个峰之间的距离小于预设距离，则确定最佳人声偏移时间不适用，如果平滑处理后的曲线中的峰的数量没有超过预设数量和/或两个峰之间的距离不小于预设距离，则确定最佳人声偏移时间适用。根据本公开的第二方面，提供了一种人声伴奏对齐装置，其特征在于，包括：音高序列获取单元，被配置为获取所述人声音频信号的人声音高序列和与伴奏相应的参考Midi音高序列；信号偏移单元，被配置为基于参考Midi音高序列和人声音高序列之间的相似性，对人声音频信号进行偏移；和信号混合单元，被配置为将偏移后的人声音频信号与伴奏进行混合，得到人声伴奏对齐的混音结果。可选地，音高序列获取单元包括第一获取单元，被配置为：获取与伴奏相应的参考Midi文件；并且获取从参考Midi文件提取的与伴奏相应的参考Midi音高序列。可选地，所述装置还包括预先提取单元，被配置为：从与伴奏相应的参考Midi文件提取关键信息，其中，关键信息包括Midi音高、音高起始时间、音高持续时间中的至少一个；并且将提取的关键信息整合为包含音高信息的时间序列，并将得到的时间序列作为与伴奏相应的参考Midi音高序列。可选地，音高序列获取单元包括第二获取单元，被配置为：检测所述人声音频信号的基频，获得人声音高的基频序列；并且根据频率与音高之间的关系将人声音高的基频序列转换为人声音高序列。可选地，第二获取单元被配置为：根据所述人声音频信号的延迟指数和序列长度计算所述人声音频信号的自相关系数；根据所述人声音频信号中自相关系数最大的时间，计算所述人声音频信号的波形的周期；并且根据所述人声音频信号的波形的周期与采样率的关系计算所述人声音频信号的基频。可选地，音高序列获取单元包括统一化处理单元，被配置为：分别对获取的参考Midi音高序列和人声音高序列进行音高统一化处理，将音高统一化处理后的参考Midi音高序列和人声音高序列作为最终的参考Midi音高序列和人声音高序列。可选地，信号偏移单元包括：相似性比对单元，被配置为对参考Midi音高序列和人声音高序列进行相似性比对，以获得使参考Midi音高序列和人声音高序列之间的相似性最大的最佳人声偏移时间；并且偏移单元，被配置为将人声音频信号偏移最佳人声偏移时间。可选地，相似性比对单元被配置为：通过前后移动人声音高序列，识别参考Midi音高序列和人声音高序列两者之差的最小值时移动的时间，并将识别出的时间作为最佳人声偏移时间。可选地，偏移单元被配置为：基于预设的置信度确定最佳人声偏移时间是否适用；并且当确定最佳人声偏移时间适用时，将人声音频信号偏移最佳人声偏移时间。可选地，偏移单元被配置为：对偏移了最佳人声偏移时间的人声音高序列的曲线进行平滑处理；并且如果平滑处理后的曲线中的峰的数量超过预设数量或者两个峰之间的距离小于预设距离，则确定最佳人声偏移时间不适用，如果平滑处理后的曲线中的峰的数量没有超过预设数量和/或两个峰之间的距离不小于预设距离，则确定最佳人声偏移时间适用。根据本公开的第三方面，提供了计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本公开的示例性实施例的人声伴奏对齐方法。根据本公开的第四方面，提供了一种电子设备，包括：处理器；存储器，存储有计算本文档来自技高网...

【技术保护点】
1.一种人声伴奏对齐方法，其特征在于，包括：/n获取人声音频信号的人声音高序列和与伴奏相应的参考乐器数字接口Midi音高序列；/n基于参考Midi音高序列和人声音高序列之间的相似性，对人声音频信号进行偏移；并且/n将偏移后的人声音频信号与伴奏进行混合，得到人声伴奏对齐的混音结果。/n

【技术特征摘要】
1.一种人声伴奏对齐方法，其特征在于，包括：
获取人声音频信号的人声音高序列和与伴奏相应的参考乐器数字接口Midi音高序列；
基于参考Midi音高序列和人声音高序列之间的相似性，对人声音频信号进行偏移；并且
将偏移后的人声音频信号与伴奏进行混合，得到人声伴奏对齐的混音结果。


2.根据权利要求1所述的方法，其特征在于，获取与伴奏相应的参考Midi音高序列的步骤包括：
获取与伴奏相应的参考Midi文件；并且
获取从参考Midi文件提取的与伴奏相应的参考Midi音高序列。


3.根据权利要求2所述的方法，其特征在于，在获取与伴奏相应的参考Midi音高序列的步骤之前，还包括：
从与伴奏相应的参考Midi文件提取关键信息，其中，关键信息包括Midi音高、音高起始时间、音高持续时间中的至少一个；并且
将提取的关键信息整合为包含音高信息的时间序列，并将得到的时间序列作为与伴奏相应的参考Midi音高序列。


4.根据权利要求1所述的方法，其特征在于，获取所述人声音频信号的人声音高序列的步骤包括：
检测所述人声音频信号的基频，获得人声音高的基频序列；并且
根据频率与音高之间的关系将人声音高的基频序列转换为人声音高序列。


5.根据权利要求4所述的方法，其特征在于，检测所述人声音频信号的基频的步骤包括：
根据所述人声音频信号的延迟指数和序列长度计算所述人声音频信号的自相关系数；
根据所述人声音频信号中自相关系数最大的时间，计算所述人声音频信号的波形的周期；并且
根据所述人...

【专利技术属性】
技术研发人员：范欣悦，张晨，郑羲光，李楠，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11