本公开提供了一种合唱混音方法、装置、电子设备和计算机可读存储介质，所述方法包括：将主唱音频信号和包含外放主唱音频的合唱音频信号分别转换为频域信号；基于主唱音频信号的频域信号和合唱音频信号的频域信号所包含的外放主唱音频的频域信号来确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的延迟；基于确定的延迟将合唱音频信号与主唱音频信号对齐；针对对齐后的合唱音频信号执行回声消除；对主唱音频信号和执行了回声消除的合唱音频信号进行混音。唱音频信号进行混音。唱音频信号进行混音。
【技术实现步骤摘要】
合唱混音方法、装置、电子设备和存储介质
[0001]本公开涉及音视频
，尤其涉及一种用于合唱混音的方法、装置、电子设备和存储介质。
技术介绍
[0002]随着互联网和智能设备技术的提升，手机K歌软件的使用已经非常普及，其中利用软件进行合唱就是一种常用的K歌作品制作方法。在使用智能设备(如手机、电脑等)中的软件进行合唱音频的录制过程中，由于外放状态下系统播放的主唱音频到达扬声器的激励存在一定的延迟，且该延迟会发生变化和抖动。在这种情况下，如果唱歌者根据扬声器实际播放的主唱音频进行歌唱，在混音时则会出现主唱音频与合唱音频出现明显错位的现象，非常影响最终合唱作品的质量。同时，由于在播放主唱音频的过程中，设备的传声器会采集到扬声器播放的主唱音频，在以上提到的系统延迟的影响下，最终的作品中会出现多个错位的主唱音频的情况。
[0003]在相关技术中，可在录制完歌曲后，通过显示一个对齐主唱音频和合唱音频的时间滑块来让录制者能够对错位的音频进行调整。然而该方法需要用户手动操作，不方便的同时难以做到精确此外，该方法不能解决录制的音频中存在主唱的音频的问题。
[0004]另外，在相关技术中，可基于音频音调和音乐数字接口乐谱的对齐，对比音频信号的音调和乐谱的相关性，找到对齐的时间点。然而，该方法需要依赖准确的音调检测，实时性较低。另外，该方法一般需要音频信号具有高信噪比，因此限制了用户在无耳机情况下的使用。
技术实现思路
[0005]本公开提供一种用于合唱混音的方法、装置、电子设备和存储介质，以至少解决相关技术中主唱音频和合唱音频错位的问题，也可不解决任何上述问题。
[0006]根据本公开的第一方面，提供了一种合唱混音方法，其特征在于，包括：将主唱音频信号和包含外放主唱音频的合唱音频信号分别转换为频域信号；基于主唱音频信号的频域信号和合唱音频信号的频域信号所包含的外放主唱音频的频域信号来确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的延迟；基于确定的延迟将合唱音频信号与主唱音频信号对齐；针对对齐后的合唱音频信号执行回声消除；对主唱音频信号和执行了回声消除的合唱音频信号进行混音。
[0007]根据本公开的第一方面，确定延迟包括：确定所述合唱音频信号的频域信号所包含的外放主唱音频的频域信号与主唱音频信号的频域信号之间的相对偏移帧数，并根据所述相对偏移帧数来确定延迟。
[0008]根据本公开的第一方面，基于确定的延迟将合唱音频信号与对主唱音频信号对齐包括：确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差；响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的
当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间；响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围，基于当前时刻的延迟来调整合唱音频信号的时间。
[0009]根据本公开的第一方面，基于确定的延迟将合唱音频信号与主唱音频信号对齐还包括：对调整后的合唱音频信号的重叠和断裂执行平滑处理。
[0010]根据本公开的第一方面，针对对齐后的合唱音频信号执行回声消除包括：以主唱音频信号作为参考信号针对对齐后的合唱音频信号执行回声消除以减弱合唱音频信号中的残留的主唱音频信号。
[0011]根据本公开的第一方面，对主唱音频信号和执行了回声消除的合唱音频信号进行混音包括：对主唱音频信号和执行了回声消除的合唱音频信号执行幅度控制。
[0012]根据本公开的第二方面，提供了一种合唱混音方法，包括：从带有伴奏的主唱音频信号分离得到纯净的主唱音频信号；检测纯净的主唱音频信号和合唱音频信号的频率信息；基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列来确定主唱音频信号和合唱音频信号之间的延迟；基于确定的延迟将合唱音频信号与主唱音频信号进行对齐；对主唱音频信号和对齐后的合唱音频信号进行混音。
[0013]根据本公开的第二方面，确定延迟的步骤包括：根据基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列之间的相关性或最小差值来确定合唱音频信号和纯净的主唱音频信号之间的延迟。
[0014]根据本公开的第二方面，基于确定的延迟将合唱音频信号与对主唱音频信号对齐的步骤包括：确定纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差；响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间；响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围，基于当前时刻的延迟来调整合唱音频信号的时间。
[0015]根据本公开的第二方面，基于确定的延迟将合唱音频信号与对主唱音频信号对齐还包括：对调整后的合唱音频信号的重叠和断裂执行平滑处理。
[0016]根据本公开的第二方面，对主唱音频信号和对齐后的合唱音频信号进行混音包括：对主唱音频信号和对齐后的合唱音频信号执行幅度控制。
[0017]根据本公开的第三方面，提供了一种合唱混音方法，包括：确定主唱音频信号的输出模式；响应于确定主唱音频信号的输出模式为外放模式，通过使用如上的根据本公开的第一方面的用于外放模式混音方法来对合唱音频信号和主唱音频信号进行混音；响应于确定主唱音频信号的输出模式为耳机模式，通过使用如上所述的根据本公开的第二方面的用于耳机模式的混音方法来对合唱音频信号和主唱音频信号进行混音。
[0018]根据本公开的第四方面，提供了一种合唱混音装置，包括：转换模块，被配置为将主唱音频信号和包含外放主唱音频的合唱音频信号分别转换为频域信号；延迟确定模块，被配置为基于主唱音频信号的频域信号和合唱音频信号的频域信号所包含的外放主唱音频的频域信号来确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的延迟；对齐模块，被配置为基于确定的延迟将合唱音频信号与对主唱音频信号对齐；回声消除模块，被
配置为针对对齐后的合唱音频信号执行回声消除；混音模块，被配置为对主唱音频信号和执行了回声消除的合唱音频信号进行混音。
[0019]根据本公开的第四方面，所述延迟确定模块被配置为：确定所述合唱音频信号的频域信号所包含的外放主唱音频的频域信号与主唱音频信号的频域信号之间的相对偏移帧数，并根据所述相对偏移帧数确定延迟。
[0020]根据本公开的第四方面，所述对齐模块被配置为：确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差；响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间；响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种合唱混音方法，其特征在于，包括：将主唱音频信号和包含外放主唱音频的合唱音频信号分别转换为频域信号；基于主唱音频信号的频域信号和合唱音频信号的频域信号所包含的外放主唱音频的频域信号来确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的延迟；基于确定的延迟将合唱音频信号与主唱音频信号对齐；针对对齐后的合唱音频信号执行回声消除；对主唱音频信号和执行了回声消除的合唱音频信号进行混音。2.如权利要求1所述的方法，其特征在于，基于确定的延迟将合唱音频信号与对主唱音频信号对齐包括：确定主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差；响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间；响应于主唱音频信号和包含外放主唱音频的合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差超出所述预定范围，基于当前时刻的延迟来调整合唱音频信号的时间。3.如权利要求1所述的方法，其特征在于，针对对齐后的合唱音频信号执行回声消除包括：以主唱音频信号作为参考信号针对对齐后的合唱音频信号执行回声消除以减弱合唱音频信号中的残留的主唱音频信号。4.一种合唱混音方法，其特征在于，包括：从带有伴奏的主唱音频信号分离得到纯净的主唱音频信号；检测纯净的主唱音频信号和合唱音频信号的频率信息；基于合唱音频信号的频率信息的时间序列与纯净的主唱音频信号的频率信息的时间序列来确定主唱音频信号和合唱音频信号之间的延迟；基于确定的延迟将合唱音频信号与主唱音频信号进行对齐；对主唱音频信号和对齐后的合唱音频信号进行混音。5.如权利要求4所述的方法，其特征在于，基于确定的延迟将合唱音频信号与对主唱音频信号对齐的步骤包括：确定纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差；响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻的延迟与前一时刻的延迟之间的差在预定范围内，基于前一时刻的延迟来调整合唱音频信号的时间；响应于纯净的主唱音频信号和合唱音频信号之间的当前时刻...
【专利技术属性】
技术研发人员：李楠，张晨，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。