语音处理方法、装置、电子设备及介质制造方法及图纸

本发明专利技术实施例公开了一种语音处理方法、装置、电子设备及介质。所述方法包括：获取跟随目标伴奏进行演唱所形成的待处理演唱语音；对所述待处理演唱语音进行基频提取，得到对应的待处理基频曲线；依据所述待处理基频曲线和参考基频曲线，同步对齐所述目标伴奏与所述待处理演唱语音，用以进行语音与伴奏的合成；所述参考基频曲线包括跟随伴奏进行标准演唱时演唱音高对应的基频信息。采用本申请技术方案，能够基于待处理基频曲线与参考基频曲线之间的比对自动对齐演唱语音与伴奏，可以解决伴奏与演唱语音自动对齐问题，实现让伴奏与演唱语音同步起来得到时间上无偏差的合成作品。同步起来得到时间上无偏差的合成作品。同步起来得到时间上无偏差的合成作品。

【技术实现步骤摘要】
语音处理方法、装置、电子设备及介质


[0001]本专利技术实施例涉及语音处理
，尤其涉及一种语音处理方法、装置、电子设备及介质。

技术介绍

[0002]卡拉OK等演唱应用通过实时播放伴奏、字母、音高提示等信息，实时采集用户跟随伴奏和字幕演唱的语音，完成演唱后会将用户的演唱语音经过混响等处理与伴奏合成在一起生成用户的演唱作品。但是由于各种原因，采集录制的语音会在听觉上产生非常明显的延迟，实际到达演唱应用端的语音数据已经产生了听觉上可以感知到的几百毫秒甚至更多的延迟，从而使得最终演唱语音与伴奏合成之后完全不在节拍上，导致合成的演唱作品存在较大缺陷。

技术实现思路

[0003]本专利技术实施例中提供了一种语音处理方法、装置、电子设备及介质，以实现伴奏与演唱语音的自动对齐问题。
[0004]第一方面，本专利技术实施例中提供了一种语音处理方法，包括：
[0005]获取跟随目标伴奏进行演唱所形成的待处理演唱语音；
[0006]对所述待处理演唱语音进行基频提取，得到对应的待处理基频曲线；
[0007]依据所述待处理基频曲线和参考基频曲线，同步对齐所述目标伴奏与所述待处理演唱语音，用以进行语音与伴奏的合成；所述参考基频曲线包括跟随伴奏进行标准演唱时演唱音高对应的基频信息。
[0008]第二方面，本专利技术实施例中还提供了一种语音处理装置，包括：
[0009]语音获取模块，用于获取跟随目标伴奏进行演唱所形成的待处理演唱语音；
[0010]基频提取模块，用于对所述待处理演唱语音进行基频提取，得到对应的待处理基频曲线；
[0011]语音对齐模块，用于依据所述待处理基频曲线和参考基频曲线，同步对齐所述目标伴奏与所述待处理演唱语音，用以进行语音与伴奏的合成；所述参考基频曲线包括跟随伴奏进行标准演唱时演唱音高对应的基频信息。
[0012]第三方面，本专利技术实施例中还提供了一种电子设备，包括：
[0013]一个或多个处理器；
[0014]存储装置，用于存储一个或多个程序；
[0015]所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例中提供的语音处理方法。
[0016]第四方面，本专利技术实施例中还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例中提供的语音处理方法。
[0017]本专利技术实施例中提供了一种语音处理方法，在进行语音合成时，获取跟随目标伴
奏进行演唱所形成的待处理演唱语音，对待处理演唱语音进行基频提取得到对应的待处理基频曲线；进而依据待处理基频曲线和跟随伴奏进行标准演唱时演唱音高对应的参考基频曲线，同步对齐目标伴奏与待处理演唱语音，用以进行语音与伴奏的合成。采用本申请技术方案，能够基于待处理基频曲线与参考基频曲线之间的比对自动对齐演唱语音与伴奏，可以解决伴奏与演唱语音自动对齐问题，实现让伴奏与演唱语音同步起来得到时间上无偏差的合成作品。
[0018]上述
技术实现思路
仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。
附图说明
[0019]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0020]图1是本专利技术实施例中提供的一种语音处理方法的流程图；
[0021]图2是本专利技术实施例中提供的一种歌词部分对应的参考基频曲线的示意图；
[0022]图3是本专利技术实施例中提供的另一种语音处理方法的流程图；
[0023]图4是本专利技术实施例中提供的一种基频曲线匹配的过程示意图；
[0024]图5是本专利技术实施例中提供的一种基频曲线匹配的结果示意图；
[0025]图6是本专利技术实施例中提供的一种语音处理装置的结构图；
[0026]图7是本专利技术实施例中提供的一种电子设备的结构示意图。
具体实施方式
[0027]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0028]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0029]图1是本专利技术实施例中提供的一种语音处理方法的流程图，本实施例的技术方案可适用于对跟随演唱的语音与伴奏进行对齐的情况，该方法可由语音处理装置来执行，该装置可由软件和/或硬件实现，并可集成于具有网络通信功能的电子设备中。如图1所示，本实施例中的语音处理方法，可包括以下步骤：
[0030]S110、获取跟随目标伴奏进行演唱所形成的待处理演唱语音。
[0031]在进行演唱时，能够实时播放目标伴奏、字母以及音高等提示信息，而用户可以基于提示信息跟随目标伴奏以及字幕信息进行演唱，可通过语音采集设备采集用户跟随目标伴奏进行演唱所形成的语音，这里记为待处理演唱语音。
[0032]语音采集设备可包括有线耳麦以及无线耳麦。当用户使用有线耳麦时，采集进来的用户语音基本能做到很小延迟，使得录制进来的语音与播放的伴奏的时间线可以严格对齐，在听觉上不会产生太大的延迟。
[0033]在本实施例的一种可选方案中，获取跟随目标伴奏进行演唱所形成的待处理演唱语音，可包括以下步骤：在跟随目标伴奏进行演唱时，获取通过无线耳麦采集的进行演唱所形成的待处理演唱语音。
[0034]尤其是，当用户使用无线耳麦时，例如蓝牙无线耳麦，相比有线耳麦录制进去的语音会在听觉上产生非常明显的延迟，实际到达演唱应用端的语音数据已经产生了听觉上可以感知到的几百毫秒甚至更多的延迟，从而使得最终演唱语音与伴奏合成之后完全不在节拍上，导致合成的演唱作品存在较大缺陷。
[0035]S120、对待处理演唱语音进行基频提取，得到对应的待处理基频曲线。
[0036]对于用户跟随伴奏演唱得到的待处理演唱语音对应多个音高，待处理演唱语音对应的各个音高用来给演唱音准打分的重要依据。音高其实是一系列基频信息经过变换后得到的，音频就是衡量音高的准则，参见国际标准音高和基频的对应关系；例如，标准中音C4对应的基频是261.632Hz。因此，通过设置基频提取算法，可从待处理演唱语音中提取由多个基频点在时间上形成连续所得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语音处理方法，其特征在于，包括：获取跟随目标伴奏进行演唱所形成的待处理演唱语音；对所述待处理演唱语音进行基频提取，得到对应的待处理基频曲线；依据所述待处理基频曲线和参考基频曲线，同步对齐所述目标伴奏与所述待处理演唱语音，用以进行语音与伴奏的合成；所述参考基频曲线包括跟随伴奏进行标准演唱时演唱音高对应的基频信息。2.根据权利要求1所述的方法，其特征在于，获取跟随目标伴奏进行演唱所形成的待处理演唱语音，包括：在跟随目标伴奏进行演唱时，获取通过无线耳麦采集的进行演唱所形成的待处理演唱语音。3.根据权利要求1所述的方法，其特征在于，依据所述待处理基频曲线和参考基频曲线，同步对齐所述目标伴奏与所述待处理演唱语音，包括：控制待处理基频曲线进行前后移动，并对移动的待处理基频曲线与参考基频曲线进行曲线趋势匹配；依据匹配结束时待处理基频曲线相对所述参考基频曲线的移动时间差，同同步对齐所述待处理演唱语音与所述目标伴奏。4.根据权利要求3所述的方法，其特征在于，控制待处理基频曲线进行前后移动，并对移动的待处理基频曲线与参考基频曲线进行曲线趋势匹配，包括：确定所述待处理基频曲线相对参考基频曲线的预设时间偏移范围；控制待处理基频曲线按照预设时间偏移范围进行前后移动，并对移动的待处理基频曲线与所述参考基频曲线进行曲线趋势匹配。5.根据权利要求3或4所述的方法，其特征在于，对移动的待处理基频曲线与参考基频曲线进行曲线趋势匹配，包括：依据移动的待处理基频曲线与参考基频曲线在同一时间位置的基频值，计算移动的待处理基频曲线与参考基频曲线之...

【专利技术属性】
技术研发人员：徐燃，
申请(专利权)人：北京儒博科技有限公司，
类型：发明
国别省市：