语音音色风格实时变换技术制造技术

本发明专利技术提出了一种将说话者的语音转换为参考音色的方法。该方法包括将说话者的语音源信号的第一部分转换至时频域以获得时频信号；获得时频信号随时间变化的频率仓幅度均值；将频率仓的幅度均值转换至Bark域，以获得源频率响应曲线(SR)，其中SR(i)对应于第i个频率仓的幅度均值；对应参考频率响应曲线(Rf)获得Bark域中各个频率仓的增益；使用Bark域中频率仓的相应增益获得均衡器参数；使用均衡器参数将第一部分语音转换为参考音色。一部分语音转换为参考音色。一部分语音转换为参考音色。

【技术实现步骤摘要】
语音音色风格实时变换技术
相关申请的交叉引用
[0001]本申请要求2020年10月15日提交的标题为“语音音色风格实时变换技术”的美国专利申请号为17/071,454的专利申请的权益，其全部内容通过引用纳入本文。


[0002]本专利技术总体上涉及语音增强领域，更具体而言，本专利技术涉及领域为实时应用中的语音音色变换技术。

技术介绍

[0003]交互沟通很多时候是在不同的通信渠道中通过不同的媒体类型在线发生的。比如使用视频会议或视频流进行传输的实时通信(RTC)。视频可包含音频和视频内容。一个用户(即发送方用户)可以将用户生成的内容(如视频)发送给一个或多个接收方用户。比如，可将一场音乐会直播给许多观众观看。又比如，老师可以向学生直播上课。再如，一些用户可进行包含实时视频的实时聊天。
[0004]在实时通信中，有些用户可能希望添加滤镜、遮罩和其他视觉效果，为通信增添乐趣。比如说，用户可以选择一个太阳镜滤镜，该滤镜由通信应用程序通过数码方式添加到用户的面部。类似地，用户可能想改变他们的声音。更具体而言，用户可能希望在RTC本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种将说话者的语音转换为参考音色的方法，包括：将说话者的语音源信号的第一部分转换至时频域以获得时频信号；获得时频信号随时间变化的频率仓幅度均值；将频率仓幅度均值转换至Bark域以获得源频率响应曲线(SR)，其中SR(i)对应于第i个频率仓的幅度均值；对应参考频率响应曲线(Rf)获得Bark域中各个频率仓的增益；使用Bark域中频率仓的相应增益获得均衡器参数；以及使用均衡器参数将第一部分语音转换为参考音色。2.根据权利要求1所述的方法，还包括：接收参考音色的参考样本；将参考样本转换至时频域以获得参考时频信号；获得参考时频信号随时间变化的参考频率仓幅度均值以及将参考频率仓幅度均值转换至Bark域，以获得参考频率响应曲线(Rf)。3.根据权利要求2所述的方法，其中将参考频率仓幅度均值转换至Bark域，以获得参考频率响应曲线(Rf)包括：使用等式其中B
i
是第i个Bark频带中的FFT频率仓,且其中β
ij
是Bark变换的变换参数。4.根据权利要求2所述的方法，其中获得Bark域中频率仓的相应增益包括：使用第k个频率仓的参考频率仓幅度均值与第k个频率仓的源频率响应曲线(SR)的比值来计算Bark域中第k个频率仓的增益G
b
(k)。5.根据权利要求4所述的方法，其中G
b
(k)根据等式G
b
(k)＝20*log(Rf(k)/SR(k))计算得出。6.根据权利要求1所述的方法，其中使用Bark域中频率仓的相应增益获得均衡器参数包括：将相应增益归一化以获得均衡器参数。7.根据权利要求6所述的方法，其中使用Bark域中频率仓的相应增益获得均衡器参数还包括：将相应增益映射至均衡器的相应中心频率，以获得均衡器的增益值。8.根据权利要求1所述的方法，还包括：从说话者处接收参考音色。9.根据权利要求1所述的方法，还包括：获得源信号中第二部分信号的第二条源频率响应曲线；如果检测到源频率响应曲线与第二条源频率响应曲线之间的差异超过阈值，则获取新的均衡器参数，并且将新的均衡器参数用作均衡器参数；以及使用均衡器参数将源信号的第二部分进行变换处理。
10.一种将说话者的语音转换为参考音色的设备，包括一台处理器，配置为可执行以下操作：将说话者的语音源信号的第一部分转换至时频域以获得时频信号；获得时频信号随时间变化的频率仓幅度均值；将频率仓幅度均值转换至Bark域，以获得源频率响应曲线(SR)，其中SR(i)对应于第i个频率仓的幅度均值；对应参考频率响应曲线(Rf)获得Bark域中各个频率仓的增益；使用Bark域中频率仓的相应增益获得均衡器参数；以及使用均衡器参数将第一部分语音转换为参考音色。11.根据权利...

【专利技术属性】
技术研发人员：冯建元，杭睿翔，赵林生，李凡，
申请(专利权)人：达音网络科技上海有限公司，
类型：发明
国别省市：