基于毫米波雷达的语音合成方法、系统及终端技术方案

技术编号:41131294 阅读:26 留言:0更新日期:2024-04-30 18:00
本发明专利技术提供一种基于毫米波雷达的语音合成方法、系统及终端,通过对由毫米波雷达接收的各接收信号去除静态信号,并应用Range‑FFT算法确定目标单元且计算各目标单元所对应的相位信号,再识别各相位信号中发出语音物体所产生的与声音振动相关的相位信号并进行信号增强并进行预处理,生成对应的相位梅尔频谱图;基于训练的频谱重构模型,根据各相位梅尔频谱图获得对应的重构相位梅尔频谱图,再利用声码器获得对应每个发出语音物体的语音波形。本发明专利技术实现一种以毫米波雷达作为声音传感器的雷达麦克风,充分利用毫米波雷达特性,不仅能够恢复出更高质量、可理解的语音音频,还能做到自动化的声源位置检测和多声源分离,可利用商用的毫米波雷达开发出一套完整的基于毫米波雷达的录音系统。

【技术实现步骤摘要】

本专利技术涉及语音合成,特别是涉及一种基于毫米波雷达的语音合成方法、系统及终端


技术介绍

1、语音交流,作为人际互动中极为自然的方式,已在人机交互领域占据了至关重要的地位。伴随普适计算与人工智能物联网设备的迅猛发展,基于听觉的应用层出不穷,涵盖了语音用户界面、自动语音识别和智能家居中的声音事件监控等多个领域。这些应用极度依赖于麦克风来实现声音的捕获。然而,麦克风虽然在声音捕捉能力上与人类相似,却缺乏人类大脑那样的声音识别和分离处理能力。这一不足导致了单个麦克风难以区分声源、处理噪声以及分离重叠声音。

2、为了克服传统麦克风的局限,国内外学者从不同视角和方法展开了广泛的研究。这些研究包括了基于音频或音视频结合的语音增强和分离技术,以及运用其他感知方式和模态来补充或替代传统麦克风的语音合成。

3、传统的单声道语音增强和分离方法基于对带噪语音信号的统计特性假设,通过噪声估计来预测出干净的语音。近年来,随着深度学习技术的迅猛发展,越来越多的研究倾向于数据驱动的方法,将语音增强和分离任务视作监督学习问题。通过大量标注数据的训练,网络自学从带本文档来自技高网...

【技术保护点】

1.一种基于毫米波雷达的语音合成方法,其特征在于,所述方法包括:

2.根据权利要求1中所述的基于毫米波雷达的语音合成方法,其特征在于,所述对去除静态信号的各接收信号应用Range-FFT算法确定目标单元,并计算各目标单元所对应的相位信号包括:

3.根据权利要求2中所述的基于毫米波雷达的语音合成方法,其特征在于,所述识别各相位信号中与声音振动相关的相位信号包括:

4.根据权利要求3中所述的基于毫米波雷达的语音合成方法,其特征在于,所述基于与声音振动相关的各相位信号进行信号增强,获得对应每个发出语音物体的增强相位信号包括:

5.根据权利要求1中...

【技术特征摘要】

1.一种基于毫米波雷达的语音合成方法,其特征在于,所述方法包括:

2.根据权利要求1中所述的基于毫米波雷达的语音合成方法,其特征在于,所述对去除静态信号的各接收信号应用range-fft算法确定目标单元,并计算各目标单元所对应的相位信号包括:

3.根据权利要求2中所述的基于毫米波雷达的语音合成方法,其特征在于,所述识别各相位信号中与声音振动相关的相位信号包括:

4.根据权利要求3中所述的基于毫米波雷达的语音合成方法,其特征在于,所述基于与声音振动相关的各相位信号进行信号增强,获得对应每个发出语音物体的增强相位信号包括:

5.根据权利要求1中所述的基于毫米波雷达的语音合成方法,其特征在于,所述利用shfit-iq算法对接收的各接收信号去除静态信号包括:

6....

【专利技术属性】
技术研发人员:沈俊杰王东张谦
申请(专利权)人:上海交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1