音频信号生成方法及系统、非暂时性计算机可读介质技术方案

本申请涉及音频信号生成方法及系统、非暂时性计算机可读介质，音频信号生成方法包括：获取由骨传导传感器采集的第一音频数据；获取由气传导传感器采集的第二音频数据，第一音频数据和第二音频数据表示用户的语音，第一音频数据和第二音频数据分别由不同的频率成分组成；根据一个或以上频率阈值将第一音频数据和第二音频数据划分为多个片段，其中第一音频数据的每个片段对应于第二音频数据的一个片段；基于权重对第一音频数据和第二音频数据的多个片段的每个片段进行拼接、融合和/或组合以生成第三音频数据。生成第三音频数据。生成第三音频数据。

Audio signal generation method and system, non transient computer readable medium

【技术实现步骤摘要】
音频信号生成方法及系统、非暂时性计算机可读介质
[0001]本申请是2019年09月12日提交中国专利局、申请号为CN201910864002.8、专利技术名称为“用于音频信号生成的系统和方法”的中国专利申请的分案申请。


[0002]本申请一般涉及信号处理领域，具体地，涉及音频信号生成方法及系统、非暂时性计算机可读介质。

技术介绍

[0003]随着电子设备的广泛使用，人们之间的通信变得越来越方便。当使用电子设备进行通信时，用户可以依靠麦克风在用户说话时采集语音信号。由麦克风采集的语音信号可以表示用户的语音。然而，由于，例如麦克风本身的性能、噪声等，有时难以确保麦克风采集的语音信号是充分地可理解的(即，信号的保真度)。特别是在工厂、汽车、飞机、船舶、商场等公共场合中，不同的背景噪声严重影响了通信质量。因此，希望提供用于生成具有较少噪声和/或改进的保真度的音频信号的系统和方法。

技术实现思路

[0004]本申请实施例提供了一种音频信号生成方法，包括：获取由骨传导传感器采集的第一音频数据；获取由气传导传感器采集的第二音频数据，第一音频数据和第二音频数据表示用户的语音，第一音频数据和第二音频数据分别由不同的频率成分组成；根据一个或以上频率阈值将第一音频数据和第二音频数据划分为多个片段，其中第一音频数据的每个片段对应于第二音频数据的一个片段；基于权重对第一音频数据和第二音频数据的多个片段的每个片段进行拼接、融合和/或组合以生成第三音频数据。
[0005]本申请实施例还提供了一种音频信号生成系统，包括：至少一个处理器；可执行指令，可执行指令可以由至少一个处理器执行，使系统执行如上述实施例所述的音频信号生成方法。
[0006]本申请实施例还提供了一种音频信号生成的系统，包括：获取模块，用于获取由骨传导传感器采集的第一音频数据和由气传导传感器采集的第二音频数据，第一音频数据和第二音频数据表示用户的语音，第一音频数据和第二音频数据分别由不同的频率成分组成；权重确定单元，被配置为根据一个或以上频率阈值将第一音频数据和第二音频数据划分为多个片段，其中第一音频数据的每个片段对应于第二音频数据的一个片段；组合单元，被配置为用于基于权重对第一音频数据和第二音频数据的多个片段的每个片段进行拼接、融合和/或组合以生成第三音频数据。
[0007]本申请实施例还提供了一种非暂时性计算机可读介质，介质存储计算机指令，计算机指令在执行时执行如上述实施例所述的音频信号生成方法。
[0008]本申请的一部分附加特性可以在下面的描述中进行说明。通过对以下描述和相应附图的研究或者对实施例的生产或操作的了解，本申请的一部分附加特性对于本领域技术
人员是明显的。本申请的特征可以通过对以下描述的具体实施例的各种方面的方法、手段和组合的实践或使用得以实现和达到。
附图说明
[0009]本申请将通过示例性实施例进行进一步描述。这些示例性实施例将通过附图进行详细描述。这些实施例是非限制性的示例性实施例，在这些实施例中，各图中相同的编号表示相似的结构，其中：
[0010]图1是根据本申请的一些实施例所示的示例性音频信号生成系统的示意图。
[0011]图2是根据本申请的一些实施例所示的示例性处理设备的框图。
[0012]图3是根据本申请的一些实施例所示的示例性音频数据生成模块的框图。
[0013]图4是根据本申请的一些实施例所示的用于生成音频信号的示例性过程的流程图。
[0014]图5是根据本申请的一些实施例所示的使用训练后的机器学习模型重构骨导音频数据的示例性过程的流程图。
[0015]图6是根据本申请的一些实施例所示的利用谐波修正模型重构骨导音频数据的示例性过程的流程图。
[0016]图7是根据本申请的一些实施例所示的利用稀疏矩阵技术重构骨导音频数据的示例性过程的流程图。
[0017]图8是根据本申请的一些实施例所示的用于生成音频数据的示例性过程的流程图。
[0018]图9是根据本申请的一些实施例所示的用于生成音频数据的示例性过程的流程图。
[0019]图10是根据本申请的一些实施例所示的骨导音频数据、相应的重构骨音频数据和相应的气导音频数据的频率响应曲线图。
[0020]图11是根据本申请的一些实施例所示的由位于使用者身体的不同部位的骨传导传感器采集的骨导音频数据的频率响应曲线图。
[0021]图12是根据本申请的一些实施例所示的由位于使用者身体的不同部位的骨传导传感器采集的骨导音频数据的频率响应曲线图。
[0022]图13是根据本申请的一些实施例所示的根据2000Hz的频率拼接点拼接骨导音频数据和气导音频数据生成的拼接音频数据的时频图。
[0023]图14是根据本申请的一些实施例所示的根据2000Hz的频率拼接点拼接骨导音频数据和利用维纳滤波器对气导音频数据进行降噪后的气导音频数据生成的拼接音频数据的时频图。
[0024]图15是根据本申请的一些实施例所示的根据2000Hz的频率拼接点拼接骨导音频数据和利用谱减法对气导音频数据进行降噪后的气导音频数据生成的拼接音频数据的时频图。
[0025]图16是根据本申请的一些实施例所示的骨导音频数据的时频图。
[0026]图17是根据本申请的一些实施例所示的气导音频数据的时频图。
[0027]图18是根据本申请的一些实施例所示根据2000Hz的频率拼接点拼接骨导音频数
据和气导音频数据生成的拼接音频数据的时频图。
[0028]图19是根据本申请的一些实施例所示根据3000Hz的频率拼接点拼接骨导音频数据和气导音频数据生成的拼接音频数据的时频图。
[0029]图20是根据本申请的一些实施例所示根据4000Hz的频率拼接点拼接骨导音频数据和气导音频数据生成的拼接音频数据的时频图。
具体实施方式
[0030]为了更清楚地说明本申请的实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。然而，本领域技术人员应该明白，可以在没有这些细节的情况下实施本申请。在其他情况下，为了避免不必要地模糊本申请的一些方面，本申请已经较高级别(没有细节)描述了公知的方法、程序、系统、组件和/或电路。对于本领域的普通技术人员来讲，显然可以对所披露的实施例作出各种改变，并且在不偏离本申请的原则和范围的情况下，本申请中所定义的普遍原则可以适用于其他实施例和应用场景。因此，本申请不限于所示的实施例，而是符合与申请专利范围一致的最广泛范围。
[0031]根据以下对附图的描述，本申请的这些和其他的特征、特点以及相关结构元件的功能和操作方法，以及部件组合和制造经济性，可以变得更加显而易见，这些附图都构成本申请说明书的一部分。然而，应当理解的是，附图仅仅是为了说明和描述的目的，并不旨在限制本申请的范围。应当理解的是，附图并不是按比例绘制的。
[0032]本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频信号生成方法，其特征在于，包括：获取由骨传导传感器采集的第一音频数据；获取由气传导传感器采集的第二音频数据，所述第一音频数据和所述第二音频数据表示用户的语音，所述第一音频数据和所述第二音频数据分别由不同的频率成分组成；根据一个或以上频率阈值将所述第一音频数据和所述第二音频数据划分为多个片段，其中所述第一音频数据的每个片段对应于所述第二音频数据的一个片段；基于权重对所述第一音频数据和所述第二音频数据的多个片段的每个片段进行拼接、融合和/或组合以生成第三音频数据。2.根据权利要求1所述的方法，其特征在于，基于所述第三音频数据确定表示用户语音的目标音频数据，所述目标音频数据具有比所述第一音频数据和所述第二音频数据更高的保真度。3.根据权利要求2所述的方法，其特征在于，对所述第三音频数据执行后处理操作以获取所述目标音频数据，所述后处理操作包括降噪操作、域变换操作或其组合。4.根据权利要求1所述的方法，其特征在于，所述频率阈值由如下过程确定，所述过程包括：确定与所述第二音频数据相关的噪声水平；基于与所述第二音频数据相关的噪声水平，确定所述一个或以上频率阈值中的至少一个。5.根据权利要求4所述的方法，其特征在于，与所述第二音频数据相关联的所述噪声水平由所述第二音频数据的信噪比表示，并且所述第二音频数据的所述信噪比由以下操作确定，包括：使用所述骨传导传感器和所述气传导传感器确定所述第二音频数据中的噪声的能量；基于所述第二音频数据中的所述噪声的能量，确定所述第二音频数据中的纯音频数据的能量；基于所述第二音频数据中所述噪声的能量和所述第二音频数据中的所述纯音频数据的能量，确定所述信噪比。6.根据权利要求4所述的方法，其特征在于，与所述第二音频数...

【专利技术属性】
技术研发人员：周美林，廖风云，齐心，
申请(专利权)人：深圳市韶音科技有限公司，
类型：发明
国别省市：