音频补偿式耳机的音频补偿方法、系统和电子设备技术方案

本申请公开了一种音频补偿式耳机的音频补偿方法、系统和电子设备，其通过基于神经网络模型的特征提取器和生成器从传入第一耳机的音频数据和传入第二耳机的音频数据来智能地生成听力补偿曲线，以在音乐模式中调用所述音频补偿曲线使得左右耳体验到的音频大小一样。并且在此过程中，引入对转换到概率空间的所述音频特征矩阵的每个位置的特征值进行迭代加权优化的迭代互加权系数，以对所述音频特征矩阵进行修正，进而考虑到所述传入第一耳机的音频数据和所述传入第二耳机的音频数据之间的传播偏移，这样，可以提高特征提取的精准度，从而提高对于生成的音频补偿曲线的准确性，以使得左右耳体验到的音频大小一样。以使得左右耳体验到的音频大小一样。以使得左右耳体验到的音频大小一样。

【技术实现步骤摘要】
音频补偿式耳机的音频补偿方法、系统和电子设备


[0001]本申请涉及音频补偿耳机的领域，且更为具体地，涉及一种音频补偿式耳机的音频补偿方法、系统和电子设备。

技术介绍

[0002]助听器是帮助提高听力的仪器，实际上就是一个小型的半导体扩音器，其作用可以使比较弱小的声音，经放大后传到耳机，使本来听力下降的部位借助放大作用而听到声音。
[0003]目前，助听器需要通过听力测试测出左右耳的听力曲线，并根据听力曲线来补偿不同频率点的听力。现有的助听器只有助听功能，没有音乐补偿功能，且听力补偿也只针对通话频段。因此，为了在助听器的音乐模式中调用音频补偿曲线使得左右耳体验到的音频大小一样，期望一种音频补偿式耳机的音频补偿方法。

技术实现思路

[0004]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种音频补偿式耳机的音频补偿方法、系统和电子设备，其通过基于神经网络模型的特征提取器和生成器从传入第一耳机的音频数据和传入第二耳机的音频数据来智能地生成听力补偿曲线，以在音乐模式中调用所述音频补偿曲线使得左右耳体验到的音频大小一样。并且在此过程中，引入对转换到概率空间的所述音频特征矩阵的每个位置的特征值进行迭代加权优化的迭代互加权系数，以对所述音频特征矩阵进行修正，进而考虑到所述传入第一耳机的音频数据和所述传入第二耳机的音频数据之间的传播偏移，这样，可以提高特征提取的精准度，从而提高对于生成的音频补偿曲线的准确性，以使得左右耳体验到的音频大小一样。
[0005]根据本申请的一个方面，提供了一种音频补偿式耳机的音频补偿方法，其包括：
[0006]训练阶段，包括：
[0007]获取从音频输出设备传入第一耳机的第一音频数据和从所述第一耳机传入第二耳机的第二音频数据；
[0008]以第一神经网络模型从所述第一音频数据提取第一音频特征矩阵；
[0009]以第二神经网络模型从所述第二音频数据提取第二音频特征矩阵；
[0010]将所述第一音频特征矩阵和所述第二音频特征矩阵映射到概率空间中以获得第一概率化音频特征矩阵和第二概率化音频特征矩阵；
[0011]计算所述第一概率化音频特征矩阵中各个位置的特征值的第一迭代互加权系数以获得第一迭代互加权修正矩阵以及计算所述第二概率化音频特征矩阵中各个位置的特征值的第二迭代互加权系数以获得第二迭代互加权修正矩阵，其中，所述第一迭代互加权系数为一减去以一与所述第一概率化音频特征矩阵中各个位置的特征值除以所述第一概率化音频特征矩阵的所有特征值和所述第二概率化音频特征矩阵的所有特征值中的最大值的商之间的差值的平方为幂的自然指数函数值，所述第二迭代互加权系数为一减去以一
与所述第二概率化音频特征矩阵中各个位置的特征值除以所述第一概率化音频特征矩阵的所有特征值和所述第二概率化音频特征矩阵的所有特征值中的最大值的商之间的差值的平方为幂的自然指数函数值；
[0012]以所述第一迭代互加权修正矩阵和所述第二迭代互加权修正矩阵分别对所述第一音频特征矩阵和所述第二音频特征矩阵进行加权以获得修正后第一音频特征矩阵和修正后第二音频特征矩阵；
[0013]将所述修正后第一音频特征矩阵和所述修正后第二音频特征矩阵分别通过生成器模型以生成第一听力补偿曲线和第二听力补偿曲线；
[0014]获取第一耳的第一听力测试曲线和第二耳的第二听力测试曲线；
[0015]计算所述第一听力测试曲线与所述第一听力补偿曲线的第一叠加听力曲线和计算所述第二听力测试曲线和所述第二听力补偿曲线的第二叠加听力曲线；
[0016]计算所述第一叠加听力曲线与所述第二叠加听力曲线之间的差异作为损失函数值；
[0017]以所述损失函数值对所述第一神经网络模型、所述第二神经网络模型和所述生成器模型进行训练；以及
[0018]推断阶段，包括：
[0019]获取从音频输出设备传入第一耳机的第一音频数据和从所述第一耳机传入第二耳机的第二音频数据；
[0020]以训练阶段训练完成的所述第一神经网络模型从所述第一音频数据提取第一音频特征矩阵；
[0021]以训练阶段训练完成的所述第二神经网络模型从所述第二音频数据提取第二音频特征矩阵；
[0022]将所述第一音频特征矩阵和所述第二音频特征矩阵映射到概率空间中以获得第一概率化音频特征矩阵和第二概率化音频特征矩阵；以及
[0023]将所述第一音频特征矩阵和所述第二音频特征矩阵分别通过经训练阶段训练完成的所述生成器模型以生成第一听力补偿曲线和第二听力补偿曲线。
[0024]根据本申请的又一个方面，提供了一种音频补偿式耳机的音频补偿系统，其包括：
[0025]数据获取单元，用于获取从音频输出设备传入第一耳机的第一音频数据和从所述第一耳机传入第二耳机的第二音频数据；
[0026]第一特征提取单元，用于以第一神经网络模型从所述数据获取单元获得的所述第一音频数据提取第一音频特征矩阵；
[0027]第二特征提取单元，用于以第二神经网络模型从所述数据获取单元获得的所述第二音频数据提取第二音频特征矩阵；
[0028]映射单元，用于将所述第一特征提取单元获得的所述第一音频特征矩阵和所述第二特征提取单元获得的所述第二音频特征矩阵映射到概率空间中以获得第一概率化音频特征矩阵和第二概率化音频特征矩阵；
[0029]迭代互加权系数计算单元，用于计算所述映射单元获得的所述第一概率化音频特征矩阵中各个位置的特征值的第一迭代互加权系数以获得第一迭代互加权修正矩阵以及计算所述映射单元获得的所述第二概率化音频特征矩阵中各个位置的特征值的第二迭代
互加权系数以获得第二迭代互加权修正矩阵，其中，所述第一迭代互加权系数为一减去以一与所述第一概率化音频特征矩阵中各个位置的特征值除以所述第一概率化音频特征矩阵的所有特征值和所述第二概率化音频特征矩阵的所有特征值中的最大值的商之间的差值的平方为幂的自然指数函数值，所述第二迭代互加权系数为一减去以一与所述第二概率化音频特征矩阵中各个位置的特征值除以所述第一概率化音频特征矩阵的所有特征值和所述第二概率化音频特征矩阵的所有特征值中的最大值的商之间的差值的平方为幂的自然指数函数值；
[0030]修正单元，用于以所述迭代互加权系数计算单元获得的所述第一迭代互加权修正矩阵和所述迭代互加权系数计算单元获得的所述第二迭代互加权修正矩阵分别对所述第一音频特征矩阵和所述第二音频特征矩阵进行加权以获得修正后第一音频特征矩阵和修正后第二音频特征矩阵；
[0031]生成器单元，用于将所述修正单元获得的所述修正后第一音频特征矩阵和所述修正单元获得的所述修正后第二音频特征矩阵分别通过生成器模型以生成第一听力补偿曲线和第二听力补偿曲线；
[0032]曲线获取单元，用于获取第一耳的第一听力测试曲线和第二耳的第二听力测试曲线；
[0033]叠加听力曲线计算单元，用于计算所述曲线获取单元获得的所述第一听力测试曲线与所述生成器单元获得的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种音频补偿式耳机的音频补偿方法，其特征在于，包括：训练阶段，包括：获取从音频输出设备传入第一耳机的第一音频数据和从所述第一耳机传入第二耳机的第二音频数据；以第一神经网络模型从所述第一音频数据提取第一音频特征矩阵；以第二神经网络模型从所述第二音频数据提取第二音频特征矩阵；将所述第一音频特征矩阵和所述第二音频特征矩阵映射到概率空间中以获得第一概率化音频特征矩阵和第二概率化音频特征矩阵；计算所述第一概率化音频特征矩阵中各个位置的特征值的第一迭代互加权系数以获得第一迭代互加权修正矩阵以及计算所述第二概率化音频特征矩阵中各个位置的特征值的第二迭代互加权系数以获得第二迭代互加权修正矩阵，其中，所述第一迭代互加权系数为一减去以一与所述第一概率化音频特征矩阵中各个位置的特征值除以所述第一概率化音频特征矩阵的所有特征值和所述第二概率化音频特征矩阵的所有特征值中的最大值的商之间的差值的平方为幂的自然指数函数值，所述第二迭代互加权系数为一减去以一与所述第二概率化音频特征矩阵中各个位置的特征值除以所述第一概率化音频特征矩阵的所有特征值和所述第二概率化音频特征矩阵的所有特征值中的最大值的商之间的差值的平方为幂的自然指数函数值；以所述第一迭代互加权修正矩阵和所述第二迭代互加权修正矩阵分别对所述第一音频特征矩阵和所述第二音频特征矩阵进行加权以获得修正后第一音频特征矩阵和修正后第二音频特征矩阵；将所述修正后第一音频特征矩阵和所述修正后第二音频特征矩阵分别通过生成器模型以生成第一听力补偿曲线和第二听力补偿曲线；获取第一耳的第一听力测试曲线和第二耳的第二听力测试曲线；计算所述第一听力测试曲线与所述第一听力补偿曲线的第一叠加听力曲线和计算所述第二听力测试曲线和所述第二听力补偿曲线的第二叠加听力曲线；计算所述第一叠加听力曲线与所述第二叠加听力曲线之间的差异作为损失函数值；以所述损失函数值对所述第一神经网络模型、所述第二神经网络模型和所述生成器模型进行训练；以及推断阶段，包括：获取从音频输出设备传入第一耳机的第一音频数据和从所述第一耳机传入第二耳机的第二音频数据；以训练阶段训练完成的所述第一神经网络模型从所述第一音频数据提取第一音频特征矩阵；以训练阶段训练完成的所述第二神经网络模型从所述第二音频数据提取第二音频特征矩阵；将所述第一音频特征矩阵和所述第二音频特征矩阵映射到概率空间中以获得第一概率化音频特征矩阵和第二概率化音频特征矩阵；以及将所述第一音频特征矩阵和所述第二音频特征矩阵分别通过经训练阶段训练完成的所述生成器模型以生成第一听力补偿曲线和第二听力补偿曲线。
2.根据权利要求1所述的音频补偿式耳机的音频补偿方法，其中，以第一神经网络模型从所述第一音频数据提取第一音频特征矩阵，包括：将所述第一音频数据的波形图通过所述第一神经网络模型的第一卷积神经网络以获得第一特征矩阵；以预定时间间隔从所述第一音频数据截取多个音频片段数据，并分别获得各个所述音频片段数据的梅尔统计特征；将各个所述音频片段数据的梅尔统计特征通过所述第一神经网络模型的包含嵌入层的基于上下文的编码器模型以获得多个第一音频特征向量；将所述多个第一音频特征向量进行二维排列以获得第二特征矩阵；以及融合所述第一特征矩阵和所述第二特征矩阵以获得所述第一音频特征矩阵。3.根据权利要求2所述的音频补偿式耳机的音频补偿方法，其中，将所述第一音频数据的波形图通过所述第一神经网络模型的第一卷积神经网络以获得第一特征矩阵，包括：所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行基于二维卷积核的卷积处理、沿通道维度的池化处理和激活处理以由所述第一卷积神经网络的最后一层输出所述第一特征矩阵，其中，所述第一卷积神经网络的第一层的输入为所述第一音频数据的波形图。4.根据权利要求2所述的音频补偿式耳机的音频补偿方法，其中，将各个所述音频片段数据的梅尔统计特征通过所述第一神经网络模型的包含嵌入层的基于上下文的编码器模型以获得多个第一音频特征向量，包括：使用所述基于上下文的编码器模型的嵌入层分别将各个所述音频片段数据的梅尔统计特征转化为输入向量以获得输入向量的序列；以及使用所述基于上下文的编码器模型的转换器对所述输入向量的序列进行基于全局的上下文语义编码以获得所述多个第一音频特征向量。5.根据权利要求2所述的音频补偿式耳机的音频补偿方法，其中，融合所述第一特征矩阵和所述第二特征矩阵以获得所述第一音频特征矩阵，包括：计算所述第一特征矩阵与所述第二特征矩阵的矩阵乘积以获得第一融合特征矩阵；计算所述第二特征矩阵与所述第一特征矩阵的矩阵乘积以获得第二融合特征矩阵；以及计算所述第一融合特征矩阵和所述第二融合特征矩阵之间的按位置加权和以获得所述第一音频特征矩阵。6.根据权利要求2所述的音频补偿式耳机的音频补偿方法，其中，以第二神经网络模型从所述第二音频数据提取第二音频特征矩阵，包括：将所述第二音频数据的波形图通过所述第二神经网络模型的第二卷积神经网络以获得第二特征矩阵；以预定时间间隔从所述第二音频数据截取多个音频片段数据，并分别获得各个所述音频片段数据的梅尔统计特征；将各个所述音频片段数据的梅尔统计特征通过所述第二神经网络模型的包含嵌入层的...

【专利技术属性】
技术研发人员：李怀子，李建军，武世军，袁德中，谢建兰，
申请(专利权)人：东莞市晨新电子科技有限公司，
类型：发明
国别省市：