用于TWS无线耳机的降噪系统及其方法技术方案

公开了一种用于TWS无线耳机的降噪系统及其方法，其利用基于深度学习的人工智能技术，以通过从用户的重心数据中捕捉用户的运动模式动作变化，并借此来优化补偿TWS无线耳机在使用过程中产生的频移偏差。这样，能够充分地对于所述音频信号进行降噪优化，从而使得TWS无线耳机的音效满足运动模式用户的需求。无线耳机的音效满足运动模式用户的需求。无线耳机的音效满足运动模式用户的需求。

【技术实现步骤摘要】
用于TWS无线耳机的降噪系统及其方法


[0001]本申请涉及无线耳机降噪
，且更为具体地，涉及一种用于TWS无线耳机的降噪系统及其方法。

技术介绍

[0002]TWS的全称是True Wireless Stereo，意思是真正无线立体声。TWS技术是基于蓝牙芯片技术发展而来的，其工作原理是指手机通过连接主耳机，再由主耳机通过无线方式快速地连接副耳机，实现真正的蓝牙左右声道无线分离使用。也就是，音频数据首先从手机传输到主耳机，再由主耳机传输到副耳机。
[0003]在用户运动过程中使用TWS无线耳机的应用场景中，因一方面周围环境本身存在大量噪声，另一方面，处于运动模式的用户会使得声音数据在传播时发生频移等偏差，这使得配戴TWS无线耳机的用户无法听到令人满意的音效。
[0004]因此，期待一种优化的用于TWS无线耳机的降噪方案。

技术实现思路

[0005]为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种用于TWS无线耳机的降噪系统及其方法，其利用基于深度学习的人工智能技术，以通过从用户的重心数据中捕捉用户的运动模式动作变化，并借此来优化补偿TWS无线耳机在使用过程中产生的频移偏差。这样，能够充分地对于所述音频信号进行降噪优化，从而使得TWS无线耳机的音效满足运动模式用户的需求。
[0006]相应地，根据本申请的一个方面，提供了一种用于TWS无线耳机的降噪系统，其包括：
[0007]待处理信号接收模块，用于获取预定时间段内传播至左耳机的音频信号；
[0008]用户运动数据监控模块，用于获取所述预定时间段内多个预定时间点的用户的重心数据；
[0009]一级降噪模块，用于将所述音频信号通过基于自动编解码器的降噪器以得到降噪后音频信号；
[0010]音频波形特征提取模块，用于将所述降噪后音频信号通过作为过滤器的卷积神经网络模型以得到音频波形特征向量；
[0011]运动模式特征提取模块，用于将所述多个预定时间点的用户的重心数据按照时间维度排列为重心输入向量后通过多尺度邻域特征提取模块以得到重心时序特征向量；
[0012]多模态关联模块，用于对所述重心时序特征向量和所述音频波形特征向量进行关联编码以得到多模态关联特征矩阵；
[0013]特征优化模块，用于对所述多模态关联特征矩阵进行高维数据流形优化以得到优化多模态关联特征矩阵；以及
[0014]二级降噪模块，用于将所述优化多模态关联特征矩阵通过基于扩散模型的降噪生
成器以得到优化后音频信号。
[0015]在上述用于TWS无线耳机的降噪系统中，所述自动编解码器包括声音特征编码器和声音特征解码器。
[0016]在上述用于TWS无线耳机的降噪系统中，所述一级降噪模块，包括：声音信号编码单元，用于将所述音频信号输入所述降噪器的声音特征编码器，其中，所述声音特征编码器使用卷积层对所述音频信号进行显式空间编码以得到声音特征；以及，声音特征解码单元，用于将所述声音特征输入所述降噪器的声音特征解码器，其中，所述声音特征解码器使用反卷积层对所述声音特征进行反卷积处理以得到所述降噪后音频信号。
[0017]在上述用于TWS无线耳机的降噪系统中，所述音频波形特征提取模块，进一步用于：使用所述卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述音频波形特征向量，所述卷积神经网络模型的第一层的输入为所述降噪后音频信号。
[0018]在上述用于TWS无线耳机的降噪系统中，所述多尺度邻域特征提取模块，包括：相互并行的第一卷积层和第二卷积层，以及与所述第一卷积层和所述第二卷积层连接的多尺度融合层，其中，所述第一卷积层和所述第二卷积层分别使用具有不同尺度的一维卷积核。
[0019]在上述用于TWS无线耳机的降噪系统中，所述运动模式特征提取模块，包括：第一尺度编码单元，用于使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述重心输入向量进行一维卷积编码以得到第一尺度重心特征向量；其中，所述公式为：
[0020][0021]其中，a为第一卷积核在x方向上的宽度、F(a)为第一卷积核参数向量、G(x
‑
a)为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示所述重心输入向量，Cov1(X)表示对所述重心输入向量进行一维卷积编码；第二尺度编码单元，用于使用所述多尺度邻域特征提取模块的第二卷积层以如下公式对所述重心输入向量进行一维卷积编码以得到第二尺度重心特征向量；其中，所述公式为：
[0022][0023]其中，b为第二卷积核在x方向上的宽度、F(b)为第二卷积核参数向量、G(x
‑
b)为与卷积核函数运算的局部向量矩阵，m为第二卷积核的尺寸，X表示所述重心输入向量，Cov2(X)表示对所述重心输入向量进行一维卷积编码；以及，多尺度特征融合单元，用于使用所述多尺度邻域特征提取模块的多尺度融合层将所述第一尺度重心特征向量和所述第二尺度重心特征向量进行级联以得到所述重心时序特征向量。
[0024]在上述用于TWS无线耳机的降噪系统中，所述多模态关联模块，进一步用于：以如下公式对所述重心时序特征向量和所述音频波形特征向量进行关联编码以得到多模态关联特征矩阵；其中，所述公式为：
[0025][0026]其中表示所述音频波形特征向量的转置向量，V
b
表示所述重心时序特征向量，M表示所述多模态关联特征矩阵，表示矩阵相乘。
[0027]在上述用于TWS无线耳机的降噪系统中，所述特征优化模块，包括：特征矩阵展开单元，用于将所述多模态关联特征矩阵展开为多模态关联特征向量；向量优化单元，用于以如下公式对所述多模态关联特征向量进行向量赋范的希尔伯特概率空间化以得到优化后多模态关联特征向量；其中，所述公式为：
[0028][0029]其中V是所述多模态关联特征向量，||V||2表示所述多模态关联特征向量的二范数，表示所述多模态关联特征向量的二范数的平方，v
i
是所述多模态关联特征向量的第i个特征值，exp(
·
)表示向量的指数运算，所述向量的指数运算表示计算以向量中各个位置的特征值为幂的自然指数函数值，且v
i
'是所述优化后多模态关联特征向量的第i个特征值；以及，维度重构单元，用于将所述优化后多模态关联特征向量进行维度重构以得到所述优化多模态关联特征矩阵。
[0030]根据本申请的另一方面，还提供了一种用于TWS无线耳机的降噪方法，其包括：
[0031]获取预定时间段内传播至左耳机的音频信号；
[0032]获取所述预定时间段内多个预定时间点的用户的重心数据；
[0033]将所述音频信号通过基于自动编解码器的降噪器以得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于TWS无线耳机的降噪系统，其特征在于，包括：待处理信号接收模块，用于获取预定时间段内传播至左耳机的音频信号；用户运动数据监控模块，用于获取所述预定时间段内多个预定时间点的用户的重心数据；一级降噪模块，用于将所述音频信号通过基于自动编解码器的降噪器以得到降噪后音频信号；音频波形特征提取模块，用于将所述降噪后音频信号通过作为过滤器的卷积神经网络模型以得到音频波形特征向量；运动模式特征提取模块，用于将所述多个预定时间点的用户的重心数据按照时间维度排列为重心输入向量后通过多尺度邻域特征提取模块以得到重心时序特征向量；多模态关联模块，用于对所述重心时序特征向量和所述音频波形特征向量进行关联编码以得到多模态关联特征矩阵；特征优化模块，用于对所述多模态关联特征矩阵进行高维数据流形优化以得到优化多模态关联特征矩阵；以及二级降噪模块，用于将所述优化多模态关联特征矩阵通过基于扩散模型的降噪生成器以得到优化后音频信号。2.根据权利要求1所述的用于TWS无线耳机的降噪系统，其特征在于，所述自动编解码器包括声音特征编码器和声音特征解码器。3.根据权利要求2所述的用于TWS无线耳机的降噪系统，其特征在于，所述一级降噪模块，包括：声音信号编码单元，用于将所述音频信号输入所述降噪器的声音特征编码器，其中，所述声音特征编码器使用卷积层对所述音频信号进行显式空间编码以得到声音特征；以及声音特征解码单元，用于将所述声音特征输入所述降噪器的声音特征解码器，其中，所述声音特征解码器使用反卷积层对所述声音特征进行反卷积处理以得到所述降噪后音频信号。4.根据权利要求3所述的用于TWS无线耳机的降噪系统，其特征在于，所述音频波形特征提取模块，进一步用于：使用所述卷积神经网络模型的各层在层的正向传递中分别进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的均值池化以得到池化特征图；以及对所述池化特征图进行非线性激活以得到激活特征图；其中，所述卷积神经网络模型的最后一层的输出为所述音频波形特征向量，所述卷积神经网络模型的第一层的输入为所述降噪后音频信号。5.根据权利要求4所述的用于TWS无线耳机的降噪系统，其特征在于，所述多尺度邻域特征提取模块，包括：相互并行的第一卷积层和第二卷积层，以及与所述第一卷积层和所述第二卷积层连接的多尺度融合层，其中，所述第一卷积层和所述第二卷积层分别使用具有不同尺度的一维卷积核。6.根据权利要求5所述的用于TWS无线耳机的降噪系统，其特征在于，所述运动模式特征提取模块，包括：
第一尺度编码单元，用于使用所述多尺度邻域特征提取模块的第一卷积层以如下公式对所述重心输入向量进行一维卷积编码以得到第一尺度重心特征向量；其中，所述公式为：其中，a为第一卷积核在x方向上的宽度、F(a)为第一卷积核参数向量、G(x
‑
a)为与卷积核函数运算的局部向量矩阵，w为第一卷积核的尺寸，X表示所述重心输入向量，Cov1(X)表示对所述重心输入...

【专利技术属性】
技术研发人员：王军，李天边，
申请(专利权)人：富韵声学科技深圳有限公司，
类型：发明
国别省市：