一种基于惯性测量单元特征融合的语音识别方法技术

技术编号:46594300 阅读:3 留言:0更新日期:2025-10-10 21:27
本发明专利技术提出了一种基于惯性测量单元特征融合的语音识别方法,包括以下步骤:将加速度计和陀螺仪的六轴数据合并成RGB特征图,得到加速度计和陀螺仪的时频特征图;通过多层的CNN分别获取高层特征;加速度计和陀螺仪的高层特征分别通过通道注意力模块增强,再通过空间注意力权重对加速度计和陀螺仪的特征进行相互校准;对空间注意力校准过后的特征使用门控融合模块进行特征融合,融合特征过FPN模块,进行多尺度融合,最后通过分类器模块分类和识别。本发明专利技术通过融合加速度计和陀螺仪的多轴数据,可互补信息扩展有效感知范围,共同还原声音特征,实现在超低采样率下对无线耳机佩戴者人声与耳机扬声器声音的识别。

【技术实现步骤摘要】

本专利技术涉及无线感知与识别,具体为一种基于惯性测量单元特征融合的语音识别方法


技术介绍

1、随着无线耳机的普及和性能的不断提升,耳机内置的惯性测量单元imu已经成为无线耳机的重要组成部分,这些传感器为用户提供了丰富的功能,实现了更加智能化的用户体验。惯性测量单元imu通常由加速度计和陀螺仪组成,能够实时感知设备的运动状态和位置变化,加速度计用于测量设备在三维空间中的加速度,而陀螺仪则用于测量设备的角速度。这些传感器的高灵敏度和实时性使其成为智能手机不可或缺的组件。

2、imu传感器可以捕捉到通过固体介质传播的语音信号,无线耳机佩戴者说话时以及用耳机内置扬声器播放语音时,都会引起imu加速度计和陀螺仪的特殊振荡。在低采样率场景下,基于惯性测量单元的语音识别面临信号重叠干扰与信息丢失等多重挑战,传统单传感器或单模态处理方式难以兼顾特征完整性与语义识别精度。


技术实现思路

1、针对上述问题,本专利技术提出了一种基于惯性测量单元特征融合的语音识别方法,围绕传感器数据协同利用、网络架构优化及跨模态特征融本文档来自技高网...

【技术保护点】

1.一种基于惯性测量单元特征融合的语音识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于惯性测量单元特征融合的语音识别方法,其特征在于,S2的具体步骤为:

3.根据权利要求2所述的一种基于惯性测量单元特征融合的语音识别方法,其特征在于,S3的具体步骤为:

4.根据权利要求3所述的一种基于惯性测量单元特征融合的语音识别方法,其特征在于,S4的具体步骤为:

5.根据权利要求4所述的一种基于惯性测量单元特征融合的语音识别方法,其特征在于,S5的具体步骤为:

6.根据权利要求5所述的一种基于惯性测量单元特征融合的语音...

【技术特征摘要】

1.一种基于惯性测量单元特征融合的语音识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于惯性测量单元特征融合的语音识别方法,其特征在于,s2的具体步骤为:

3.根据权利要求2所述的一种基于惯性测量单元特征融合的语音识别方法,其特征在于,s3的具体步骤为:

4.根据权利要求3所述的一种基于惯性测量单元特征融合的语音识别方法,其特征在于,s4的具体步骤为:

5.根据权利要求4所述的一种基于惯性测量单元特征融合的语音识别方法,其特征在于,s5的具体步骤为:

6.根据权利要求5所述的一种基于惯性测量...

【专利技术属性】
技术研发人员:阿依佳肯·阿曼太高铭戴熠辰翟越凡郭政鑫肖甫
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1