基于音频信号的轻量化多特征提取情感识别系统及方法技术方案

技术编号:42417007 阅读:17 留言:0更新日期:2024-08-16 16:33
本发明专利技术提出了一种基于音频信号的轻量化多特征提取情感识别系统及方法,该系统包括:预处理模块,用于对原始的音频信号进行预处理,输出原始信号的频域信息;梅尔滤波器组处理模块,用于将原始信号的频域信息转换为梅尔时频谱图;多特征提取模块,用于提取梅尔时频谱图中的特征;金字塔Transformer,用于接收多特征提取模块输出的多特征并输出高维编码特征;及全连接层,用于对金字塔Transformer输出的高维编码特征进行最终分类。本发明专利技术可充分提取信号频谱图的特征信息,从而提升信号分类识别精度。

【技术实现步骤摘要】

本专利技术属于音频信号分类识别领域,尤其涉及一种基于音频信号的轻量化多特征提取情感识别系统及方法


技术介绍

1、语音信号是人类之间最自然的交流方式。研究人员一直致力于将这种方式应用于人机交互领域。然而,这需要机器智能地解释人类的口语短语,并从语义上理解它。尽管语音识别技术取得了巨大进步,但要使这一过程成为人机之间的自然交互,仍需付出大量努力。实现这一目标的一个重大挑战是,机器无法理解隐藏在口语背后的情感状态。在这种情况下,语音情感识别是指通过分析说话者的语音来识别其情感状态。人们认为,语音情感识别可用于从语音中提取有用的语义,并提高语音识别系统的性能。

2、在自然人机交互领域,如网络电影推荐和计算机辅助应用中,系统的反应取决于用户的情绪。它还可用于车载板系统,根据需要向系统提供驾驶员的精神状况信息,以启动安全程序。此外,语音情绪识别在医学上的应用还包括为治疗师提供诊断工具。在飞机驾驶舱中,与使用正常语音训练的系统相比,使用紧张语音训练的语音识别系统能显示出更好的效果。其他应用还包括根据语音数据和其他移动通信领域的人类情绪分析,确定紧急呼叫中心本文档来自技高网...

【技术保护点】

1.一种基于音频信号的轻量化多特征提取情感识别系统,其特征在于,包括:

2.根据权利要求1所述的基于音频信号的轻量化多特征提取情感识别系统,其特征在于,所述多特征提取模块包括:快捷连接层和复合层,并行设置,其输出端拼接在一起;

3.根据权利要求2所述的基于音频信号的轻量化多特征提取情感识别系统,其特征在于,所述快捷连接层,用于拟合上一层的残差投影以防止权重衰减,其包括依次连接的深度可分离卷积、1X1卷积层、激活函数层、归一化处理层。

4.根据权利要求2所述的基于音频信号的轻量化多特征提取情感识别系统,其特征在于,所述金字塔Transformer包括依次...

【技术特征摘要】

1.一种基于音频信号的轻量化多特征提取情感识别系统,其特征在于,包括:

2.根据权利要求1所述的基于音频信号的轻量化多特征提取情感识别系统,其特征在于,所述多特征提取模块包括:快捷连接层和复合层,并行设置,其输出端拼接在一起;

3.根据权利要求2所述的基于音频信号的轻量化多特征提取情感识别系统,其特征在于,所述快捷连接层,用于拟合上一层的残差投影以防止权重衰减,其包括依次连接的深度可分离卷积、1x...

【专利技术属性】
技术研发人员:董志伟王彩玲
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1