【技术实现步骤摘要】
基于中文语音和文本的情感识别系统及方法
[0001]本专利技术涉及情感识别
，具体涉及一种基于中文语音和文本的情感识别系统及方法。
技术介绍
[0002]情感识别是人机交互的重要组成部分，现阶段，不同的情感识别运用到不同领域，如远程教学，辅助驾驶，心理诊断等。准确的情感识别有利于更好的情感反馈和辅助相关任务的完成。然而人类情感的表达并不是由单一状态决定的，在复杂的多样的环境中，情感的表达方式也是多种多样，因此这给情感识别任务带来了极大的挑战。情感的持续时间长短不一并且不同人的表达和感知情绪的方式各异，有效地提升情感识别地鲁棒性和准确性是研究者追求的目标。中文相比于英文，结构复杂，表达多样化，情感关键词的提取也较为困难，且数据库较少。这些因素加大了对中文情感识别的困难，所以对中文进行情感识别具有一定的挑战性。
技术实现思路
[0003]本专利技术的目的是针对现有技术存在的问题，提供一种基于中文语音和文本的情感识别系统及方法。
[0004]为了实现上述目的，本专利技术采用以下技术方案：
[0...
【技术保护点】
【技术特征摘要】
1.一种基于中文语音和文本的情感识别系统，其特征在于，包括依次连接的语音和文本信息提取单元、预处理操作单元和特征提取单元，语音和文本信息提取单元基于神经网络将获取的语音信息转换成相应的文本信息；预处理操作单元用于对原始的语音信息经过预加重、分帧和加窗处理被转换成梅尔频率倒谱系数MFCC，对文本信息进行分词和去停用词处理后，通过word2vec建立词典获得词向量；特征提取单元3用于梅尔频率倒谱系数MFCC和词向量的特征提取和融合，从而获取最后的情感识别结果；所述特征提取单元包括依次连接的主模块、并联卷积模块和记忆网络，其中，主模块包括语音预处理单元和文本预处理单元，语音预处理单元用于对梅尔频率倒谱系数MFCC进行处理得到语音信息的浅层特征，文本预处理单元用于对词向量的进行处理得到文本信息的浅层特征，语音信息的浅层特征和文本信息的浅层特征的输出通道和大小保持一致，并联卷积模块包括结构相同的第一并联卷积模块、第二并联卷积模块和第三并联卷积模块，第一并联卷积模块与语音预处理单元连接，用于对语音信息的浅层特征进行进一步的语音特征提取，第二并联卷积模块与文本预处理单元连接，用于对文本信息的浅层特征进行进一步的文本特征提取，第一并联卷积模块、第二并联卷积模块输出端均与第三并联卷积模块连接，第三并联卷积模块用于将第一并联卷积模块和第二并联卷积模块提取的特征拼接后进行深层特征提取。2.根据权利要求1所述的基于中文语音和文本的情感识别系统，所述语音预处理单元由传统卷积层、第一深度可分离卷积层、池化层和第二深度可分离卷积层依次连接而成。3.根据权利要求2所述的基于中文语音和文本的情感识别系统，文本预处理单元由依次连接的嵌入层和双向长短时记忆网络组成。4.根据权利要求3所述的基于中文语音和文本的情感识别系统，第一并联卷积模块、第二并联卷积模块和第三并联卷积模块结构相同，均包括并联的深度卷积模块、普通卷积模块和池化卷积模块，所述深度卷积模块包括深度可分离卷积层、LeakyReLU激活函数和批量归一化层，所述普通卷积模块包括传统卷积层、LeakyReLU激活函数和批量归一化层，池化卷积模块包括池化层，普通卷积模块和池化卷积模块提取到的特征通过拼接融合方式得到新的特征，拼接后的特征和深度卷积模块提取到的特征通过相加融合的方式提取到最终的特征。5.根据权利要求6所述的基于中文语音和文本的情感识别系统，记忆网络其包括依次连接的第一双向长短时记忆网络、第二双向长短时记忆网络和注意力机制，第一双向长短时记忆网络和第二双向长短时记忆网络结构相同，用于获取上下文信息，确保时序信息的连续性，注意力机制用于突出需要注意的部分，抑制其他无用信息，快速提取重要的数据特征。6.一种基于中文语音和文本的情感识别方法，其特征在于，具备包括以下步骤：S1、语音和文本信息提取单元通过麦克风获取外界输入的声音并经过简单的神经网络提取出相应的语音信息，利用神经网络将获取到的声音转换成相应的文本信息；S2、然后，将获取的语音信息和文本信息分别送入相应的预处理操作单元进行预处理操作；语音信息经过预加重、分帧和加窗处理被转换成梅尔频率倒谱系数MFCC；原始的文本信号经过分词和去停用词处理后，通过word2vec建立词典获得词向量。S3、最后，将处理后的语音和文本信息送入特征提取单元中，进行相应的特征提取，从
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。