情绪识别方法、装置及计算机可读存储介质制造方法及图纸

本方案涉及人工智能，提供一种情绪识别方法、装置及计算机可读存储介质，方法包括：接收音频数据，针对音频数据生成语音频谱图，并将语音频谱图输入到第一识别模块，音频数据则输入到第二识别模块，其中，第一识别模块采用依次连接的DCNN、RNN网络来提取出第一特征向量，第二识别模块从音频数据中提取MFCC，MFCC通过非线性变换成为第二特征向量；将第一、第二识别模块输出的第一、第二特征向量连接起来组成联合特征并依次输入全连接层、softmax层，进行情绪识别。本方案DCNN、RNN结合有助于模拟微妙的局部情绪线索，MFCC在短时间内描述语音特征，通过两种特征提取方式，捕获更多情绪相关特征，提高情绪识别率。

Emotion Recognition Method, Device and Computer Readable Storage Media

This scheme involves artificial intelligence and provides an emotional recognition method, device and computer readable storage medium. The method includes: receiving audio data, generating speech spectrum for audio data, and inputting speech spectrum into the first recognition module, while audio data into the second recognition module. The first recognition module is extracted by sequentially connected DCNN and RNN networks. The first eigenvector is obtained, and the second recognition module extracts MFCC from audio data. MFCC is transformed into the second eigenvector by non-linear transformation. The first and second eigenvectors of the first and second recognition modules are connected to form a joint feature and input into the full connection layer and the soft Max layer in turn for emotional recognition. The combination of DCNN and RNN is helpful to simulate delicate local emotional cues. MFCC describes speech features in a short time. Through two feature extraction methods, more emotional features can be captured and the recognition rate can be improved.

【技术实现步骤摘要】
情绪识别方法、装置及计算机可读存储介质
本专利技术涉及人工智能，具体地说，涉及一种情绪识别方法、装置及计算机可读存储介质。
技术介绍
事故调查是在发生各类事故后一个非常重要的步骤，人们需要通过这一步来弄清事故发生的人为和外界原因，并发布调查报告，来提醒他人来避免再发生此类悲剧。而在许多大型事故中，以空难为例，关键当事人很有可能在事故中遇难，这就为调查工作带来了很大的困难。调查人员不得不通过事故现场的残骸以及黑匣子中的信息来推断出事故发生的原因。现代飞机所使用的黑匣子中，一个非常重要的内容就是驾驶室录音，该录音记录了飞机从起飞到发生事故这一时间段内驾驶室的一切对话和异常声音。而对于情绪识别，目前是采用例如基于上下文语义来识别，也就是说，是通过对于语音中文字的含义分析来判断说话的人的情绪。而对于语音来说，其不仅是在文字中表达了情绪，还在例如语调、说话的频率、呼吸快慢都可能包含着说话者的情绪。而对于这方面，目前没有能够综合考虑语义和语音特征的方法。
技术实现思路
为解决以上技术问题，本专利技术提供一种情绪识别方法，应用于电子装置，包括以下步骤：接收音频数据，针对音频数据生成语音频谱图，并将语音本文档来自技高网...

【技术保护点】
1.一种情绪识别方法，应用于电子装置，其特征在于，包括以下步骤：接收音频数据，针对音频数据生成语音频谱图，并将语音频谱图输入到第一识别模块，而音频数据则输入到第二识别模块，其中，第一识别模块采用依次连接的DCNN、RNN网络来提取出第一特征向量，第二识别模块从音频数据中提取MFCC，所述MFCC通过非线性变换成为第二特征向量；将第一识别模块、第二识别模块输出的第一特征向量、第二特征向量连接起来组成联合特征，将联合特征依次输入全连接层、softmax层，进行情绪识别。

【技术特征摘要】
1.一种情绪识别方法，应用于电子装置，其特征在于，包括以下步骤：接收音频数据，针对音频数据生成语音频谱图，并将语音频谱图输入到第一识别模块，而音频数据则输入到第二识别模块，其中，第一识别模块采用依次连接的DCNN、RNN网络来提取出第一特征向量，第二识别模块从音频数据中提取MFCC，所述MFCC通过非线性变换成为第二特征向量；将第一识别模块、第二识别模块输出的第一特征向量、第二特征向量连接起来组成联合特征，将联合特征依次输入全连接层、softmax层，进行情绪识别。2.如权利要求1所述的情绪识别方法，其特征在于：在第一识别模块中，将语音频谱图分割为多段，形成多个分段频谱图，将分段频谱图输入到DCNN网络，DCNN网络包括依次连接的一个或多个卷积层，构成卷积特征提取器，特征提取器对输入的多个分段频谱图进行卷积，生成多个特征图谱。3.如权利要求2所述的情绪识别方法，其特征在于：在DCNN网络的卷积层之间还包括用以减小输出大小和降低过拟合的池化层。4.如权利要求3所述的情绪识别方法，其特征在于：RNN网络采用LSTM模型，计算LSTM输出的平均池化、最大池化和最小池化，并将平均池化、最大池化和最小池化连接成第一特征向量。5.如权利要求1所述的情绪识别方法，其特征在于：在第二识别模块中，将音频数据分割成帧，提取每帧的MFCC特征向量，采用三个依次连接的全连接层将各帧的MFCC特征向量依次映射到低维的特征空间，从而形成第二特征向量。6.如权利要求5所述的情绪识别方法，其特征在于：提取MFCC特征...

【专利技术属性】
技术研发人员：彭俊清，王健宗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44