基于多模态信号的情感识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及语音语义技术，揭露了一种基于多模态信号的情感识别方法，包括：获取用户的语音、文本及脚步声三种模态的信息，分别对语音、文本及脚步声进行特征提取，根据提取的特征预测用户在三种模态下的情感状态，并结合用户在三种模态下的情感状态进行融合决策，以最终确定用户的情感状态。此外，本发明专利技术还涉及区块链技术，用户的语音、文本及脚步声的信息可存储于区块链的节点。本发明专利技术还提出一种基于多模态信号的情感识别装置、电子设备以及存储介质。本发明专利技术可以提高情感识别的精确度。本发明专利技术可以提高情感识别的精确度。本发明专利技术可以提高情感识别的精确度。

【技术实现步骤摘要】
基于多模态信号的情感识别方法、装置、设备及存储介质


[0001]本专利技术涉及语音语义
，尤其涉及一种基于多模态信号的情感识别方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]近年来，随着人工智能技术的不断发展，高精度的人机交互日益受到研究者的重视，它不仅要求计算机理解用户的情感和意图，而且需要对不同用户、不同环境、不同任务给予不同的反馈和支持，这就需要计算机理解用户的情感，并有效地表达出来。
[0003]现阶段情感识别多为基于表情，语音，肢体和脑电的情感识别，其中，关于声音的情感识别主要为语言类声音，即人的话语，可以分为语音和文本，目前已有大量的基于语音和文本的情感识别，但是对于其他包含情感和状态的非语言类声音，如脚步声、呼吸声等却很少有效利用，通常作为噪声去除掉了，导致声音中大量关于情感的信息丢失，难以完整地反映情感状态。

技术实现思路

[0004]本专利技术提供一种基于多模态信号的情感识别方法、装置及计算机可读存储介质，其主要目的在于解决进行情感识别的精确度较低的问题。r/>[0005]为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态信号的情感识别方法，其特征在于，所述方法包括：获取用户的语音信息，提取所述语音信息中的语音特征；识别所述语音信息的文本内容，将所述文本内容转换为文本向量矩阵，并从所述文本向量矩阵中提取所述文本内容的文本特征；获取用户的脚步声信号，将所述脚步声信号转换为梅尔频率，并对所述梅尔频率进行声谱分析，得到脚步声特征；分别利用预先训练的激活函数计算所述语音特征、所述文本特征和所述脚步声特征与预设的多个情感标签的相对概率值；根据所述相对概率值计算每一个情感标签的得分，确定得分最高的情感标签为所述用户的情感状态。2.如权利要求1所述的基于多模态信号的情感识别方法，其特征在于，所述提取所述语音信息中的语音特征，包括：对所述语音信息进行分帧加窗，得到多个语音帧，并从所述多个语音帧中逐个选取其中一个语音帧为目标语音帧；将所述目标语音帧映射为语音时域图，统计所述语音时域图的峰值、幅值、均值和过零率，根据所述幅值计算帧能量，并将所述峰值、所述幅值、所述均值、所述帧能量及所述过零率汇集为时域特征；利用预设滤波器将所述语音信息转换为谱域图，统计所述谱域图的谱域密度、谱熵和共振峰参数，得到谱域特征；通过傅里叶逆变换将所述谱域图转换为倒谱域图，统计所述倒谱域图的倒谱域密度、倒谱熵和倒谱周期，得到所述到谱域特征；汇集所述时域特征、所述谱域特征和所述倒谱域特征汇集为语音特征。3.如权利要求1所述的基于多模态信号的情感识别方法，其特征在于，所述将所述文本内容转换为文本向量矩阵，包括：对所述文本内容进行分词处理，得到多个文本分词；从所述多个文本分词中逐个选取其中一个文本分词为目标分词，并统计所述目标分词和所述目标分词的相邻文本分词在所述目标分词的预设邻域范围内共同出现的共现次数；利用每一个文本分词对应的共现次数构建共现矩阵；分别将所述多个文本分词转换为词向量，将所述词向量拼接为向量矩阵；利用所述共现矩阵和所述向量矩阵进行乘积运算，得到文本向量矩阵。4.如权利要求3所述的基于多模态信号的情感识别方法，其特征在于，所述从所述文本向量矩阵中提取所述文本内容的文本特征，包括：从所述多个文本分词中逐个选取其中一个文本分词为目标分词，根据所述目标分词的词向量及所述文本向量矩阵，计算所述目标分词的关键值；按照所述关键值从大到小的顺序从所述多个文本分词中选取预设数量的文本分词为特征分词；将所述特征分词的词向量拼接得到所述文本内容的文本特征。5.如权利要求1所述的基于多模态信号的情感识别方法，其特征在于，所述将所述脚步声信号转换为...

【专利技术属性】
技术研发人员：彭俊清，王健宗，刘源，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：