多模态情感辨识系统及方法技术方案

本发明专利技术提供一种多模态情感辨识系统及方法，其中，系统包括，语音接收器，第一情感辨识子系统，第二情感辨识子系统，视觉图像接收器，第三情感辨识子系统，情感输出器；语音接收器，用于接收目标对象发出的语音信号；视觉图像接收器，用于接收关于目标对象的视觉图像数据；第一情感辨识子系统，用于根据语音信号获取第一情感辨识结果；第二情感辨识子系统，用于根据语音信号获取第二情感辨识结果；第三情感辨识子系统，用于根据视觉图像数据获取第三情感辨识结果；情感输出器，用于根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态。

【技术实现步骤摘要】

本专利技术涉及计算机处理技术，尤其涉及一种多模态情感辨识系统及方法。
技术介绍
目前，情感辨识机器通常通过采用文字识别技术，语音识别技术或视觉图像识别技术中的某一种技术对人类的情感进行辨识，这种情感辨识方式单一，进行情感辨识时所采用的信息量少，难以实现复杂情境下的人类情感辨识。
技术实现思路
本专利技术要解决的技术问题是提供一种多模态情感辨识系统及方法，融合文字识别技术，语音识别技术和视觉图像识别技术，同时从多个通道进行人类情感辨识，以使得情感辨识机器能够在人机交互过程中精准识别目标对象的情感。为解决上述技术问题，本专利技术提供的技术方案是：一方面，本专利技术提供一种多模态情感辨识系统，包括：语音接收器，第一情感辨识子系统，第二情感辨识子系统，视觉图像接收器，第三情感辨识子系统，情感输出器；语音接收器，用于接收目标对象发出的语音信号；视觉图像接收器，用于接收关于目标对象的视觉图像数据；第一情感辨识子系统，用于根据语音信号获取第一情感辨识结果；第二情感辨识子系统，用于根据语音信号获取第二情感辨识结果；第三情感辨识子系统，用于根据视觉图像数据获取第三情感辨识结果；情感输出器，用于根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态。进一步地，第一情感辨识子系统，具体包括，情感显著性分割器，第一情感辨识器；情感显著性分割器，用于对语音接收器的语音信号提取声学韵律特征；第一情感辨识器，用于根据声学韵律特征获取语音信号的第一情感辨识结果；第二情感辨识子系统，具体包括，语音识别器，语句特征值提取器，第二情感辨识器；语音识别器，用于将语音接收器的语音信号转换成文字序列；语句特征值提取器，用于提取文字序列中的语句特征值；第二情感辨识器，用于根据语句特征值获取语音信号的第二情感辨识结果；第三情感辨识子系统，具体包括，人脸识别跟踪器，人体识别跟踪器，面部表情特征提取器，身体动作特征提取器，第三情感辨识器；人脸识别跟踪器，用于识别并跟踪视觉图像数据中的人脸数据；人体识别跟踪器，用于识别并跟踪视觉图像数据中的包括头部在内的整个人体数据；面部表情特征提取器，用于提取人脸数据中的脸部关键点，并根据脸部关键点获取面部表情特征值；身体动作特征提取器，用于提取人体数据中的身体动作关键点，并根据身体动作关键点获取身体动作特征值；第三情感辨识器，用于根据面部表情特征值和身体动作特征值获取视觉图像数据的第三情感识别结果；情感输出器，用于根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态。进一步地，第一情感辨识器，根据声学韵律特征获取语音信号的第一情感辨识结果，具体包括，第一情感辨识器，将声学韵律特征代入预先构建的类脑机器学习模型中，以获取类神经语音特征，并将类神经语音特征代入预先存储的情感模型，以获得语音信号的第一情感以及第一情感所对应的第一情感识别置信度。进一步地，声学韵律特征包括，音高、强度、音质，声谱，倒谱，线性感知预测倒谱系数，方均根强度，过零率，频谱流，频谱质心，频带宽度，频谱商，频谱平坦度，频谱斜度，频谱尖度，声音色度，频谱衰减点，频谱斜率，单频泛音，声音机率，声音共振峰，语音爬升点，频谱包络。进一步地，语句特征值提取器，提取文字序列中的语句特征值，具体包括，对文字序列进行分词处理以获得分词特征值，对文字序列进行词语类别分析以获得词语类别特征值，以及对文字序列进行句型句法分析以获得句型句法特征值；第二情感辨识器，根据语句特征值获取语音信号的第二情感辨识结果，具体包括，第二情感辨识器，将语句特征值中的分词特征值，词语类别特征值和句型句法特征值，输入预先构建的文本情感辨识模型中，以获取语音信号的第二情感以及第二情感所对应的第二情感识别置信度。进一步地，第三情感辨识器，根据面部表情特征值和身体动作特征值获取视觉图像数据的第三情感识别结果，具体包括，第三情感辨识器，将面部表情特征值和身体动作特征值代入预先构建的情感分类器中，以获得视觉图像数据的第三情感以及第三情感所对应的第三情感识别置信度。进一步地，情感输出器，根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态，具体包括，在第一情感辨识结果的第一情感识别置信度，第二情感辨识结果的第二情感识别置信度，第三情感辨识结果的第三情感识别置信度中，任一情感识别置信度大于或等于设定阈值时，将此情感识别置信度所对应的情感判定为目标对象的情感状态；在第一情感辨识结果的第一情感识别置信度，第二情感辨识结果的第二情感识别置信度，第三情感辨识结果的第三情感识别置信度，均小于设定阈值时，则按照预设的权重规则，给第一情感辨识结果的第一情感，第二情感辨识结果的第二情感和第三情感辨识结果的第三情感分别计算情感标签，以获得第一情感标签，第二情感标签，第三情感标签；根据第一情感标签，第二情感标签，第三情感标签，以及根据预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态。另一方面，本专利技术提供一种多模态情感辨识方法，包括：语音接收器接收目标对象发出的语音信号；视觉图像接收器接收关于目标对象的视觉图像数据；第一情感辨识子系统根据语音信号获取第一情感辨识结果；第二情感辨识子系统根据语音信号获取第二情感辨识结果；第三情感辨识子系统根据视觉图像数据获取第三情感辨识结果；情感输出器根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态。进一步地，第一情感辨识子系统根据语音信号获取第一情感辨识结果，具体包括，对语音接收器的语音信号提取声学韵律特征；根据声学韵律特征获取语音信号的第一情感辨识结果；第二情感辨识子系统根据语音信号获取第二情感辨识结果，具体包括，将语音接收器的语音信号转换成文字序列；提取文字序列中的语句特征值；根据语句特征值获取语音信号的第二情感辨识结果；第三情感辨识子系统根据视觉图像数据获取第三情感辨识结果，具体包括，识别并跟踪视觉图像数据中的人脸数据；识别并跟踪视觉图像数据中的包括头部在内的整个人体数据；提取人脸数据中的脸部关键点，并根据脸部关键点获取面部表情特征值；提取人体数据中的身体动作关键点，并根据身体动作关键点获取身体动作特征值；根据面部表情特征值和身体动作特征值获取视觉图像数据的第三情感识别结果；情感输出器根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果确定出目标对象的情感状态，具体包括，根据第一情感辨识结果，第二情感辨识结果和第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出目标对象的情感状态。进一步地，声学韵律特征包括，音高、强度、音质，声谱，倒谱，线性感知预测倒谱系数，方均根强度，过零率，频谱流，频谱质心，频带宽度，频谱商，频谱平坦度，频谱斜度，频谱尖度，声音色度，频谱衰减点，频谱斜率，单频泛音，声音机率，声音共振峰，语音爬升点，频谱包络。本专利技术提供的多模态情感辨识系统及方法，融合文字识别技术，语音识别技术和视觉图像识别技术，同时从多个通道进行人类情感辨识，可以使得情感辨识机器能够在人机交互过程中精准识别目标对象的情感。附图说明图1是本专利技术实施例提供的多模态情感辨识系统的框图；图2是本专利技术实本文档来自技高网...

【技术保护点】
一种多模态情感辨识系统，其特征在于，包括：语音接收器，第一情感辨识子系统，第二情感辨识子系统，视觉图像接收器，第三情感辨识子系统，情感输出器；所述语音接收器，用于接收目标对象发出的语音信号；所述视觉图像接收器，用于接收关于所述目标对象的视觉图像数据；所述第一情感辨识子系统，用于根据所述语音信号获取第一情感辨识结果；所述第二情感辨识子系统，用于根据所述语音信号获取第二情感辨识结果；所述第三情感辨识子系统，用于根据所述视觉图像数据获取第三情感辨识结果；所述情感输出器，用于根据所述第一情感辨识结果，所述第二情感辨识结果和所述第三情感辨识结果确定出所述目标对象的情感状态。

【技术特征摘要】
1.一种多模态情感辨识系统，其特征在于，包括：语音接收器，第一情感辨识子系统，第二情感辨识子系统，视觉图像接收器，第三情感辨识子系统，情感输出器；所述语音接收器，用于接收目标对象发出的语音信号；所述视觉图像接收器，用于接收关于所述目标对象的视觉图像数据；所述第一情感辨识子系统，用于根据所述语音信号获取第一情感辨识结果；所述第二情感辨识子系统，用于根据所述语音信号获取第二情感辨识结果；所述第三情感辨识子系统，用于根据所述视觉图像数据获取第三情感辨识结果；所述情感输出器，用于根据所述第一情感辨识结果，所述第二情感辨识结果和所述第三情感辨识结果确定出所述目标对象的情感状态。2.根据权利要求1所述的多模态情感辨识系统，其特征在于，所述第一情感辨识子系统，具体包括，情感显著性分割器，第一情感辨识器；所述情感显著性分割器，用于对所述语音接收器的所述语音信号提取声学韵律特征；所述第一情感辨识器，用于根据所述声学韵律特征获取所述语音信号的所述第一情感辨识结果；所述第二情感辨识子系统，具体包括，语音识别器，语句特征值提取器，第二情感辨识器；所述语音识别器，用于将所述语音接收器的所述语音信号转换成文字序列；所述语句特征值提取器，用于提取所述文字序列中的语句特征值；所述第二情感辨识器，用于根据所述语句特征值获取所述语音信号的所述第二情感辨识结果；所述第三情感辨识子系统，具体包括，人脸识别跟踪器，人体识别跟踪器，面部表情特征提取器，身体动作特征提取器，第三情感辨识器；所述人脸识别跟踪器，用于识别并跟踪所述视觉图像数据中的人脸数据；所述人体识别跟踪器，用于识别并跟踪所述视觉图像数据中的包括头部在内的整个人体数据；所述面部表情特征提取器，用于提取所述人脸数据中的脸部关键点，并根据所述脸部关键点获取面部表情特征值；所述身体动作特征提取器，用于提取所述人体数据中的身体动作关键点，并根据所述身体动作关键点获取身体动作特征值；所述第三情感辨识器，用于根据所述面部表情特征值和所述身体动作特征值获取所述视觉图像数据的第三情感识别结果；所述情感输出器，用于根据所述第一情感辨识结果，所述第二情感辨识结果和所述第三情感辨识结果，以及预先构建的心理行为学映射关系图谱，确定出所述目标对象的情感状态。3.根据权利要求2所述的多模态情感辨识系统，其特征在于，所述第一情感辨识器，根据所述声学韵律特征获取所述语音信号的所述第一情感辨识结果，具体包括，所述第一情感辨识器，将所述声学韵律特征代入预先构建的类脑机器学习模型中，以获取类神经语音特征，并将所述类神经语音特征代入预先存储的情感模型，以获得所述语音信号的第一情感以及所述第一情感所对应的第一情感识别置信度。4.根据权利要求3所述的多模态情感辨识系统，其特征在于，所述声学韵律特征包括，音高、强度、音质，声谱，倒谱，线性感知预测倒谱系数，方均根强度，过零率，频谱流，频谱质心，频带宽度，频谱商，频谱平坦度，频谱斜度，频谱尖度，声音色度，频谱衰减点，频谱斜率，单频泛音，声音机率，声音共振峰，语音爬升点，频谱包络。5.根据权利要求2所述的多模态情感辨识系统，其特征在于，所述语句特征值提取器，提取所述文字序列中的语句特征值，具体包括，对所述文字序列进行分词处理以获得分词特征值，对所述文字序列进行词语类别分析以获得词语类别特征值，以及对所述文字序列进行句型句法分析以获得句型句法特征值；所述第二情感辨识器，根据所述语句特征值获取所述语音信号的所述第二情感辨识结果，具体包括，所述第二情感辨识器，将所述语句特征值中的所述分词特征值，所述词语类别特征值和所述句型句法特征值，输入预先构建的文本情感辨识模型中，以获取所述语音信号的第二情感以及所述第二情感所对应的第二情感识...

【专利技术属性】
技术研发人员：简仁贤，杨闵淳，林志豪，孙廷伟，
申请(专利权)人：竹间智能科技上海有限公司，
类型：发明
国别省市：上海;31