一种陪护机器人情绪识别方法、装置、存储介质及设备制造方法及图纸

本申请实施例公开一种陪护机器人情绪识别方法、装置、存储介质及设备，方法包括：基于图像情绪识别模型提取人脸图像中的人脸图像情绪特征；基于语音情绪识别模型提取语音信息和嘴巴图像中的语音情绪特征；基于文本情绪识别模型提取语音信息对应的文本信息进中的文本情绪特征；将上述三种情绪特征进行融合获得第一融合情绪特征；基于脉搏波情绪识别模型提取脉搏波中的脉搏波情绪特征，将脉搏波情绪特征与第一融合情绪特征进行融合获得第二融合情绪特征；根据图像情绪识别模型的图像情绪识别结果、语音情绪识别模型的语音情绪识别结果、文本情绪识别模型的文本情绪识别结果和脉搏波情绪识别模型的脉搏波情绪识别结果，确定目标情绪。目标情绪。目标情绪。

【技术实现步骤摘要】
一种陪护机器人情绪识别方法、装置、存储介质及设备


[0001]本申请实施例属于人工智能
，尤其涉及一种陪护机器人情绪识别方法、装置、存储介质及设备。

技术介绍

[0002]情感计算是陪护机器人中用于识别人的情绪的关键技术之一。目前出现的方法包括通过人脸微表情的识别方法，通过语音语调的识别方法等非生理信号识别方法，但这些方法都是出现在陪护机器人场景中一个单一信号源的应用，如仅通过人脸微表情识别情绪，或者仅通过人说话的语音语调识别情绪，而人类是非常复杂的，其很有可能因为某种原因掩盖自己内心的实际情绪，从而导致情绪识别错误。

技术实现思路

[0003]本申请提供了一种陪护机器人情绪识别方法、装置、存储介质及设备，能够提高情绪识别的准确性。
[0004]具体的技术方案如下：
[0005]第一方面，本申请实施例提供了一种陪护机器人情绪识别方法，所述方法包括：
[0006]基于图像情绪识别模型对目标人物的人脸图像进行特征提取，获得人脸图像情绪特征；
[0007]基于语音情绪识别模型对所述目标人物的语音信息和嘴巴图像进行特征提取，获得语音情绪特征；
[0008]基于文本情绪识别模型对所述语音信息对应的文本信息进行特征提取，获得文本情绪特征；
[0009]将所述人脸图像情绪特征、所述语音情绪特征以及所述文本情绪特征进行融合，获得第一融合情绪特征；
[0010]基于脉搏波情绪识别模型对所述目标人物的脉搏波进行特征提取，获得脉搏波情绪特征，并将所述脉搏波情绪特征与所述第一融合情绪特征进行融合，获得第二融合情绪特征；
[0011]分别获取所述图像情绪识别模型对所述人脸图像情绪特征进行情绪识别得到的图像情绪识别结果、所述语音情绪识别模型对所述语音情绪特征进行情绪识别得到的语音情绪识别结果、所述文本情绪识别模型对所述文本情绪特征进行情绪识别得到的文本情绪识别结果以及所述脉搏波情绪识别模型对所述第二融合情绪特征进行情绪识别得到的脉搏波情绪识别结果，其中，所述图像情绪识别结果、所述语音情绪识别结果、所述文本情绪识别结果和所述脉搏波情绪识别结果均包括各个情绪类别的概率；
[0012]根据所述图像情绪识别结果、所述语音情绪识别结果、所述文本情绪识别结果和所述脉搏波情绪识别结果，确定所述目标人物的目标情绪。
[0013]在一种实施方式中，所述将所述人脸图像情绪特征、所述语音情绪特征以及所述
文本情绪特征进行融合，获得第一融合情绪特征，包括：
[0014]根据预设卷积网络公式分别对所述人脸图像情绪特征、所述语音情绪特征、所述文本情绪特征进行处理，获得所述人脸图像情绪特征对应的第一卷积情绪特征、所述语音情绪特征对应的第二卷积情绪特征和所述文本情绪特征对应的第三卷积情绪特征；
[0015]将所述第一卷积情绪特征与所述第二卷积情绪特征进行拼接，获得第一拼接情绪特征，并根据所述预设卷积网络公式对拼接后的所述第一拼接情绪特征进行处理，获得第四卷积情绪特征；
[0016]将所述第三卷积情绪特征与所述第四卷积情绪特征进行拼接，获得第二拼接情绪特征，并根据所述预设卷积网络公式对所述第二拼接情绪特征进行处理，获得所述第一融合情绪特征；
[0017]其中，所述预设卷积网络公式包括：Y＝F(X)+X，所述Y表示所述预设卷积网络公式的计算结果，所述X表示被计算的情绪特征，所述F(X)表示根据卷积网络中的权重层和线性整流Relu函数确定的函数。
[0018]在一种实施方式中，所述将所述脉搏波情绪特征与所述第一融合情绪特征进行融合，获得第二融合情绪特征，包括：
[0019]根据所述预设卷积网络公式对所述脉搏波情绪特征进行处理，获得第五卷积情绪特征；
[0020]将所述第五卷积情绪特征与所述第一融合情绪特征进行拼接，获得所述第二融合情绪特征。
[0021]在一种实施方式中，所述基于语音情绪识别模型对所述目标人物的语音信息和嘴巴图像进行特征提取，获得语音情绪特征，包括：
[0022]基于所述语音情绪识别模型分别对所述语音信息、所述嘴巴图像进行特征提取，获得所述语音信息对应的语音子情绪特征，以及所述嘴巴图像对应的嘴巴图像情绪特征；
[0023]基于所述语音情绪识别模型对拼接后的所述语音子情绪特征与所述嘴巴图像情绪特征进行卷积处理，获得所述语音情绪特征。
[0024]在一种实施方式中，所述根据所述图像情绪识别结果、所述语音情绪识别结果、所述文本情绪识别结果和所述脉搏波情绪识别结果，确定所述目标人物的目标情绪，包括：
[0025]根据预设概率处理公式确定所述目标人物的所述目标情绪w；
[0026]所述预设概率处理公式包括：
[0027][0028]其中，
[0029][0030][0031][0032][0033]所述λ表示调整基于非生理信号模型情绪识别结果的权重，所述非生理信号模型包括所述图像情绪识别模型、所述语音情绪识别模型和所述文本情绪识别模型，所述
表示所述所述脉搏波情绪识别结果中第i种情绪的概率，所述n表示情绪类别的总数，所述P
image
表示所述图像情绪识别结果，所述表示所述图像情绪识别结果中第一种情绪的概率至第n种情绪的概率，所述P
voice
表示所述语音情绪识别结果，所述表示所述语音情绪识别结果中第一种情绪的概率至第n种情绪的概率，所述P
text
表示所述文本情绪识别结果，所述表示所述文本情绪识别结果中第一种情绪的概率至第n种情绪的概率。
[0034]第二方面，本申请实施例提供了一种陪护机器人情绪识别装置，所述装置包括：
[0035]第一提取单元，用于基于图像情绪识别模型对目标人物的人脸图像进行特征提取，获得人脸图像情绪特征；
[0036]第二提取单元，用于基于语音情绪识别模型对所述目标人物的语音信息和嘴巴图像进行特征提取，获得语音情绪特征；
[0037]第三提取单元，用于基于文本情绪识别模型对所述语音信息对应的文本信息进行特征提取，获得文本情绪特征；
[0038]第一融合单元，用于将所述人脸图像情绪特征、所述语音情绪特征以及所述文本情绪特征进行融合，获得第一融合情绪特征；
[0039]第四提取单元，用于基于脉搏波情绪识别模型对所述目标人物的脉搏波进行特征提取，获得脉搏波情绪特征；
[0040]第二融合单元，用于将所述脉搏波情绪特征与所述第一融合情绪特征进行融合，获得第二融合情绪特征；
[0041]获取单元，用于分别获取所述图像情绪识别模型对所述人脸图像情绪特征进行情绪识别得到的图像情绪识别结果、所述语音情绪识别模型对所述语音情绪特征进行情绪识别得到的语音情绪识别结果、所述文本情绪识别模型对所述文本情绪特征进行情绪识别得到的文本情绪识别结果以及所述脉搏波情绪识别模型对所述第二融合情绪特征进行情绪识别得到的脉搏波情绪识别结果，其中，所述图像情绪识别结果、所述语本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种陪护机器人情绪识别方法，其特征在于，所述方法包括：基于图像情绪识别模型对目标人物的人脸图像进行特征提取，获得人脸图像情绪特征；基于语音情绪识别模型对所述目标人物的语音信息和嘴巴图像进行特征提取，获得语音情绪特征；基于文本情绪识别模型对所述语音信息对应的文本信息进行特征提取，获得文本情绪特征；将所述人脸图像情绪特征、所述语音情绪特征以及所述文本情绪特征进行融合，获得第一融合情绪特征；基于脉搏波情绪识别模型对所述目标人物的脉搏波进行特征提取，获得脉搏波情绪特征，并将所述脉搏波情绪特征与所述第一融合情绪特征进行融合，获得第二融合情绪特征；分别获取所述图像情绪识别模型对所述人脸图像情绪特征进行情绪识别得到的图像情绪识别结果、所述语音情绪识别模型对所述语音情绪特征进行情绪识别得到的语音情绪识别结果、所述文本情绪识别模型对所述文本情绪特征进行情绪识别得到的文本情绪识别结果以及所述脉搏波情绪识别模型对所述第二融合情绪特征进行情绪识别得到的脉搏波情绪识别结果，其中，所述图像情绪识别结果、所述语音情绪识别结果、所述文本情绪识别结果和所述脉搏波情绪识别结果均包括各个情绪类别的概率；根据所述图像情绪识别结果、所述语音情绪识别结果、所述文本情绪识别结果和所述脉搏波情绪识别结果，确定所述目标人物的目标情绪。2.根据权利要求1所述的方法，其特征在于，所述将所述人脸图像情绪特征、所述语音情绪特征以及所述文本情绪特征进行融合，获得第一融合情绪特征，包括：根据预设卷积网络公式分别对所述人脸图像情绪特征、所述语音情绪特征、所述文本情绪特征进行处理，获得所述人脸图像情绪特征对应的第一卷积情绪特征、所述语音情绪特征对应的第二卷积情绪特征和所述文本情绪特征对应的第三卷积情绪特征；将所述第一卷积情绪特征与所述第二卷积情绪特征进行拼接，获得第一拼接情绪特征，并根据所述预设卷积网络公式对拼接后的所述第一拼接情绪特征进行处理，获得第四卷积情绪特征；将所述第三卷积情绪特征与所述第四卷积情绪特征进行拼接，获得第二拼接情绪特征，并根据所述预设卷积网络公式对所述第二拼接情绪特征进行处理，获得所述第一融合情绪特征；其中，所述预设卷积网络公式包括：Y＝F(X)+X，所述Y表示所述预设卷积网络公式的计算结果，所述X表示被计算的情绪特征，所述F(X)表示根据卷积网络中的权重层和线性整流Relu函数确定的函数。3.根据权利要求2所述的方法，其特征在于，所述将所述脉搏波情绪特征与所述第一融合情绪特征进行融合，获得第二融合情绪特征，包括：根据所述预设卷积网络公式对所述脉搏波情绪特征进行处理，获得第五卷积情绪特征；将所述第五卷积情绪特征与所述第一融合情绪特征进行拼接，获得所述第二融合情绪特征。
4.根据权利要求1所述的方法，其特征在于，所述基于语音情绪识别模型对所述目标人物的语音信息和嘴巴图像进行特征提取，获得语音情绪特征，包括：基于所述语音情绪识别模型分别对所述语音信息、所述嘴巴图像进行特征提取，获得所述语音信息对应的语音子情绪特征，以及所述嘴巴图像对应的嘴巴图像情绪特征；基于所述语音情绪识别模型对拼接后的所述语音子情绪特征与所述嘴巴图像情绪特征进行卷积处理，获得所述语音情绪特征。5.根据权利要求1
‑
4中任一项所述的方法，其特征在于，所述根据所述图像情绪识别结果、所述语音情绪识别结果、所述文本情绪识别结果和所述脉搏波情绪识别结果，确定所述目标人物的目标情绪，包括：根据预设概率处理公式确定所述目标人物的所述目标情绪w；所述预设概率处理公式包括：其中，其中，其中，其中，所述λ表示调整基于非生理信号模型情绪识别结果的权重，所述非生理信号模型包括所述图像情绪识别模型、所述语音情绪识别模型和所述文本情绪识别模型，所述表示所述所述脉搏波情绪识别结果中第i种情绪的概率，所述n表示情绪...

【专利技术属性】
技术研发人员：王方，秦建军，李欣，张艳娟，
申请(专利权)人：北京建筑大学，
类型：发明
国别省市：