沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置制造方法及图纸

本发明专利技术提供一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法及其装置，该方法包括：步骤一、在实验环境中进行情绪诱发实验；步骤二、在实验环境中受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集受训者的生物信号，利用SAM自我评估人体模型对图片进行量化评分；步骤二、将量化评分定位在valence‑arousal二维情绪模型进行映射，确定量化评分对应的情绪种类；步骤三、以情绪种类作为标签将受训者的生理信号投入识别卷积神经网络模型，训练得到情绪模型；步骤四，获取测试者的个人生物信号导入情绪模型中，识别测试者的情绪类别。

【技术实现步骤摘要】
沉浸式虚拟环境、多模态生理信号的情绪识别方法及装置
本专利技术涉及情绪识别领域，尤其涉及一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法及其装置。
技术介绍
现有技术中，机器人技术在完成某项任务的过程中，没有考虑到人的主观感受和心理上的需求。人们已经不仅仅满足于命令机器人做一些机械性的、简单的操作，如果机器人能够识别人的情绪并根据人的情绪做出符合人意愿的调节，那么人与机器人之间的交互将变得更加和谐。目前的情绪识别方法基于表情、语音语调和姿态姿势进行情绪识别，往往不能真实感知人的情感态度，虽然生理信号的情绪识别具有更强的准确性与鲁棒性，但是单一模态的生理信号准确率较低。同时单模态的生理数据对情绪的表达存在一定限制，每个模态对于不同情绪的敏感度存在差异。因此，如何提供一种准确率高、适应性好的情绪识别方法和装置，是本领域技术人员亟待解决的技术问题。
技术实现思路
为了解决上述问题，本专利技术提供一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，该方法包括以下步骤：步骤一、在实验环境中以受训者与障碍物之间的距离作为诱发变量进行情绪诱发实验，诱发所述受训者进行情绪表达；步骤二、所述受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集所述受训者观看所述图片时的生物信号，所述受训者利用SAM自我评估人体模型对所述图片进行量化评分；步骤三、将所述量化评分定位在valence-arousal二维情绪模型进行映射，确定所述量化评分对应的情绪种类；步骤四、以所述情绪种类作为标签将所述受训者的生理信号投入识别卷积神经网络模型，设置最大迭代次数、学习率、激活函数、Dropout比率和损失函数，训练得到情绪模型；步骤五，获取测试者的个人生物信号，将所述个人生物信号导入所述情绪模型中，识别所述测试者的情绪类别。在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，在所述步骤一之前还包括筛选所述受训者的步骤：筛选所述受训者，从所述国际情感图片系统随机选出受训图片，所述观看者利用SAM自我评估人体模型对所述图片进行第一量化评分；当所述第一量化评分在所述受训图片的标准评分的方差范围内，则所述观看者为受训者。在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，在筛选所述受训者的步骤之后还包括培训所述受训者的步骤：培训所述受训者，从所述国际情感图片系统随机选出培训图片，所述受训者观看所述培训图片，利用SAM自我评估人体模型对所述图片进行第二量化评分，当所述第二量化评分在所述培训图片的标准评分的方差值80％范围内，则所述受训者培训合格。在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述步骤三中，所述学习率为0.005，所述迭代次数为300，所述激活函数为ReLu，所述Dropout比率为0.6，所述损失函数为交叉熵函数。在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述步骤四中，采用三个并联卷积层提取所述数据集的特征图，3个所述并联卷积层的卷积核窗口大小为3*4、4*4和5*4，3个所述并联卷积层的卷积核均为128个；采用最大池化的方式对所述特征图进行池化，得到3个最大池化的特征图，核大小为2*4；利用拼接的方法，将所述特征图拼接成一个特征向量；全连接层中，使用Dropout方法按一定比例使一部分神经元的权值向量失效，概率p＝0.6；最后在softmax分类函数得出分类结果。在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述步骤一和所述步骤二之间还包括将所述步骤一中采集到的数据集分成训练子集和测试子集；所述步骤二中训练并构建识别卷积神经网络模型的过程为：进行参数的随机初始化；输入所述训练子集，计算所述训练子集的预测值与真实值的交叉熵损失值来更新所述识别卷积神经网络模型的权值和偏置，当损失值低于阈值时，输出的识别卷积神经网络模为训练后的所述识别卷积神经网络模；训练后的所述识别卷积神经网络模能对测试子集进行结果的预测。在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述实验环境为：在10m*20m的虚拟室内场景中，所述受训者坐在智能移动设备，佩戴虚拟现实设备观看所述图片；所述受训者平复心情2min，利用SAM自我评估人体模型对所述图片进行量化评分，休息10min，进行下次实验。在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述诱发实验为：所述受训者坐在所述智能移动设备上佩戴所述戴虚拟现实设备，所述虚拟现实设备显示虚拟实验场景，在所述虚拟实验场景中设置与所述智能移动设备同步运动的虚拟移动设置，在所述虚拟实验场景中所述虚拟移动设备按照特定路径移动，途径障碍物，所述障碍物与所述移动路径之间的垂直距离作为变量，进行诱发实验；其中，所述虚拟移动设备的移动速度为0.1m/s～0.8m/s，所述移动路径的长度值为8m；所述变量为0.2m、0.3m、0.4m、0.5m、0.6m、0.7m和0.8m；所述受训者按照不同的变量进行实验。在某些实施方式中，所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法中，所述生物信号包括心电信号、肌电信号、皮肤电导信号和脑前额叶血氧含量。本专利技术另一方面提供一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法进行情绪识别的装置，该装置包括：数据库，其存储有国际情感图片系统的彩色照片和训练好的情绪模型；智能移动装置，所述使用者能控制所述移动装置移动；虚拟现实设备；生物信号采集模块，其用于采集所述使用者的心电信号、肌电信号、皮肤电导信号和脑前额叶血氧含量；所述生物信号采集模块包括多通道生理信号采集仪器和功能性近红外光谱。有益效果：1、本专利技术所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，克服了传统的情绪建模所检测的生理信号单一，对情绪识别的精度不够高的问题。2、本专利技术所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，使用深度学习中的卷积神经网络(CNN)把四个原本为单模态的生理信号联系在一起，先在卷积层将原始信号特征增强和降低噪声，然后在池化层对数据进行采样，降维和二次特征提取的作用，最后由网络进行输出，大幅度的提高了准确率。附图说明图1是本专利技术所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法的流程图。图2是本专利技术实施例中智能移动装置与虚拟轮椅驱动同步运动的上位机程序流程图。图3是本专利技术实施例中BIOPAC与WOT-100功能性近红外光谱同步采集的上位机程序流程。图4是本专利技术实施例中卷积神经网络的结构图。(这3个图，需要将框架图的背景填充去掉，只用黑白框图)图5是本专利技术实施例中建立的valence-arousal二维本文档来自技高网...

【技术保护点】
1.一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于，该方法包括以下步骤：/n步骤一、在实验环境中以受训者与障碍物之间的距离作为诱发变量进行情绪诱发实验，诱发所述受训者进行情绪表达；/n步骤二、所述受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集所述受训者观看所述图片时的生物信号，所述受训者利用SAM自我评估人体模型对所述图片进行量化评分；/n步骤三、将所述量化评分定位在valence-arousal二维情绪模型进行映射，确定所述量化评分对应的情绪种类；/n步骤四、以所述情绪种类作为标签将所述受训者的生理信号投入识别卷积神经网络模型，设置最大迭代次数、学习率、激活函数、Dropout比率和损失函数，训练得到情绪模型；/n步骤五，获取测试者的个人生物信号，将所述个人生物信号导入所述情绪模型中，识别所述测试者的情绪类别。/n

【技术特征摘要】
1.一种基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于，该方法包括以下步骤：
步骤一、在实验环境中以受训者与障碍物之间的距离作为诱发变量进行情绪诱发实验，诱发所述受训者进行情绪表达；
步骤二、所述受训者坐在智能移动设备，佩戴虚拟现实设备观看从国际情感图片系统中选出的图片，采集所述受训者观看所述图片时的生物信号，所述受训者利用SAM自我评估人体模型对所述图片进行量化评分；
步骤三、将所述量化评分定位在valence-arousal二维情绪模型进行映射，确定所述量化评分对应的情绪种类；
步骤四、以所述情绪种类作为标签将所述受训者的生理信号投入识别卷积神经网络模型，设置最大迭代次数、学习率、激活函数、Dropout比率和损失函数，训练得到情绪模型；
步骤五，获取测试者的个人生物信号，将所述个人生物信号导入所述情绪模型中，识别所述测试者的情绪类别。


2.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于，在所述步骤一之前还包括筛选所述受训者的步骤：
从所述国际情感图片系统随机选出受训图片，所述观看者利用SAM自我评估人体模型对所述受训图片进行第一量化评分；当所述第一量化评分在所述受训图片的标准评分的方差范围内，则将所述观看者作为受训者。


3.根据权利要求2所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于，在筛选所述受训者的步骤之后还包括培训所述受训者的步骤：
从所述国际情感图片系统随机选出培训图片，所述受训者观看所述培训图片，利用SAM自我评估人体模型对所述培训图片进行第二量化评分，当所述第二量化评分在所述培训图片的标准评分的方差值80%范围内，则所述受训者培训合格。


4.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述步骤三中，
所述学习率为0.005，所述迭代次数为300，所述激活函数为ReLu，所述Dropout比率为0.6，所述损失函数为交叉熵函数。


5.根据权利要求1所述的基于沉浸式虚拟环境、多模态生理信号的情绪识别方法，其特征在于：所述步骤四中，识别所述测试者的情绪类别的过程为：
采用三个并联卷积层提取所述个人生物信号的特征图，3个所述并联卷积层的卷积核窗口大小为3*4、4*4和5*4，3个所述并联卷积层的卷积核均为128个；
采用最大池化的方式对所述特征图进行池化，得到3个最大池化的特征图，核大小为2*4；利用拼接的方法，将所述特征图拼接成一个特征向量；

【专利技术属性】
技术研发人员：孙柏青，谷力，李勇，张秋豪，杨波，杨俊友，戚震，
申请(专利权)人：沈阳工业大学，
类型：发明
国别省市：辽宁;21