【技术实现步骤摘要】
本专利技术涉及情感识别，更具体地说，涉及一种基于头部可穿戴设备感知的情感识别方法、介质及设备。
技术介绍
1、精神疾病往往会影响患者日常生活、学习、工作还有社交等活动，长期焦虑、抑郁会影响患者个人发展，甚至出现自伤、伤人等行为。因此，对精神疾病进行筛查和监测，以实现精神疾病的及时确诊和治疗，对精神疾病患者是非常重要的。
2、现有精神疾病诊断方式一般采用填表答题方式，或采用外部设备采集被诊断者的生物信号数据或表情数据、进行数据处理和情感识别，从而得到精神疾病的诊断结果。但是采用外部设备采集被诊断者的生物信号数据或表情数据，一般需要被诊断者留在特定的检测环境，采集一段较短时间内的数据；被诊断者处于特定环境时的精神状态，并不能完全代表日常生活中的精神状态；并且采样时间不长，采样数据量有限，也对诊断结果的准确度产生影响。若采用头部可穿戴设备采集情感数据，之后对情感数据进行处理和分析，则可解决检测场所局限和采样时间限制，是一种理想的方式。但是采用头部可穿戴设备获取脸部图像，由于距离面部太近，难以获取全脸图像，需要采用多个摄像头配合才能把脸部各个位置的图像获取完毕。而现有方式在进行表情倾向识别时只能提取全脸（全局）的情感特征，不具备多个视角表情的情感特征提取融合的能力。
3、表情分为宏表情和微表情。宏表情是一些比较明显、持续时间较长的面部表情，容易被检测和识别，在情感识别中扮演着非常重要的角色，也是现有情感识别技术中主要采用的情感数据；但是由于人们有时会隐藏或不自觉地压抑自己的情感，刻意控制和改变宏表情，因此仅通过宏
技术实现思路
1、为克服现有技术中的缺点与不足，本专利技术的目的在于提供一种基于头部可穿戴设备感知的情感识别方法、介质及设备；该方法可采集佩戴者局部多视角脸部数据，在局部多视角脸部数据中采用面部动作单元信息辅助情感感知，协调多区域情感状态的一致性和整体性，提升情感信息从佩戴者身体外观中投射的鲁棒性，从而提升情感判别精度。
2、为了达到上述目的，本专利技术通过下述技术方案予以实现：一种基于头部可穿戴设备感知的情感识别方法，头部可穿戴设备包括：设备本体和设置在设备本体上的多模态数据采集装置；多模态数据采集装置包括用于分别采集佩戴者四个视角的图片和视频的四个摄像模块一；所述四个视角是指：左眼、右眼、左下脸部、右下脸部；
3、基于头部可穿戴设备感知的情感识别方法，包括佩戴者情感识别方法；所述佩戴者情感识别方法包括如下步骤：
4、步骤x1、采集佩戴者的多模态情感数据；佩戴者的多模态情感数据包括通过四个摄像模块一获取的图片数据一和视频数据一；图片数据一和视频数据一均包括四个视角数据；
5、步骤x2、对佩戴者的多模态情感数据进行情感特征提取：
6、对图片数据一和视频数据一，分别采用局部融合情感识别网络进行处理；其中，图片数据一分别以四个视角数据作为局部融合情感识别网络的四个视角输入；视频数据一分别对四个视角数据提取起始帧和峰值帧，作为局部融合情感识别网络的四个视角输入；
7、所述四个视角输入在局部融合情感识别网络中的处理方式是：左眼输入和右眼输入进行深度卷积以提取局部视角特征；左下脸部输入和右下脸部输入分别通过嵌入层将提取到的动作单元嵌入，然后与面部行为编码facs一起输入到空域图卷积中以提取局部视角特征；将四个视角输入提取得到的局部视角特征同时输入到多层感知机中进行空间映射，计算空间注意力和通道注意力后进行特征图融合，得到最终的情感特征；
8、步骤x3、将步骤x2得到的情感特征进行融合，通过分类得到复合情感识别结果。
9、优选地，所述局部融合情感识别网络为四个，分别为局部融合情感识别网络一、局部融合情感识别网络二、局部融合情感识别网络三和局部融合情感识别网络四；
10、所述局部融合情感识别网络一对图片数据一进行处理，得到图片数据一的宏表情情感特征；局部融合情感识别网络二对图片数据一进行处理，得到图片数据一的微表情情感特征；局部融合情感识别网络三对视频数据一进行处理，得到视频数据一的宏表情情感特征；局部融合情感识别网络四对视频数据一进行处理，得到视频数据一的微表情情感特征。
11、优选地，四个局部融合情感识别网络均包括分别四个视角输入的四个局部特征提取单元；针对左眼输入和右眼输入的两个局部特征提取单元均包括深度卷积网络一；针对左下脸部输入和右下脸部输入的两个局部特征提取单元均由嵌入层、空域图卷积网络依次连接组成；嵌入层还与动作单元提取器连接；空域图卷积网络还与面部动作编码系统连接；左下脸部输入和右下脸部输入；四个局部特征提取单元的输出同时与多层感知机连接，并通过通道注意力和空间注意力进行融合；
12、其中，所述局部融合情感识别网络三和局部融合情感识别网络四，针对左眼输入和右眼输入的两个局部特征提取单元分别还包括动作放大网络；左眼输入和右眼输入分别通过动作放大网络将微笑表情放大，再输入深度卷积网络一，提取局部视角特征。
13、优选地，所述步骤x2中，对图片数据一和视频数据一，在采用局部融合情感识别网络进行处理之前，先分别进行预处理；
14、对图片数据一，预处理包括利用串联的预处理卷积神经网络一进行人脸检测；利用串联的预处理卷积神经网络一进行人脸检测，是指：生成候选框，并对候选框进行初步筛选，对人脸关键点进行检测；经过卷积、激活函数、池化、全连接处理后，输出每个候选框的置信度、坐标偏移量和五个关键点的坐标，以实现人脸检测；
15、对视频数据一，预处理包括利用串联的预处理多层深度卷积神经网络二进行人脸检测；利用串联的预处理多层深度卷积神经网络二进行人脸检测，是指：使用视频流方式，逐帧读取视频数据一；对视频数据一的每一帧图像，利用串联的预处理多层深度卷积神经网络二对图像改变尺寸后的金字塔形数据进行操作，得到人脸框、关键点坐标和人脸分类，以实现人脸检测；预处理多层深度卷积神经网络二包括依次连接的图像改变尺寸层、卷积神经单元一、卷积神经单元二、最大池化层一、全连接层一、卷积神经单元三、最大池化层二和全连接层二，以及连接卷积神经单元三与最大池化层二之间的空间注意力层。
16、优选地，所述步骤x3，是指：采用多模态自适应融合模块将步骤x2得到的情感特征进行融合：多模态自适应融合模块的输入为情感特征 x={ x 1 ,…,x n}，其中 x i为第i个情感特征，n为情感特征的数量；利用注意力机制并且迭代地进行特征融合，最本文档来自技高网...
【技术保护点】
1.一种基于头部可穿戴设备感知的情感识别方法，其特征在于：头部可穿戴设备包括：设备本体和设置在设备本体上的多模态数据采集装置；多模态数据采集装置包括用于分别采集佩戴者四个视角的图片和视频的四个摄像模块一；所述四个视角是指：左眼、右眼、左下脸部、右下脸部；
2.根据权利要求1所述的基于头部可穿戴设备感知的情感识别方法，其特征在于：所述局部融合情感识别网络为四个，分别为局部融合情感识别网络一、局部融合情感识别网络二、局部融合情感识别网络三和局部融合情感识别网络四；
3.根据权利要求2所述的基于头部可穿戴设备感知的情感识别方法，其特征在于：四个局部融合情感识别网络均包括分别四个视角输入的四个局部特征提取单元；针对左眼输入和右眼输入的两个局部特征提取单元均包括深度卷积网络一；针对左下脸部输入和右下脸部输入的两个局部特征提取单元均由嵌入层、空域图卷积网络依次连接组成；嵌入层还与动作单元提取器连接；空域图卷积网络还与面部动作编码系统连接；左下脸部输入和右下脸部输入；四个局部特征提取单元的输出同时与多层感知机连接，并通过通道注意力和空间注意力进行融合；
4.
5.根据权利要求1所述的基于头部可穿戴设备感知的情感识别方法，其特征在于：所述步骤X3，是指：采用多模态自适应融合模块将步骤X2得到的情感特征进行融合：多模态自适应融合模块的输入为情感特征X={X1,…,Xn}，其中Xi为第i个情感特征，n为情感特征的数量；利用注意力机制并且迭代地进行特征融合，最终得到融合特征；将融合特征输入到分类器中进行学习，得到复合情感识别结果；复合情感识别结果采用情感状态的复合表示；情感状态的复合表示形式为：情感类别及对应比例。
6.根据权利要求1所述的基于头部可穿戴设备感知的情感识别方法，其特征在于：所述头部可穿戴设备，多模态数据采集装置还包括音频采集模块；所述步骤X1中，多模态情感数据还包括音频数据；所述步骤X2中，还对音频数据进行情感特征提取：对音频数据进行滤波、平滑、分帧操作；提取梅尔倒谱系数特征；利用梅尔倒谱系数特征并载入为特征向量形式，输入到基于注意力机制的BiLSTM神经网络中进行情感特征提取；
7.根据权利要求1所述的基于头部可穿戴设备感知的情感识别方法，其特征在于：所述头部可穿戴设备，多模态数据采集装置还包括用于采集被观测者图片和视频的摄像模块二；
8.根据权利要求7所述的基于头部可穿戴设备感知的情感识别方法，其特征在于：还包括个体数据存储数据库的建立方法：在个体数据存储数据库构建个体ID；在佩戴者情感识别方法或被观测者情感识别方法开始前，先获取佩戴者或被观测者的个体ID；在佩戴者情感识别方法或被观测者情感识别方法完成后，将佩戴者情感识别方法或被观测者情感识别方法得到的情感识别结果以及时间、地点存储到对应的个体ID中。
9.一种可读存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-8中任一项所述的基于头部可穿戴设备感知的情感识别方法。
10.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-8中任一项所述的基于头部可穿戴设备感知的情感识别方法。
...【技术特征摘要】
1.一种基于头部可穿戴设备感知的情感识别方法，其特征在于：头部可穿戴设备包括：设备本体和设置在设备本体上的多模态数据采集装置；多模态数据采集装置包括用于分别采集佩戴者四个视角的图片和视频的四个摄像模块一；所述四个视角是指：左眼、右眼、左下脸部、右下脸部；
2.根据权利要求1所述的基于头部可穿戴设备感知的情感识别方法，其特征在于：所述局部融合情感识别网络为四个，分别为局部融合情感识别网络一、局部融合情感识别网络二、局部融合情感识别网络三和局部融合情感识别网络四；
3.根据权利要求2所述的基于头部可穿戴设备感知的情感识别方法，其特征在于：四个局部融合情感识别网络均包括分别四个视角输入的四个局部特征提取单元；针对左眼输入和右眼输入的两个局部特征提取单元均包括深度卷积网络一；针对左下脸部输入和右下脸部输入的两个局部特征提取单元均由嵌入层、空域图卷积网络依次连接组成；嵌入层还与动作单元提取器连接；空域图卷积网络还与面部动作编码系统连接；左下脸部输入和右下脸部输入；四个局部特征提取单元的输出同时与多层感知机连接，并通过通道注意力和空间注意力进行融合；
4.根据权利要求1所述的基于头部可穿戴设备感知的情感识别方法，其特征在于：所述步骤x2中，对图片数据一和视频数据一，在采用局部融合情感识别网络进行处理之前，先分别进行预处理；
5.根据权利要求1所述的基于头部可穿戴设备感知的情感识别方法，其特征在于：所述步骤x3，是指：采用多模态自适应融合模块将步骤x2得到的情感特征进行融合：多模态自适应融合模块的输入为情感特征x={x1,…,xn}，其中xi为第i个情感特征，n为情感特征的数量；利用注意力机制并且迭代地进行特征融合，最终得到融合特征；将融...
【专利技术属性】
技术研发人员：张通，吴梦琪，王锦炫，陈俊龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。