一种基于语音和微表情的多模态融合的自杀情绪感知方法技术

本发明专利技术公开了一种基于语音和微表情的多模态融合的自杀情绪感知方法。所述方法包括以下步骤：使用带有红外摄像头的Kinect对视频和音频进行采集；对视频中的图像帧和音频使用不同方法分析并转换为相应的特征文本；对特征文本进行融合，即降维处理得到融合特征；使用SoftMax激活函数对融合特征进行分类，判断该情绪是否属于自杀情绪。本发明专利技术将多模态数据与文本层对齐。文本中间表示和所提出的融合方法形成了一个融合语音和面部表情的框架。本发明专利技术降低了语音和面部表情的维数，将两条信息统一为一个分量。本发明专利技术利用Kinect用于数据采集，具有无创、性能高和操作方便的特点。

【技术实现步骤摘要】
一种基于语音和微表情的多模态融合的自杀情绪感知方法
本专利技术属于情绪感知领域，特别涉及一种基于语音和微表情的多模态融合的自杀情绪感知方法。
技术介绍
在日常生活中，经常会遇到一些自杀想不开的人，甚至可能是因为一件小小的不如意而导致的自杀，这会给爱他们的人造成巨大的心理伤害，也给社会带来了精神和物质的损失。其实这些人在自杀之前都会有相应的言语、肢体、表情等生理方面的异常，如若可以仔细地通过一些正当的技术观察了解他们，或许挽救的就是一条鲜活的生命。除了自身要掌握相应的心理知识，健全心理课程普及机制外，借助科学技术手段也不失为一种有效方法，在摄像头下观察异常的这些人，让电脑自己从多方面判断被观察者的异常指数及其情绪状态，然后让专业人员进行及时的开导疏解，人力物力都能得到有效的利用。在技术实现方面，有高桥利用脑电图信号将视频的情绪分类(K.Takahashi,"Remarksonemotionrecognitionfrommulti-modalbio-potentialsignals",Proc.IEEEInt.Conf.Ind.Techno本文档来自技高网...

【技术保护点】
1.一种基于语音和微表情的多模态融合的自杀情绪感知方法，其特征在于，包括以下步骤：/nS1、使用带有红外摄像头的Kinect对视频和音频进行采集；/nS2、对视频中的图像帧和音频使用不同方法分析并转换为相应的特征文本；/nS3、对特征文本进行融合，即降维处理后得到融合特征；/nS4、使用SoftMax激活函数对融合特征进行分类，判断该情绪是否属于自杀情绪。/n

【技术特征摘要】
1.一种基于语音和微表情的多模态融合的自杀情绪感知方法，其特征在于，包括以下步骤：
S1、使用带有红外摄像头的Kinect对视频和音频进行采集；
S2、对视频中的图像帧和音频使用不同方法分析并转换为相应的特征文本；
S3、对特征文本进行融合，即降维处理后得到融合特征；
S4、使用SoftMax激活函数对融合特征进行分类，判断该情绪是否属于自杀情绪。


2.根据权利要求1所述的一种基于语音和微表情的多模态融合的自杀情绪感知方法，其特征在于，步骤S2中，对于获取到的音频，从语音内容、语调和语速三个维度进行不同的特征提取，并转换为三组对应的特征文本；对于获取到的图像帧，抓取面部表情后，进行特征提取和降维，并经过神经网络分类转化为对应的表情文本描述。


3.根据权利要求2所述的一种基于语音和微表情的多模态融合的自杀情绪感知方法，其特征在于，步骤S2具体包括以下步骤：
S2.1、对音频信号进行降噪处理后，根据语音内容、语调和语速依次将语音转换为三个相应特征文本描述，再经过BP神经网络(BackPropagationNeuralNetwork,BPNN)转化为音调符号，用于情绪识别；
其中，BP神经网络是最基础的神经网络，包括输入层、隐藏层和输出层三层结构，其输出结果采用前向传播，误差采用反向传播方式进行；
S2.2、采用局部的方法进行脸部表情识别，即根据Kinect实时抓取的人脸图像帧的信息，得到人脸的各个分割区域，对图像进行切割、缩放、滤波、去噪、直方图均衡化和灰度均衡化处理后，采用Gabor小波进行特征提取，使用线性判别分析法进行降维从而获得相应的特征向量，最后经过一个三层的神经网络的分类，得到人脸识别的结果即相应的特征文本描述。
其中，所述三层的神经网络的结构包括输入层、隐藏层和输出层；输入层接收数据，输出层输出数据，隐藏层经过‘激活’后传递信息。


4.根据权利要求1所述的一种基于语音和微表情的多模态融合的自杀情绪感知方法，其特征在于，步骤S3中，采用LSTM网络、自组织映射(Self-OrganizationMapping,SOM)和补偿层进行特征文本融合和补偿，具体步骤如下：
S3.1、首先，把步骤S2中产生的特征文本描述输入LSTM网络中，使得特征嵌入到固定...

【专利技术属性】
技术研发人员：杜广龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44