融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法技术

本发明专利技术提供一种融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法。所述方法包括以下步骤：用带有红外摄像头的Kinect来收集视频和音频，并将视频信息和音频信息分别转换为特征文本描述；将生成的特征文本描述进行信息融合，利用自组织映射（SOM）和补偿层对处理结果进行情感分类；将得到的可能存在抑郁情绪或者自杀倾向的人员标记，进行观察。本发明专利技术考虑到静态身体运动和动态身体运动，达到了更高的效率。本发明专利技术利用Kinect用于数据采集，非入侵，高性能，易操作。

【技术实现步骤摘要】
融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法
本专利技术属于情感识别领域，特别涉及一种融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法。
技术介绍
生活节奏的加快，社会环境的变迁让很多人觉得压力很大，产生抑郁心理，甚至于产生自残或者是自杀行为。为了尽早地发现人们的情绪问题，防止产生抑郁心理或者自杀意图，检测他们的情绪是很有用的。人类的情绪可以通过多种方式识别，如心电图(ECG)、脑电图(EEG)(K.Takahashi,"Remarksonemotionrecognitionfrommulti-modalbio-potentialsignals",Proc.IEEEInt.Conf.Ind.Technol.(ICIT),vol.3,pp.1138-1143,Jun.2004.)、言语、面部表情等。在各种情绪信号中，生理信号被广泛应用于情绪识别。近年来，人体运动也成为一种新的特征。传统的方法有两种，一种是通过接触测量物体的生理指标(J.Kim,andE.André,“Emotionrecognitionbasedonphysiol本文档来自技高网...

【技术保护点】
1.融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，包括以下步骤：/nS1、用带有红外摄像头的Kinect来收集视频和音频，并将视频信息和音频信息分别转换为特征文本描述；/nS2、将步骤S1中生成的特征文本描述进行信息融合，利用自组织映射(SOM)和补偿层对处理结果进行情感分类；/nS3、将步骤S2中得到的可能存在抑郁情绪或者自杀倾向的人员标记，进行观察。/n

【技术特征摘要】
1.融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，包括以下步骤：
S1、用带有红外摄像头的Kinect来收集视频和音频，并将视频信息和音频信息分别转换为特征文本描述；
S2、将步骤S1中生成的特征文本描述进行信息融合，利用自组织映射(SOM)和补偿层对处理结果进行情感分类；
S3、将步骤S2中得到的可能存在抑郁情绪或者自杀倾向的人员标记，进行观察。


2.根据权利要求1所述的融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，步骤S1中，所述视频信息包括从视频中提取的肢体动作和面部表情信息，肢体动作包括静态运动和动态运动；所述音频信息包括从语音音频中提取的频谱、韵律和声波信息，频谱信息和韵律信息用于获取语音标志，声波信息用于获取语音内容。


3.根据权利要求2所述的融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，步骤S1中，特征文本描述的提取具体包括以下步骤：
S1.1、采用卷积神经网络(CNN)完成静态运动的识别，生成静态运动特征文本描述；
S1.2、利用Kinect实时检测人体骨骼数据，计算人体的行为特征，完成动态运动的识别，生成动态运动特征文本描述；
S1.3、使用局部识别的方法完成面部表情的信息识别，生成面部活动特征文本描述；
S1.4、完成语音标志的识别和语音内容的识别，生成语言特征文本描述。


4.根据权利要求3所述的融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，步骤S1.1中，从收集的视频中选出单帧输入到卷积神经网络(CNN)进行训练和测试；将视频中的所有单独帧输入至训练完成后的卷积神经网络(CNN)，得到带有情感特征的静态运动，将带有情感特征的静态运动输入至Softmax分类器中进行分类，完成静态运动的识别；softmax函数，计算公式如下：



其中，Wi为第i类特征文本的权重矩阵，b代表偏置。


5.根据权利要求4所述的融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，卷积神经网络(CNN)利用部分滤波器计算卷积，即利用输入项的局部子矩阵和局部滤波器进行内积运算，输出为卷积矩阵；卷积神经网络(CNN)中的隐含层包括两个卷积层和两个池化层；
卷积层的计算公式如下：



其中，l表示第l个卷积层，i表示卷积输出矩阵第i个分量的值；j表示对应输出矩阵的个数；j的值在0到N之间变化，其中N表示卷积输出矩阵的数量；f是一个非线性的sigmoid型函数；
池化层使用均值池化，均值池化层的输入来自于上卷积层，输出作为下一个卷积层的输入，计算公式如下：



其中，代表池化过程结束后的局部输出，由上一层大小为n×n的局部小矩阵的均值导出。


6.根据权利要求4所述的融合肢体语言、微表情和语言的抑郁和自杀倾向识别方法，其特征在于，步骤S1.2中，首先，通过Kinect完成人体定位和跟踪，得到骨骼的关节点；15个骨架关节点从上到下、从左到右进行编号；从视频中提取帧序列输入间隔卡尔曼滤波来提高骨架位置的精度；然后使用带有条件随机场层的双向长短期记忆网络(Bi-LSTM-CRF)分别分析15个骨架点的运动序列，获取带有情感特征的动态运动；
对于双向长短期记忆神经网络，给定一个输入序列{x1,x2,…,xt,…,xT}，其中t表示第t个坐标，T代表一共有T个坐标，长短期记忆神经...

【专利技术属性】
技术研发人员：杜广龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44