一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法技术

本发明专利技术涉及一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，包括：(1)对表情视频进行预处理；(2)检测人脸68个特征点；(3)划分为不同的感兴趣区域；(4)追踪人脸68个特征点；(5)设置五种表情在对应感兴趣区域内关键特征点之间距离的阈值；(6)对于每一段表情图像序列，从初始帧开始，循环找到每个感兴趣区域内关键特征点距离在前后帧的变化累加值，并与每种表情的阈值做差；(7)根据FACS编码的提示，识别焦虑、抑郁、愤怒三种情绪状态。本发明专利技术可以形象直观地得到表情的概率，提高情感识别的效率，且该方法可以减少计算量，降低时耗，是一种高鲁棒性的表情识别方法。

A Recognition Method of Anxiety, Depression and Anger Expressions Based on Feature Point Motion of Region of Interest

【技术实现步骤摘要】
一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法
本专利技术属于模式识别以及计算机视觉领域，涉及到特征点运动的表情识别方法，尤其涉及到一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法。
技术介绍
近年来，随着人们生活、工作压力的加大，焦虑症、抑郁症患者越来越多，我们试图通过对声音、面部表情、肢体语言等特征的识别，来更早地发现人们是否有焦虑、抑郁的倾向。随着人工智能的发展，人机交流技术已广泛应用于人类情感识别。其中，面部表情是人类情感识别最重要的特征。抑郁是一种持久的心境低落状态，抑郁症患者的情绪主要为蔑视、厌恶以及悲伤，面部表情经常会出现皱鼻，嘟嘴等动作；焦虑是一种无明确客观对象下紧张担心的心理状态，焦虑症患者会莫名紧张、恐惧，经常出现皱眉，抿嘴等面部动作。除了抑郁、焦虑，愤怒是人们六种基本情绪之一，也是另外一种更为负面的情绪，人们在愤怒的时候多会皱眉同时瞪眼。表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪。其中，焦虑、抑郁及愤怒的表情识别就是根据分离出的表情来确定识别对象是否具有这三种心理状态。高效准确地识别技术能极大地促进人类情感识别技术的发展，在临床诊断及公共安全等领域具有十分重要的应用前景和价值。在过去的研究中，由于缺少焦虑、抑郁患者的面部表情数据库等问题，所以没有大量的样本去寻求规律，只有高强度训练的人才能通过表情来判断对方是否有这些负面情绪状态，但即使经过训练，识别率也不高。因此，通过识别面部表情来进行焦虑、抑郁、愤怒等情绪心理的识别技术成为了计算机视觉和模式识别领域炙手可热的研究课题。人脸表情识别经过了四十年的发展，尤其是近年来随着计算机视觉和模式识别技术的飞速发展，表情识别技术取得了很多成果。Pantic等人进行面部特征检测并确定面部几何关系，然后他们通过规则推理系统将这种面部几何关系转化为面部动作单元的活动，最终通过专家系统实现表情识别。Ying-liTian等人采用几何特征提取与神经网络相结合的方法对正面或接近正面的面部图像进行表情识别，其中提取几何特征主要包括对于关键部位的定位特征和表情区的形状特征。Ginalucal等人在以前人脸识别算法的基础上，将PCA算法应用到人脸表情识别上，实验结果表明，当取前30个主分量并使用欧氏距离时，达到了最好的79.3％的识别率。近年来，越来越多的人关注Gabor小波并进行深入研究，把它应用于面部表情识别，也取得了不错的识别结果。Gabor小波核函数具有与人类大脑皮层简单细胞的二维反射区相同的特性，它相当于一组窄带带通滤波器，其方向、基频带宽及中心频率均可以调节，具有明显的方向选择和频率选择特性。基于梯度的光流场计算法最早是由Horn和schunk提出来的，随后Mase首次利用光流来进行人脸运动跟踪，在FACS系统中的44个运动单元中，他利用光流检测到了其中的12个。Essa和Pentland扩展了这种方法，使用光流来估计面部解剖学和物理学模型中的面部运动。Anderson使用光流法计算人脸的多渠道灰度模型，完成对人脸区域的跟踪，最后用SVM算法实现了表情分类。中国科技大学的尹星云等用隐马尔科夫模型(HMM)的基本理论和方法设计了人脸表情识别系统。余棉水等提出了一种基于光流的方法，利用光流技术跟踪人脸表情图像序列中的特征点，然后提取特征向量，最后利用神经网络对六种基本表情进行分类识别。综上，在现有技术在基于几何特征提取、统计特征提取以及运动和形变特征提取方法对面部表情进行识别，识别过程复杂，不能实时进行识别，其次现有基于人机交流技术的表情识别均是针对于六类基本情绪的表情识别，对于焦虑、抑郁这类比较隐晦的情绪的表情识别少之又少，最后现有技术并未对面部动作出现的概率进行计算，而是通过特征提取，样本训练得出识别结果。
技术实现思路
针对现有技术的不足，本专利技术提出了一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法；与上述其他识别方法相比，本专利技术提出的方法是对三种情绪心理状态的表情识别，因此我们识别一个连续的表情视频，而不是单一的含有表情的图片。专利技术概述：一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法。首先，对含有表情的视频进行预处理得到表情片段，进而用LK角点跟踪法跟踪68个人脸特征点，并根据不同表情对应的面部肌肉运动单元(AU组合)，从而得到不同表情所对应感兴趣区域内关键特征点的运动，主要强调眼睛、眉毛、鼻子和嘴巴等重要的表情部位；其中，本专利技术首次将人脸AU组合转为实时追踪特征点的运动，从而实时的判断识别对象的心理状态，在上述方法中大多数都是对六类基本情绪的面部表情识别，而焦虑、抑郁这两种心理状态是通过多种情绪下的面部表情结合来识别，而愤怒作为六种基本情绪之一，其面部表情可以直接识别。其次，通过计算表情序列中关键特征点间的距离在前后帧的变化累加值，以及与预设基准值的对比，得到每种表情出现的概率，从而得到更全面、更有判决力的表情识别结果；最后，利用不同的面部表情动作出现概率来识别情绪，进而判断识别对象是否有焦虑、抑郁、愤怒的表现，该方法可以形象直观地得到表情出现的概率，提高情感识别的效率，且该方法仅对人脸面部区域特征点进行光流追踪计算，可以减少计算量，降低时耗，是一种高鲁棒性的表情识别方法。术语解释：1、Dlib视觉库，Dlib是一个现代的C++工具包，包含了用C++创建复杂软件来解决实际问题的机器学习算法和工具。Dlib所有的设计都是高度模块化的，快速执行，使用起来非常简单。它用于各种应用，包括机器人技术，嵌入式设备，手机和大型高性能计算环境。调用Dlib视觉库来检测人脸68个特征点。2、人脸68个特征点，人脸68个特征点主要分布于眉毛，眼睛，鼻子，嘴巴以及面部轮廓，如图3所示，通过Dlib视觉库来检测；3、KLT角点跟踪算法，全称Kanade-Lucas-TomasiTracking，又称LK跟踪算法，是经典的角点跟踪算法；LK跟踪算法是目标在一段视频流中，只存在一致性的小的位置变化，并且目标的灰度变化不大，算法必须在以下三个假设成立的前提下发挥好的效果：第一，亮度恒定。第二，时间连续或者运动位移小。第三，空间一致性，邻近点有相似运动，保持相邻。本专利技术的技术方案为：一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，包括步骤如下：(1)对表情视频进行预处理；(2)调用Dlib视觉库，检测人脸68个特征点；(3)根据人脸68个特征点的运动规律，将其划分为不同的感兴趣区域；(4)采用KLT角点跟踪算法(光流法)，追踪人脸68个特征点；(5)设置五种表情在对应感兴趣区域内关键特征点之间距离的阈值；先选择数据库中一个识别对象，计算其做五种表情时关键特征点的运动距离，作为标准值C，再计算表情阈值var，(6)根据FACS编码的提示，识别焦虑、抑郁、愤怒三种情绪状态，焦虑表现为AU4+AU14，即皱眉并抿嘴；抑郁表现为AU10+AU17，即皱鼻并嘟嘴；愤怒表现为AU4+AU5，即皱眉并瞪眼；AU4是指皱眉，AU14是指抿嘴，AU10是指皱鼻，AU17是指嘟嘴，AU5是指瞪眼；对于每一段表情图像序列，从初始帧开始，循环找到每个感兴趣区域内关键特征点距离在前后帧的本文档来自技高网...

【技术保护点】
1.一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，包括步骤如下：(1)对表情视频进行预处理；(2)调用Dlib视觉库，检测人脸68个特征点；(3)根据人脸68个特征点的运动规律，将其划分为不同的感兴趣区域；(4)采用KLT角点跟踪算法，追踪人脸68个特征点；(5)设置五种表情在对应感兴趣区域内关键特征点之间距离的阈值；(6)根据FACS编码的提示，识别焦虑、抑郁、愤怒三种情绪状态，焦虑表现为AU4+AU14，即皱眉并抿嘴；抑郁表现为AU10+AU17，即皱鼻并嘟嘴；愤怒表现为AU4+AU5，即皱眉并瞪眼；AU4是指皱眉，AU14是指抿嘴，AU10是指皱鼻，AU17是指嘟嘴，AU5是指瞪眼；对于每一段表情图像序列，从初始帧开始，循环找到每个感兴趣区域内关键特征点距离在前后帧的变化累加值，并与每种表情的阈值对比，计算每种表情出现的概率P，设置概率P的阈值t为80％，当皱眉概率高于t且抿嘴概率高于t时，情绪识别为焦虑；当皱鼻概率高于t且嘟嘴概率高于t时，情绪识别为抑郁；当皱眉概率高于t且瞪眼概率高于t时，情绪识别为愤怒；否则，情绪识别为其它。

【技术特征摘要】
1.一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，包括步骤如下：(1)对表情视频进行预处理；(2)调用Dlib视觉库，检测人脸68个特征点；(3)根据人脸68个特征点的运动规律，将其划分为不同的感兴趣区域；(4)采用KLT角点跟踪算法，追踪人脸68个特征点；(5)设置五种表情在对应感兴趣区域内关键特征点之间距离的阈值；(6)根据FACS编码的提示，识别焦虑、抑郁、愤怒三种情绪状态，焦虑表现为AU4+AU14，即皱眉并抿嘴；抑郁表现为AU10+AU17，即皱鼻并嘟嘴；愤怒表现为AU4+AU5，即皱眉并瞪眼；AU4是指皱眉，AU14是指抿嘴，AU10是指皱鼻，AU17是指嘟嘴，AU5是指瞪眼；对于每一段表情图像序列，从初始帧开始，循环找到每个感兴趣区域内关键特征点距离在前后帧的变化累加值，并与每种表情的阈值对比，计算每种表情出现的概率P，设置概率P的阈值t为80％，当皱眉概率高于t且抿嘴概率高于t时，情绪识别为焦虑；当皱鼻概率高于t且嘟嘴概率高于t时，情绪识别为抑郁；当皱眉概率高于t且瞪眼概率高于t时，情绪识别为愤怒；否则，情绪识别为其它。2.根据权利要求1所述的一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，所述步骤(1)中，对表情视频进行预处理，包括步骤如下：A、对表情依次进行分帧、人脸定位；B、人脸对齐：人脸定位完成后，检测到27个面部特征点，包括：左眼中心、右眼中心、鼻子中心、左嘴角、右嘴角、左眉毛左边缘、左眉毛右边缘、左眼左边缘、左眼睫毛上、左眼睫毛下、左眼右边缘、右眉毛左边缘、右眉毛右边缘、右眼左边缘、右眼睫毛上、右眼睫毛下、右眼右边缘、鼻梁高左、鼻梁高右、鼻梁中左、鼻梁中右、鼻梁低左、鼻梁低右、人中、嘴唇上、嘴唇中、嘴唇下；左眼中心、右眼中心连线和水平线有一定夹角，对人脸驱动变形后，通过使左眼中心、右眼中心连线与水平线平行，矫正人脸姿态，实现人脸对齐。3.根据权利要求1所述的一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，所述步骤(3)中，根据人脸68个特征点的运动规律，将其划分为不同的感兴趣区域，是指：选取皱眉动作变化最明显的关键特征点包括左眉毛右边缘、右眼左边缘、鼻梁中部，组成区域一；选取瞪眼动作变化最明显的关键特征点包括左、右眼周八个特征点，组成区域二；选取皱眉动作变化最明显的关键特征点包括鼻子部位八个特征点，组成区域三；选取抿嘴、嘟嘴动作变化最明显的关键特征点包括嘴唇周围十七个特征点，组成区域四，区域即感兴趣区域。4.根据权利要求1所述的一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，所述步骤(4)中，采用光流法，追踪人脸68个特征点，包括步骤如下：选择FAST角点作为跟踪点，通过方程式①解得的残差e：Zd＝e①式①中，Z是2×2的矩阵；Z＝∫∫Wg(x)gT(x)ω(x)dx；e是2×1的向量，是计算的残差，e＝∫∫W[J(x)-I(x)]g(x)ω(x)dx；设置残差e的阈值为100；如果求得的残差e小于残差e的阈值，则认为是跟踪到的一个角点，求出角点的偏移d；设置d的阈值为10，若d小于10，则被认为是跟踪正确的角点。5.根据权利要求1所述的一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，所述步骤(6)中，包括步骤如下：D、检测第一帧图像中68个人脸特征点的位置，从第二帧图像开始，在表情图像序列中跟踪68个人脸特征点的位置，计算出68个人脸特征点在表情图像序列前后帧运动的欧氏距离，在第i帧中特征点P1(x1,y1)与P2(x2,y2)之间的距离为di，如式②所示：式②中，i表示表情图像序列中第i帧图像；E、将前后帧间两个特征点距离作差，并计算整个表情图像序列差值的累加和D，如式③所示：式③中，n为表情序列的帧数。6.根据权利要求1所述的一种基于感...

【专利技术属性】
技术研发人员：贲晛烨，孙静，许宏吉，王保键，程大海，任家畅，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37