一种语义标签挖掘的微表情捕捉方法技术

一种语义标签挖掘的微表情捕捉方法，该方法包括：首先，对源域S张微表情视频帧图片一一通过脸部配准方法确认脸部器官关键点坐标，再根据其中4个关键点坐标确定一个脸部核心器官的方法进行器官图片划分，表示为R

【技术实现步骤摘要】
一种语义标签挖掘的微表情捕捉方法
本专利技术属于机器视觉领域中对微表情视频数据的语义挖掘方法研究，涉及一种语义标签挖掘的微表情捕捉方法。
技术介绍
微表情是一种微妙的、无意识的面部表情，通常受到一些复杂的环境、人为等因素影响在无意识的情况下产生。由于人类的身体特性，这种无意识的面部表情会通过一种极其快速且微妙的脸部动作表现出来，这种持续时间在0.2s以内的脸部表情动作被Ekman等人称之为微表情。为了提高科研人员对微表情的识别能力研究，该团队根据面部肌肉形态变化与微表情的关联关系设计了面部动作编码系统(FacialActionCodingSystem，FACS)，其中每一个编码称为动作单元(Actionunit,AU)。由于微表情能够挖掘隐藏在人类内心的真实情感状态，在医学、测谎、办案等领域都有其重要的应用价值，近年来微表情逐渐成为一个热点研究问题。国内外微表情识别研究主要与以下俩个环节紧密相关：首先是如何提取高质量的纹理特征，其次是选用何种分类器具有良好的分类效果。其中纹理特征的提取策略主要包括基于静态图像特征提取、基于动态视频图像特征提取、光流特征等。当前的这种研究思路存在几个较大的问题。1.传统的研究方法只关注于微观图像中灰度值与微表情的内部联系，然而微表情产生的本质上是脸部各器官形态语义的联合行为，因此忽略了微表情的语义信息。2.由于微表情其微妙，且无意思的特性致使微表情数据集数据量偏小，从而深度学习方法在微表情领域不能很好的发挥其潜能。
技术实现思路
本专利技术基于机器学习方法，在经典微表情研究的基础上，加进人类的常识、知识，提出了一种可信、安全和可靠的微表情识别方法，从而能够更精准的判断一个人的微表情状态。本专利技术是通过以下技术方案实现的。本专利技术为一种语义标签挖掘的微表情计算方法，包括如下步骤：S1:选取源域公用微表情数据集A＝[V1,V2,V3,…Vt]T进行图像的补齐、统一大小、图像灰值化等预处理。V1,V2,V3,…Vt代表数据集的t个微表情视频数据文件，并且视频帧补齐后每个视频由k帧图片构成，将其可表示为其中A的详细表达：S2:采用人脸配准方法获取脸部的o1,o2,o3,…,ol的关键点坐标定位，其中通过4个坐标点唯一确定一个Ri矩形框的方法进行脸部器官划分，通过脸部区域的分析获取R1,R2,R3,…Rn个器官区域。S3:通过步骤2的R1,R2,R3,…Rn矩形框对数据集A共S＝t*k张视频帧图片进行自动划分，将每一帧微表情图像帧划分为共n个区域，由此可以获取一个基于n个器官区域的数据集向量A′＝[A′1,A′2,A′3,…,A′a，…,A′n]T，其中A′a表示数据集A中S＝t*k张视频帧图片器官a区域的图片帧集合并且S4:采用图像纹理特征提取方法提取A′图像数据的纹理特征，获取A′1,A′2,A′3,…,A′a，…,A′n器官区域集合纹理特征集δ，其中δ＝[δ1,δ2,δ3,…,δa,…,δn]T，并且A′与δ呈一一映射关系，其中δa：S5:基于图像的纹理数据特征的数据结构选取优良的聚类集成方法，通过聚类评价指标Φ选取最优化的聚类参数对δ＝[δ1,δ2,δ3,…,δa,…,δn]T特征集进行n个器官区域的多任务语义标签挖掘。S6:通过步骤S5的语义挖掘方法，构建多器官区域的语义库模型f(δ)＝[f(δ1),f(δ2),f(δ3),…,f(δn)]T。其中f(δ)与δ呈一一映射关系，f(δ1),f(δ2),f(δ3),…,f(δn)的形态种类由聚类评价指标Φ分别确定形态种类r，且r不唯一。由此代表a器官区域的第t种形态类型，f(δa)语义库共包含ra种形态类型。S7:选取目标域数据集B＝[V1′,V2′,V3′,…Vm′]T，V1′,V2′,V3′,…Vm′为数据集中的m个微表情视频文件，并且Vi′＝[p′1i,p′2i,p′3i,…,pi′k,Yi]。其中p′1i,p′2i,p′3i,…,p′ki表示Vi′个微表情视频文件的k张图片帧，Yi表示该视频所对应的微表情标签。由此目标域数据可以表示为如下B矩阵：S8:重复S2-S3步骤进行目标域数据的器官区域划分，则每一个Vi′视频可划分成图片帧域和微表情标签域，目标域B可转变为形式的数据集合。其中S9:通过对微表情特征中图片帧集合的纹理特征，获取每一个视频文件的纹理特征则数据集B的纹理特征其中记为：S10:将纹理特征集与f(δ)＝[f(δ1),f(δ2),f(δ3),…,f(δn)]T语义库模型进行形态语义模型匹配，匹配按照的原则，其中是第Vi′个视频帧图片匹配的核序列特征，其中指代当前视频文件在第n个器官区域的形态语义变化的核序列特征，详细变化如下所示：。S11:完成步骤S10依据所有视频帧图片基于纹理特征与f(δ)语义库模型提取视频帧形态变化的核序列特征集则数据集B转变为脸部变化形态的核序列特征与微表情标签的关联数据，记为S12:将核序列特征进行降维处理后作为输入，作为输出代入分类器模型进行语义标签挖掘模型的构建。训练完成后保存分类器算法对应模型记为M_Model，至此一种语义标签挖掘的微表情计算方法模型构建完毕。本专利技术相对于现有技术具有以下优点：(1)本专利技术将聚类方法引入微表情识别领域，通过聚类方法进行形态语义的挖掘，增加了微表情研究的新线路。(2)本专利技术方法在经典微表情研究的基础上，加进人类的常识、知识，建立一个可解释的、鲁棒的微表情识别理论，发展了一种可信、安全和可靠的微表情识别框架。(3)本专利技术基于语义标签进行脸部表情的动作挖掘，提取脸部的核序列特征，能更直观的了解脸部的变化过程，相对于经典方法具有更好的解释性和直观性。附图说明图1是本专利技术的基本流程图。图2是脸部区域自动划分流程图。图3是形态语义库构建流程图。图4是形态核序列提取及分类模型构建流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步的详细说明。此处所描述的具体实施例仅用于解释本专利技术技术方案，并不限于本专利技术。本专利技术将通过以下实施例作进一步说明。选取微表情CASMEII数据集作为实验数据，其中包括26个参与者，256个微表情视频文件A＝[V1,V2,V3,…V256]T，微表情标签中包含开心、厌恶、恐惧、悲伤等微表情标签。对所有视频文件的视频帧文件进行图像的补齐、统一大小、图像灰值化等预处理。对数据集的256个微表情视频数据文件进行视频帧补齐，补齐后每个视频为由400帧图片构成，将其可表示为由此获得一个256*400维的图片矩阵。通过ASM主观形状模型，获取脸部的68个关键点定位。通过1，2，3，4，…，68进行关键点的标注，通过表1所示矩形框Ri＝((X1,Y1),(X2,Y2))的坐标进行脸部器官区域划分，划分为左眉、右眉、左本文档来自技高网...

【技术保护点】
1.一种语义标签挖掘的微表情计算方法，包括如下步骤：/nS1:选取源域公用微表情数据集A＝[V

【技术特征摘要】
1.一种语义标签挖掘的微表情计算方法，包括如下步骤：
S1:选取源域公用微表情数据集A＝[V1,V2,V3,…Vt]T进行图像的补齐、统一大小、图像灰值化等预处理；
S2:采用人脸配准方法获取脸部的o1,o2,o3,…,ol的关键点坐标定位，其中通过4个坐标点唯一确定一个Ri矩形框的方法进行脸部器官划分，通过脸部区域的分析获取R1,R2,R3,…Rn个器官区域；
S3:通过步骤S2的R1,R2,R3,…Rn矩形框对数据集A中所有视频帧图片进行自动划分，将每一帧微表情图像帧划分为共n个区域，由此可以获取一个基于n个器官区域的数据集向量A′＝[A′1,A′2,A′3,…,A′a，…,A′n]T；
S4:采用图像纹理特征提取方法提取A′图像数据的纹理特征，获取A′1,A′2,A′3,…,A′a，…,A′n器官区域集合纹理特征集δ，其中δ＝[δ1,δ2,δ3,…,δa,…,δn]T，并且A′与δ呈一一映射关系，其中δa：



S5:基于图像的纹理数据特征的数据结构选取优良的聚类集成方法，通过聚类评价指标Φ选取最优化的聚类参数对δ＝[δ1,δ2,δ3,…,δa,…,δn]T特征集进行n个器官区域的多任务语义标签挖掘；
S6:通过步骤S5的语义挖掘方法，构建多器官区域的语义库模型f(δ)＝[f(δ1),f(δ2),f(δ3),…,f(δn)]T；
S7:选取目标域数据集B＝[V1′,V2′,V3′,…Vm′]T，V1′,V2′,V3′,…Vm′为数据集中的m个微表情视频文件，并且
S8:重复步骤S2-S3进行目标域数据的器官区域划分，则每一个Vi′视频可划分成图片帧域和微表情标签域，目标域B可转变为形式的数据集合；
S9:通过对微表情特征中图片帧集合的纹理特征，获取每一个视频文件的纹理特征则数据集B的纹理特征
S10:将纹理特征集与f(δ)＝[f(δ1),f(δ2),f(δ3),…,f(δn)]T语义库模型进行形态语义模型匹配，匹配按照的原则；
S11:完成步骤S10依据所有视频帧图片基于纹理特征与f(δ)语义库模型提取视频帧形态变化的核序列特征集则数...

【专利技术属性】
技术研发人员：徐健锋，吴俊杰，刘澜，潘纯杰，邹伟康，杨迎方，
申请(专利权)人：南昌大学，
类型：发明
国别省市：江西;36