基于人脸感兴趣区域贡献度的跨数据集微表情识别方法技术

本发明专利技术公开了一种基于人脸感兴趣区域贡献度的跨数据集微表情识别方法，包括：S1、微表情样本预处理步骤；S2、提取主方向平均光流特征步骤，计算各面部图像序列的光流场，提取MDMO特征；S3、根据源面部图像序列的特征分布特点，对目标样本的特征结构进行约束；S4、对源面部图像序列的MDMO特征建立组稀疏模型，对每个感兴趣区域的贡献度进行量化；S5、使用所述组稀疏模型对所述目标面部图像序列进行微表情种类识别，输出识别结果。本发明专利技术的方法，识别准确率更高，而且针对不同目标数据集和不同微表情类别的分类稳定性更好，对具有不同特点的测试样本均表现出较强的适应性，能够大幅度提升跨数据集微表情识别的性能。升跨数据集微表情识别的性能。升跨数据集微表情识别的性能。

【技术实现步骤摘要】
基于人脸感兴趣区域贡献度的跨数据集微表情识别方法


[0001]本专利技术属于图像识别
，具体地说，涉及一种基于人脸感兴趣区域贡献度的跨数据集微表情识别方法。

技术介绍

[0002]表情是人类情绪状态的直观反映，通常可分为宏表情(macro
‑
expression)和微表情(micro
‑
expression)。过去数年来，学术界对于表情的识别研究主要集中在宏表情方面。与常规的宏表情不同，微表情是人类在经历情绪波动并试图掩盖内心情绪时不由自主流露出的一种快速且无意识的微小面部动作。它的特殊之处在于既无法被伪装，也没法被强行抑制。因此，微表情可以作为分析和判断人的真实情感和心理情绪的可靠依据，在临床诊断、谈判、教学评估、测谎和审讯等方面有着较强的实用价值和应用前景。
[0003]微表情的持续时间非常短，转瞬即逝，只有不到半秒钟。由微表情引起的脸部肌肉运动的幅度很小，只出现在几个较小的局部面部区域，并且通常不会在人脸的上半部和下半部同时出现。这使得微表情很难被人眼观察到，人工识别的准确率并不高。此外，人工识别微表情需要经过专业的培训并拥有丰富的分类经验，耗时费力，难以在现实场景中大规模推广和应用。基于社会的大量需求和技术的进步，最近几年，利用计算机视觉和模式识别技术实现微表情的自动鉴定，正日益受到科研人员的关注。
[0004]目前利用图像处理技术进行微表情识别的研究还相对较少，技术层面尚处在起步阶段。由于微表情和宏表情在持续时间、动作强度和出现的人脸区域等方面的不同，目前较为成熟的宏表情识别方法并不适用于微表情识别。
[0005]微表情自动识别的过程可分为两个阶段：首先是提取微表情特征，即从面部视频片段中提取有用的特征信息来描述视频片段所蕴含的微表情；然后是微表情分类，利用分类器对提取出的特征所属的情绪类别进行划分。这两个阶段中，特征的选择对于微表情识别尤为重要。因此，大多数微表情识别研究集中在特征提取部分，旨在通过设计可靠的微表情特征，来有效地描述微表情的细微变化，以便完成微表情识别任务。
[0006]要指出的是，微表情识别研究的发展很大程度上依赖于完善的人脸微表情数据集。通过回顾前人的研究工作，可以发现当前已存在的绝大多数微表情识别方法都是在训练样本和测试样本来自同一个数据集的情况下开发和评价的，此时可认为训练样本和测试样本遵循相同或相似的特征分布。但是显然，在现实应用中，训练样本和待识别样本往往来自两个完全不同的微表情数据集(分别称为源数据集和目标数据集)，这两个数据集中的视频片段，在光照条件、拍摄设备、参数设置和背景环境等方面都会存在差异。因此，在这种情况下，由于异构的视频质量，训练样本和待识别样本会有很大的不同，使得它们的特征分布状态也存在较大的差异，导致现有微表情识别方法的识别效果大幅降低。

技术实现思路

[0007]本专利技术针对现有技术中微表情识别时训练样本和待识别样本往往来自两个完全
不同的微表情数据集，特征分布状态也存在较大的差异，导致现有微表情识别方法的识别效果大幅降低的技术问题，提出了一种基于人脸感兴趣区域贡献度的跨数据集微表情识别方法，可以解决上述问题。
[0008]为实现上述专利技术目的，本专利技术采用下述技术方案予以实现：
[0009]一种基于人脸感兴趣区域贡献度的跨数据集微表情识别方法，包括：
[0010]S1、微表情样本预处理步骤，包括：
[0011]S11、分别对源微表情数据集和目标微表情数据集进行采样，捕捉视频帧，分别按顺序排列得到源图像序列和目标图像序列；
[0012]S12、对所述源图像序列和目标图像序列进行降采样，调整图像的尺寸；
[0013]S13、对图像序列中人脸区域定位，以及对各图像序列进行面部图像裁剪，得到源面部图像序列和目标面部图像序列；
[0014]S14、对每个面部图像序列中的第一帧图像进行人脸地标点检测，得到描述人脸关键位置的Q个特征点；
[0015]S15、利用所述特征点的坐标将面部图像划分成N个特定的互不重叠但又紧密相邻的感兴趣区域，其中，N＜Q，且Q，N均为正整数；
[0016]S16、将各面部图像序列灰度化；
[0017]S2、提取主方向平均光流特征步骤，计算各面部图像序列的光流场，提取MDMO特征，其中MDMO特征为基于光流的主方向平均光流特征；
[0018]S3、根据源面部图像序列的特征分布特点，对目标样本的特征结构进行约束，目标样本是目标微表情数据集中的测试样本；
[0019]S4、对源面部图像序列的MDMO特征建立组稀疏模型，对每个感兴趣区域的贡献度进行量化；
[0020]S5、使用所述组稀疏模型对所述目标面部图像序列进行微表情种类识别，输出识别结果。
[0021]进一步的，步骤S13包括：
[0022]对每个图像序列中的第一帧图像进行人脸检测，以定位面部区域，以原始矩形包围框的中心点作为基准，对该图像的前脸选框按照同等比例向四周进行外扩，得到面部区域；
[0023]根据检测出的面部区域的位置和尺寸，对该图像序列中的其他图像进行区域裁剪操作，得到源面部图像序列和目标面部图像序列。
[0024]进一步的，步骤S15中根据人脸动作编码系统中的面部动作单元划分感兴趣区域，每个感兴趣区域都和面部动作单元相对应。
[0025]进一步的，步骤S16之后还包括：
[0026]S17、对各面部图像序列的帧数归一化，采用时间插值模型对每个面部图像序列的帧数进行归一化。
[0027]进一步的，步骤S2中计算各面部图像序列的光流场的方法为：
[0028]计算所述面部图像序列中除第一帧之外的每一帧f
i
(i＞1)和第一帧f1之间的光流向量[V
x
,V
y
]，并转换为极坐标(ρ,θ)的表达形式，其中V
x
和V
y
分别是光流运动速度的x分量和y分量，ρ和θ分别是光流运动速度的幅值和光流运动速度的角度。
[0029]进一步的，步骤S2中提取MDMO特征的方法为：
[0030]在每一帧f
i
(i＞1)中，每一个感兴趣区域(k＝1,2,
…
,N)中所有的光流向量，根据它们的角度分类为8个方向的bins，选择光流向量数量最多的bin作为主方向，记作Bmax；
[0031]计算所有属于Bmax的光流向量的平均值，将其定义为的主方向光流，符号化为是光流运动速度的平均幅值，是光流运动速度的平均角度；
[0032]通过一个原子光流特征Ψ
i
来表示每一帧f
i
(i＞1)：
[0033][0034]Ψ
i
的维数是2N，一个m帧的微表情视频片段Γ可被表示为一组原子光流特征：
[0035]Γ＝(Ψ2,Ψ3,
…
,Ψ
m
)...

【技术保护点】

【技术特征摘要】
1.一种基于人脸感兴趣区域贡献度的跨数据集微表情识别方法，其特征在于，包括：S1、微表情样本预处理步骤，包括：S11、分别对源微表情数据集和目标微表情数据集进行采样，捕捉视频帧，分别按顺序排列得到源图像序列和目标图像序列；S12、对所述源图像序列和目标图像序列进行降采样，调整图像的尺寸；S13、对图像序列中人脸区域定位，以及对各图像序列进行面部图像裁剪，得到源面部图像序列和目标面部图像序列；S14、对每个面部图像序列中的第一帧图像进行人脸地标点检测，得到描述人脸关键位置的Q个特征点；S15、利用所述特征点的坐标将面部图像划分成N个特定的互不重叠但又紧密相邻的感兴趣区域，其中，N＜Q，且Q，N均为正整数；S16、将各面部图像序列灰度化；S2、提取主方向平均光流特征步骤，计算各面部图像序列的光流场，提取MDMO特征，其中MDMO特征为基于光流的主方向平均光流特征；S3、根据源面部图像序列的特征分布特点，对目标样本的特征结构进行约束，目标样本是目标微表情数据集中的测试样本；S4、对源面部图像序列的MDMO特征建立组稀疏模型，对每个感兴趣区域的贡献度进行量化；S5、使用所述组稀疏模型对所述目标面部图像序列进行微表情种类识别，输出识别结果。2.根据权利要求1所述的微表情识别方法，其特征在于，步骤S13包括：对每个图像序列中的第一帧图像进行人脸检测，以定位面部区域，以原始矩形包围框的中心点作为基准，对该图像的前脸选框按照同等比例向四周进行外扩，得到面部区域；根据检测出的面部区域的位置和尺寸，对该图像序列中的其他图像进行区域裁剪操作，得到源面部图像序列和目标面部图像序列。3.根据权利要求1所述的微表情识别方法，其特征在于，步骤S15中根据人脸动作编码系统中的面部动作单元划分感兴趣区域，每个感兴趣区域都和面部动作单元相对应。4.根据权利要求1所述的微表情识别方法，其特征在于，步骤S16之后还包括：S17、对各面部图像序列的帧数归一化，采用时间插值模型对每个面部图像序列的帧数进行归一化。5.根据权利要求1所述的微表情识别方法，其特征在于，步骤S2中计算各面部图像序列的光流场的方法为：计算所述面部图像序列中除第一帧之外的每一帧f
i
(i＞1)和第一帧f1之间的光流向量[V
x
,V
y
]，并转换为极坐标(ρ,θ)的表达形式，其中V
x
和V
y
分别是光流运动速度的x分量和y分量，ρ和θ分别是光流运动速度的幅值和光流运动速度的角度。6.根据权利要求5所述的微表情识别方法，其特征在于，步骤S2中提取MDMO特征的方法为：在每一帧f
i
(i＞1)中，每一个感兴趣区域R
k
i(k＝1,2,
…
,N)中所有的光流向量，根据它们的角度分类为8个方向的bins，选择光流向量数量最多的bin作为主方向，记作Bmax；
计算所有属于Bmax的光流向量的平均值，将其定义为的主方向光流，符号化为的主方向光流，符号化为是光流运动速度的平均幅值，是光流运动速度的平均角度；通过一个原子光流特征Ψ
i
来表示每一帧f
i
(i＞1)：Ψ
i
的维数是2N，一个m帧的微表情视频片段Γ可被表示为一组原子光流特征：Γ＝(Ψ2,Ψ3,
…
,Ψ
m
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)对所有Ψ
i
(i＞1)中的取平均，即：取平均，即：为第k个感兴趣区域的主方向平均光流向量；对向量中的幅值做归一化处理：将公式(5)中的代入公式(4)并替换掉其中的得到一个新的2N维行向量作为描述视频片段Γ的MDMO特征：7.根据权利要求1所述的微表情识别方法，其特征在于，步骤S3中对目标面部图像序列的特征结构进行约束的方法为：源面部图像序列的MDMO特征为目标面部图像序列的MDMO特征为其中d为特征向量的维数，n
s
和n
t
分别是源样本的个数和目标样本的个数，源样本是源微表情数据集中的训练样本，对所述目标样本的特征变换满足以下两个要求：S31、源样本的特征在此过程中应保持不变，即需要满足下面的条件：其中G是目标样本特征变换算子；S32、采用函数f
G
(X
s
,X
t
)作为公式(7)的正则项，得到目标函数：其中λ是权重系数，用于调节目标函数中两项的平衡；目标样本特征变换算子G通过核映射和线性投影操作确定。8.根据权利要求7所述的微表情识别方法，其特征在于，目标样本特征变换算子G的确定方法为：
通过一个核映射算子φ将源样本从原始特征空间投影到希尔伯特空间；通过一个投影矩阵φ(C)∈R
∞
×
d
将源样本从希尔伯特空间变换回原始特征空间，G可以表示为G(
·
)＝φ(C)
T
φ(
·
)的形式；公式(8)中的目标函数改写为：最小化目标函数在希尔伯特空间内的最大均值差异距离MMD；把MMD当作正则项f
G
(X
s

【专利技术属性】
技术研发人员：于堃，
申请(专利权)人：山东外贸职业学院，
类型：发明
国别省市：