人脸表情图像的分类及语义评判量化方法技术

本发明专利技术涉及在语义评判基础上对人脸表情图像分类及语义评判并进行量化的分析方法。本发明专利技术利用训练人脸表情图像样本集，提取表情特征形成标记图ＬＧ向量，将其投影到主成分ＰＣＡ子空间中，利用这些降维后的ＬＧ向量学习混合多维ｔ－分布，作为该图像六种基本情感的语义评判，按照哪个表情所占的概率最大，从而把该图像判到该表情类中。解决了现有技术存在的不明确、自动人脸表情识别困难，难以克服的奇异性等缺陷。本发明专利技术是一种极度柔韧和功能强人的基于统计的建模工具，提供了一个更鲁棒方法，避免了对观测样本所属分量的后验概率的极端估计，训练样本不需要标记，不需要任何后处理，对野值不太敏感，避免了这种人工评判。

【技术实现步骤摘要】

本专利技术涉及一种人脸表情图像的分析方法，特别涉及在语义评判基础上对人脸表情图像分类及语义评判并进行量化的分析方法。
技术介绍
目前，从计算机视觉和模式识别的角度进行人脸表情识别研究是目前表情识别研究的一个崭新方向，这种人脸表情的识别能力是智能计算机的标志之一，对它的研究使得具有情感敏感的人机交互成为可能。当计算机拥有这种识别情感的能力时，它就具有和人一样的识别他人情感的能力，这在教育、医疗、安检、娱乐、商务、社会发展等领域具有广泛的应用前景。此外，通过计算机的分析和处理手段，将情感的研究从感性认知角度，上升为可识别模型，对在认知科学上探索大脑对信息的分析与处理的机理、进一步加深对大脑中情感概念的解析和理解将具有极其重要的科学意义。人脸表情图像的研究在1971年由Ekman和Friesen假定了六种基本情感，即恐惧、愤怒、悲伤、高兴、厌恶及惊奇，每种情感都有独特的内容，并且和唯一一种人脸表情相关联。过去，人脸表情的分析主要是心理学家的研究课题，但现在利用计算机进行图像序列的自动人脸表情识别研究已经开始并取得了一定的有意义的成果。在本专利技术之前，用计算机进行自动人脸表情识别的方法，大体上有两种方案一是把表情识别看成是普通的模式分类问题，其最终目的是把人脸表情图像简单地划分到六种基本情感中的一种，比如流行的广义判别分析(GeneralizedDiscriminant Analysis，以下简称GDA)、线性判别分析(Linear DiscriminantAnalysis，以下简称LDA)，它们都是子空间学习方法，使得投影后的不同类的数据点尽量分散而同一类中的数据点尽量聚集；另一个经典的研究是Ekman的面部运动编码系统(Facial Action Coding System，简称FACS)，FACS用44块运动单元(Action Unit，AU)来描述所有可能的、视觉上可区分的关于位置和强度的面部运动，表情可通过单个AU或多个AU的线性组合来建模。这二种方法都是直接把人脸表情映射到由Ekman和Friesen定义的六种基本情感类别中的一个。然而，这六种情感类别却是描述性的，因此，不是十分明确；其次，一种表情分到多个情感类别也是可能的，例如，微笑的嘴巴和扬眉是惊奇和高兴的混合。这些都使得目前的自动人脸表情识别方法变得困难，上面两种方法也都不能给出人脸表情语义的量化评判。虽然从数据回归分析的角度，可以估计人脸图像相应的各基本情感成分，比如核典型相关分析(Kernel Canonical CorrelationAnalysis，以下简称KCCA)方法，它通过建立人脸图像同其对应的基本情感数据之间的关系模型，然后利用这个关系模型对未知人脸表情图像进行预测估计，但这种方法需要对训练样本进行人工的语义评判，而且在回归中还存在难以克服的奇异性问题。
技术实现思路
本专利技术的目的就在于克服上述缺陷，设计、研制一种采用有限混合多维t-分布对表情特征建模，并将每一个分量分布对应一个基本情感状态，则人脸表情分析可期望用有限混合模型来进行量化分类、评判的方法。本专利技术的技术方案是，其主要技术步骤如下(1)利用训练人脸表情图像样本集，提取表情特征形成标记图LG向量；(2)将这些LG向量投影到主成分PCA子空间中，丢弃那些较小的主成分；(3)利用这些降维后的LG向量学习混合多维t-分布，设x1，…，xn为样本量为n的p维LG向量，它们独立地抽自一个g-分量的混合多维t-分布f(xi;Θ)=Σj=1gπjfj(xi;θj)]]>其中，分量概率密度函数fj(xi；θj)表示给定xi来自第j个分量时xi的条件概率密度函数，θj为参数，混合比例πj非负且满足Σj=1gπj=1,]]>有三组参数混合比例πj，向量θj，分量数目g，模型中参数集Θ＝(π1，…πg-1，θ1，…，θg)，参数πg=1-Σj=1g-1πj,]]>在表情研究中，令g＝6为基本表情的类别数，fj(xi；θj)为p-维t-分布fj(xj;θj)=tp(xi;μj,Σj,γj)]]>=Γ(γj+p2)|Σj|-12(Γ(12))pΓ(γj2)γjp2(1+(xi-μj)TΣj-1(xi-μj)γj)-(γj+p)2]]>其中，θj＝(μj，∑j，γj)T，∑j是一正定矩阵，γj是自由度，Gamma函数Γ(s)=∫0∞e-xxs-1dx(s>0),]]>利用期望最大化算法，迭代计算模型参数Θ的极大似然估计，即具体地说，在E-步，利用目前Θ的估计 计算xi来自第j个分量地后验概率 Z^ij(k)=π^j(k)tp(xi;μ^j(k),Σ^j(k),γ^j(k))Σl=1gπ^l(k)tp(xi;μ^l(k),Σ^l(k),γ^l(k))]]>及条件概率ω^ij(k)=γ^j(k)+pγ^j(k)+(xi-μ^j(k))TΣ^j(k)-1(xj-μ^j(k))]]>在M-步，参数πj，μj，∑j分别被更新为π^j(k+1)=1nΣi=1nz^ij(k)]]>μ^j(k+1)=Σi=1nz^ij(k)ω^ij(k)xiΣi=1nz^ij(k)ω^ij(k)]]>Σ^j(k+1)=Σi=1nz^ij(k)ω^ij(k)(xi-μ^j(k+1))(xi-μ^j(k+1))TΣi=1nz^ij(k)ω^ij(k)]]>自由度的更新估计 是下面非线性方程的解 -log(γj(k)+p2)=0]]>(4)对于一个测试人脸表情图像t，用它来自每个分量的后验概率z^j=π^jtp(t;μ^j,Σ^j,γ^j)Σl=16π^ltp(t;μ^l,Σ^l,γ^l)]]>作为该图像六种基本情感的语义评判，其中，j＝1，本文档来自技高网...

【技术保护点】
人脸表情图像的分类及语义评判量化方法，其步骤如下：（１）利用训练人脸表情图像样本集，提取表情特征形成标记图ＬＧ向量；（２）将这些ＬＧ向量投影到主成分ＰＣＡ子空间中，丢弃那些较小的主成分；（３）利用这些降维后的ＬＧ向量 学习混合多元ｔ－分布，设ｘ↓［１］，…，ｘ↓［ｎ］为样本量为ｎ的ｐ维ＬＧ向量，它们独立地抽自一个ｇ－分量的混合多元ｔ－分布：ｆ（ｘ↓［ｉ］；Θ）＝＊π↓［ｊ］ｆ↓［ｊ］（ｘ↓［ｉ］；θ↓［ｊ］）其中，分量概率密度函数ｆ↓［ｊ ］（ｘ↓［ｉ］；θ↓［ｊ］）表示给定ｘ↓［ｉ］来自第ｊ个分量时ｘ↓［ｉ］的条件概率密度函数，θ↓［ｊ］为参数，混合比例π↓［ｊ］非负且满足∑↓［ｊ＝１］↑［ｇ］π↓［ｊ］＝１，有三组参数：混合比例π↓［ｊ］，向量θ↓［ｊ］，分量数目ｇ，模型中参数集Θ＝（π↓［１］，…π↓［ｇ－１］，θ↓［１］，…，θ↓［ｇ］），参数π↓［ｇ］＝１－∑↓［ｊ＝１］↑［ｇ－１］π↓［ｊ］，在表情研究中，令ｇ＝６为基本表情的类别数，ｆ↓［ｊ］（ｘ↓［ｉ］；θ↓［ｊ］）为ｐ－维ｔ－分布：ｆ↓［ｊ］（ｘ↓［ｉ］；θ↓［ｊ］）＝ｔ↓［ｐ］（ｘ↓［ｉ］；μ↓［ｊ］，∑↓［ｊ］，γ↓［ｊ］）＝Γ（γ↓［ｊ］＋ｐ／２）｜∑↓［ｊ］｜↑［－１／２］／（Γ（１／２））↑［ｐ］Γ（γ↓［ｊ］／２）γ↓［ｊ］↑［ｐ／２］（１＋（ｘ↓［ｉ］－μ↓［ｊ］）↑［Ｔ］∑↓［ｊ］↑［－１］（ｘ↓［ｉ］－μ↓［ｊ］）／γ↓［ｊ］）↑［－（γ↓［ｊ］＋ｐ）／２］其中，θ↓［ｊ］＝（μ↓［ｊ］，∑↓［ｊ］，γ↓［ｊ］）↑［Ｔ］，∑↓［ｊ］是一正定矩阵，γ↓［ｊ］是自由度，Ｇａｍｍａ函数Γ（ｓ）＝ ∫↓［０］↑［∞］ｅ↑［－ｘ］ｘ↑［ｓ－１］ｄｘ（ｓ＞０），利用期望最大化算法，迭代计算模型参数Θ的极大似然估计，即具体地说，在Ｅ－步，利用目前Θ的估计＊↑［（ｋ）］，计算ｘ↓［ｉ］来自第ｊ个分量地后验概率＊＊＊及条件概率　 　＊＊＊在Ｍ－步，参数π↓［ｊ］，μ↓［ｊ］，Σ↓［ｊ］分别被更新为：＊＊＊自由度的更新估计＊↑［（ｋ＋１）］是下面非线性方程的解：＊＊＊（４）对于一个测试人脸表情图像ｔ，用它来自每个分量的后验概 率＊＊＊作为该图像六种基本情感的语义评判，其中，ｊ＝１，…，６，参数＊↓［ｊ］，＊↓［ｊ］，＊↓［ｊ］，＊↓［ｊ］为ＥＭ学习算...

【技术特征摘要】

【专利技术属性】
技术研发人员：郑文明，王海贤，周晓彦，
申请(专利权)人：郑文明，
类型：发明
国别省市：84[中国|南京]