一种无监督的实时面部表情捕捉方法技术

本发明专利技术是一种无监督的实时面部表情捕捉方法。该方法可以在无监督的条件下分析面部特征点，并将特征点转换为具有语义信息的表情单元系数。本发明专利技术具有如下特点：算法无需对特定用户做表情采集，可以无监督的学习用户面部表情，因此基于本发明专利技术算法的系统具有较强的普适性和易用性。

【技术实现步骤摘要】
一种无监督的实时面部表情捕捉方法
本专利技术属于计算机视觉
，具体地说是一种无监督的实时面部表情捕捉方法。
技术介绍
实时面部表情捕捉技术是计算机视觉领域的热点问题之一。该问题的解决方法通常是从面部提取关键特征点，然后建立特征点和表情语义信息之间的关联，前一步称为特征点提取，后一步称为表情映射。ThibautWeise等人在文章RealtimePerformance-BasedFacialAnimation中，通过采集用户的特殊表情，建立精确的表情先验，然后根据面部特征点和表情先验完成表情映射。后续方法基本均延续此技术路线，然而这种依赖于监督式训练的方法具有以下缺点：(1)训练工作需要用户配合进行，不但花费时间，而且训练质量难以把控；(2)训练需要采集不同的表情，过程繁琐，对于用户来说不便使用。为解决此问题，本专利技术提出了一种无监督的实时面部表情捕捉方法，该方法不依赖于上述训练过程，可在捕捉过程中自发的学习用户表情信息，从而使系统具备较强的普适性和易用性。
技术实现思路
本专利技术的目的是解决现有的实时面部表情捕捉算法依赖于监督式的训练，从而导致系统的普适性和易用性较差的问题。本专利技术提出了一种无监督的实时面部表情捕捉方法，该方法可以在实时捕捉的过程中自发学习用户的表情，不需要任何人工干预。本专利技术的方法首先从面部特征点中提取与FACS表情单元相对应的几何特征，然后将几何特征加入几何特征样本集。样本集进行样本分布分析，从而计算出各个表情单元的变化区间。根据当前样本及表情单元变化区间，可以计算出表情单元系数。这一过程在完全无监督的条件下进行。与现有技术相比，本专利技术的有益效果是：算法无需用户相关的表情采集训练，因此基于本专利技术算法的系统具备较强的普适性和易用性。附图说明图1为本专利技术的算法的整体流程图；图2为本专利技术的算法所用的表情表示方法示意图；图3为面部关键特征点和几何特征示意图；图4为表情单元的变化区间；图5为最近邻样本合并算法的伪代码；图6为几何特征样本的值及表情单元变化区间的节点。具体实施方式本专利技术具体的说是一种无监督的实时面部表情捕捉的方法。本专利技术使用的表情表示方法为Blendshape，对于某个用户，其任意表情可以表示为该用户的自然表情加上一系列表情基的线性组合，如图2所示。表情基是带有特定语义的表情单元，如张嘴、抬眉毛等，本专利技术使用FACS定义的表情单元作为表情基。由于表情基的精确数值与具体用户相关，因此现有的表情捕捉方法几乎都需要对特定用户做表情采集从而获知该组表情基，这就造成系统普适性较低且不易使用。本专利技术所用的算法不依赖于对特定用户做表情采集，因此系统具备较强的普适性和易用性。具体来说，所述的算法分为以下几个步骤：(1)从面部关键特征点中提取与FACS表情单元相对应的几何特征，图3所示为面部特征点及一些重要的几何特征。几何特征是可以代表表情单元的几何度量值，如嘴巴宽度、嘴巴高度、眉眼间距、双眼内眼角间距等。这些特征中，有些为恒定量，如双眼内眼角间距，有些则随着表情的变化而改变，如嘴巴宽度、嘴巴高度等。为防止误差带来的绝对数值的缩放，需要对几何特征进行归一化，具体的做法是用各个特征的值除以双眼内眼角间距，相除的结果作为最终的几何特征值，所有的几何特征值共同构成一个几何特征样本，该样本能够代表多个表情单元组合出的表情。(2)按照一定策略将几何特征加入几何特征样本集。被加入样本集的样本带有一个权重属性，该属性用来标识这个样本在样本集中的影响因子。样本的权重大小与潜在误差成负相关的关系。权重最大为1，最小为0。若样本权重过低，则说明潜在误差过大，此时样本集须丢弃这类不可靠样本。对于可靠样本，本专利技术算法假定误差为高斯误差，真实样本服从以观测值为期望，以某一与权重相关的值为方差的高斯分布：sv，ω～N(μ，σ2)(3)其中，sv，ω表示观测值为v，权重为ω的样本的真实值，μ＝v，σ＝-lnω。为了补全因误差缺失的信息，需要从该样本观测值的左右两侧各取一个补偿样本，使其权重为(1-ω)/2，然后将补偿样本一起加入到样本集。设补偿样本的值为v′，则有：其中f为高斯分布的概率密度函数。通过求解(4)可以计算出v′的值。由于样本集容量不可能无限增长，因此当样本集已满时必须采取措施处理新加入的样本。具体措施如下：对某个新加入的几何特征样本，在样本集中找到其最近邻样本，然后对这两个样本进行加权合并以形成一个新样本。合并后样本集中的样本总数保持不变。(3)几何特征样本集根据样本分布计算表情单元变化区间。每个表情单元的变化区间由三个节点数值确定，分别是负极限、无表情和正极限，如图4所示。三个节点对应的表情单元的系数分别是-1，0和1。本专利技术的算法采用最近邻样本合并方法计算中间节点的值，算法伪代码如图5所示。当合并至只剩下三个样本时，中间样本的值为“无表情”节点。该节点将整个表情区间划分为两个单向的区间，这两个区间的另一端点分别是“负极限”节点和“正极限”节点，本专利技术算法使用离群样本移除算法计算“负极限”和“正极限”节点。以寻找“负极限”节点为例，算法步骤如下：从最左侧样本开始依次向右扫描并计数，1)若相邻样本距离大于负向样本集宽度的l％，则移除左侧样本并重新计数；2)若计数达到负向样本总数的k％，或已扫描的样本数达到m％，则终止算法。图6所示为某几何特征样本的值及用上述算法求得的表情单元区间节点。(4)根据当前几何特征样本和表情变化区间计算表情单元系数。表情单元的变化区间由三个关键节点确定，分别是gmin、grest和gmax，当这三个节点已知后，根据几何特征值g可求得组合系数w：由于所述方法的普适性和易用性，本专利技术拥有众多潜在的应用场合，例如真实表情驱动的三维人脸动画、面部表情控制的人机交互等。本专利技术未详细阐述的部分属于本领域的技术人员公知技术。以上所述仅是本专利技术的优选实施方式，应当指出，对于本
的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
一种无监督的实时面部表情捕捉方法，其特征在于如下步骤：（1）从面部图像特征点中提取与FACS表情单元相对应的几何特征；（2）将几何特征添加至几何特征样本集；（3）几何特征样本集根据样本分布计算表情单元变化区间；（4）根据当前几何特征样本和表情单元变化区间计算表情单元系数。

【技术特征摘要】
1.一种无监督的实时面部表情捕捉方法，其特征在于如下步骤：(1)从面部图像特征点中提取与FACS表情单元相对应的几何特征；(2)将几何特征添加至几何特征样本集；(3)几何特征样本集根据样本分布计算表情单元变化区间；(4)根据当前几何特征样本和表情单元变化区间计算表情单元系数；所述步骤(2)进一步包括以下子步骤：(2.1)根据潜在误差大小为几何特征样本设置权重，权重值最高为1，最低为0；(2.2)为待添加的几何特征样本增加补偿样本；假设样本的真实值服从高斯分布：sv，ω～N(μ，σ2)(1)其中，sv，ω表示观测值为v，权重为ω的样本的真实值，μ＝v，σ＝-lnω；为了补全因误差缺失的信息，需要从观测样本的左右两侧各取一个权重为(1-ω)/2的补偿样本，然后一起添加到样本集，设补偿样本的值为v′，则有：其中f为高斯分布的概率密度函数；根据公式(2)计算出v′的值；(2.3)样本集已满时进行最近邻样本加权合并；对某个新加入的几何特征样本，在样本集中找到其最近邻样本，然后对这两个样本进行加权合并以形成一个新...

【专利技术属性】
技术研发人员：周忠，刘少龙，石峰，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11