一种基于主动迁移学习的微表情识别方法技术

本发明专利技术涉及一种基于主动迁移学习的微表情识别方法，包括：(1)宏表情、微表情特征提取；(2)微表情主动迁移学习问题的建立与求解；(3)微表情识别。基于宏表情和微表情的内在联系，本发明专利技术通过一个非对称的线性翻译器，构筑宏表情到微表情之间的桥梁。主动学习在开始阶段可以利用的标注样本比较少，通过该翻译器，使微表情在变换域中可以利用宏表情域的监督信息，从而有助于主动学习在微表情域选择高质量的样本，被人工标注后加入到已有训练集中，训练出更为有效的分类器。

【技术实现步骤摘要】
一种基于主动迁移学习的微表情识别方法
本专利技术涉及一种基于主动迁移学习的微表情识别方法，属于机器学习和模式识别的

技术介绍
微表情是一种类型的自发表情，它是情绪的自然表露，是人不经意间的情感表达，因而无法复制伪造，因此在临床诊断和安全防范等领域有着极大的利用价值。微表情类别的标注是一项要求严格的工作，需要具有心理学背景的科研人员结合图像序列的上下文信息，给出综合的判断。为了给出标准的微表情样本，科研人员花费了大量时间和经历设计诱导机制，采集样本和人工标注，但现有数据库样本的数量上还是太少。宏表情，即我们熟知的人的表情，在定义上与微表情存在诸多差异，比如持续时间和变化幅度。宏表情动作幅度强，表达明显，在单帧图片上即可被很好地认知；而微表情动作微弱，需要借助整个图像序列加以判断。然而，在本质上，它们都是由面部肌肉运动而产生的客观形态，是人类内心情绪状态的表达。Ekman等人将表情视为由不同的动作单元组成，根据他们提出的面部行为编码系统(FacialActionCodingSystem，FACS)可以定量地确定表情的属性。微表情的研究同样以FACS作为基础理论，这从侧面反映出表情和微表情之间存在的内在联系。现有方法先利用微表情标注数据集训练得到分类器，但该分类器的泛化能力与标注数据集的大小直接相关。然而现实是，由于标注资源的限制，无标注数据比标注数据容易获得。如何借助少量的微表情标注样本以提升微表情自动识别的效果是一个值得思考的问题。
技术实现思路
针对现有技术的不足，本专利技术提供了一种基于主动迁移学习的微表情识别方法。本专利技术根据宏表情和微表情之间的语义相关性，从宏表情所在的域(源域)学习有用的知识，帮助在微表情域(目标域)选择高质量的样本，被人工标注后加入到训练集中，训练更为有效的分类器，以提高微表情识别的效果。本专利技术结合监督学习和半监督学习中广泛关注的主动学习和迁移学习，一方面，利用宏表情和微表情之间存在的内在联系，迁移宏表情域的样本分布信息，以增加微表情域的监督信息，另一方面，与被动地等待接受标注不同，我们从微表情候选集(通常被称为主动池)中挑选携带大量信息的微表情样本，然后交由人工进行标注。挑选出的样本是候选集的一个“最优”子集，因此，等量标注后能训练出更好的分类模型。本专利技术的技术方案如下：一种基于主动迁移学习的微表情识别方法，包括：(1)宏表情、微表情特征提取；(2)微表情主动迁移学习问题的建立与求解；(3)微表情识别。根据本专利技术优选的，所述步骤(2)，微表情主动迁移学习问题的建立与求解，包括：A、定义微表情主动迁移学习的问题：令为宏表情域(源域)样本特征空间，ds为源域特征维数，任意宏表情域样本特征令为微表情域(目标域)样本特征空间，dt为目标域特征维数，任意微表情样本特征在宏表情域标注一个训练数据集且是的真实类标签；在微表情域标注另外一个训练数据集(种子集)且微表情域的候选数据集(主动池)主动学习最初依赖具有的知识，按照准则对上的数据给予评价。由于l通常很小，不足以用来训练一个可靠的分类模型。因此，我们希望，通过迁移源域的相关知识，在的辅助下，提高主动学习的效果。B、由于多元分类问题可以分解成多个二元分类问题，根据结构风险最小化，在宏表情域建立C个二元分类问题，如式(i)所示：式(i)中，wc是决定第c个二元分类器的法向量，bc是常数项，Cs是宏表情域分类器的惩罚系数，l是损失函数，因为宏表情和微表情在不同的特征空间中，为了连接两个不同的空间到一个公共空间，学习一个线性的“翻译器”W将微表情域的数据点映射到公共空间，在公共空间中分享宏表情域的分类信息，如式(ii)所示：式(ii)中，Ct是微表情域分类的惩罚系数，通过式(ii)，我们希望W可以将微表情域的样本点映射到分类超平面正确的一侧。也就是说，我们希望借助wc和W，完成迁移学习。因为确定了分类器的具体形式，根据式(ii)，得到遵循不确定性准则的主动学习的目标函数，如式(iii)所示：式(iii)中，Q表示被选择的样本组成的集合；根据式(i)和式(iii)，建立主动和迁移联合学习的框架，如式(iv)所示：在式(iv)中我们采用了增广形式的分类器，为了表示简单，吸收增加的常数项，即得到式(v)：根据式(v)的形式，定义源域数据矩阵目标域数据矩阵并采用平方损失函数，如式(vi)所示：式(vi)中，是对应上样本的查询因子；线性分类器本质上处理的是二元问题，为了拓展至多元问题，常采用的策略有“一对一”或“一对多”。我们的目标函数采用的是后者。“一对一”策略会产生一些与本类别无关的分类器，由于这些分类器得不到本类别的任何监督信息，而在主动学习中，当有新样本需要被评估时，这些无关的分类器所产生的结果会引起很大的歧义。相比之下，“一对多”策略不存在这样的问题。由于式(vi)是一个非凸的最优化问题，使用交替解法进行求解，主要分为三步。C、求解微表情主动迁移学习问题a、固定W，qi，将式(vi)转化为求解wc的子问题，如式(vii)所示：设由qi确定的的子集对应的数据阵为Xq，引入辅助向量由式(vii)得到式(viii)：式(viii)的增广拉格朗日函数如式(ix)所示：式(ix)中，λ是拉格朗日乘子，ρ是约束违规惩罚参数；式(ix)中的wc，z，λ是可以分开求解的，在基本的高斯-赛德尔结构中，式(ix)的第k+1次迭代如式(x)所示：求解式(x)中的子问题。b、固定wc，qi，转化为求解W的子问题，如式(xi)所示：引入由式(xi)得到式(xii)：式(xii)的增广拉格朗日函数如式(xiii)所示：式(xiii)中，λ1,λ2,λ3是拉格朗日乘子，ρ是约束违规惩罚参数；式(xiii)中W,z1,z2,z3,λ1,λ2,λ3是可以分开求解的，在基本的高斯-赛德尔结构中式(xiii)第k+1次迭代如式(xiv)所示：求解式(xiv)中的子问题；c、固定wc，W，转化为求解qi的子问题，如式(xv)所示：式(xv)中，将qi松弛到连续空间[0,1]后使用线性规划求解；根据已经计算得到的qi，设置其中最大的一个为1，余下的为0；式(xv)达到迭代次数后，最大的qi对应的微表情样本的特征经由人工标注后加入到C、微表情识别：更新的包含的特征x被映射成特征WTx后，用于训练可靠的分类器模型；对于未知标签的微表情样本，同样提取整个图像序列的主方向平均光流特征，该特征被W映射到新空间后，使用上述分类器进行识别。根据本专利技术优选的，求解式(x)中的子问题，包括：对于求解式(x)中关于的子问题，如式(xvi)所示：式(xvi)是关于wc的凸函数，因此，得到式(xvii)：式(xvii)中，I是单位阵，对于求解式(x)中关于zk+1的子问题，如式(xviii)所示：式(xviii)中，式(xviii)是一个稀疏求解的问题。根据本专利技术优选的，求解式(xiv)中的子问题，包括：对于求解式(xiv)中Wk+1的子问题，如式(xix)所示：通过梯度下降法求解式(xix)。根据本专利技术优选的，求解式(xiv)中的子问题，包括：对于求解式(xiv)中的子问题，如式(xx)所示：式(xx)中，式(xx)是稀疏求解的问题。本专利技术的有益效果是：基于宏表情和微表情的内在联系，本专利技术通过一本文档来自技高网...

【技术保护点】
1.一种基于主动迁移学习的微表情识别方法，其特征在于，包括：(1)宏表情、微表情特征提取；(2)微表情主动迁移学习问题的建立与求解；(3)微表情识别。

【技术特征摘要】
1.一种基于主动迁移学习的微表情识别方法，其特征在于，包括：(1)宏表情、微表情特征提取；(2)微表情主动迁移学习问题的建立与求解；(3)微表情识别。2.根据权利要求1所述的一种基于主动迁移学习的微表情识别方法，其特征在于，所述步骤(2)，微表情主动迁移学习问题的建立与求解，包括：A、定义微表情主动迁移学习的问题：令为宏表情域样本特征空间，ds为源域特征维数，任意宏表情域样本特征令为微表情域样本特征空间，dt为目标域特征维数，任意微表情样本特征在宏表情域标注一个训练数据集且是的真实类标签；在微表情域标注另外一个训练数据集且微表情域的候选数据集B、在宏表情域建立C个二元分类问题，如式(i)所示：式(i)中，wc是决定第c个二元分类器的法向量，bc是常数项，Cs是宏表情域分类器的惩罚系数，l是损失函数，学习一个线性的翻译器W将微表情域的数据点映射到公共空间，在公共空间中分享宏表情域的分类信息，如式(ii)所示：式(ii)中，Ct是微表情域分类的惩罚系数，根据式(ii)，得到遵循不确定性准则的主动学习的目标函数，如式(iii)所示：式(iii)中，Q表示被选择的样本组成的集合；根据式(i)和式(iii)，建立主动和迁移联合学习的框架，如式(iv)所示：吸收增加的常数项，即得到式(v)：根据式(v)的形式，定义源域数据矩阵目标域数据矩阵并采用平方损失函数，如式(vi)所示：式(vi)中，是对应上样本的查询因子；C、求解微表情主动迁移学习问题a、固定W，qi，将式(vi)转化为求解wc的子问题，如式(vii)所示：设由qi确定的的子集对应的数据阵为Xq，引入辅助向量由式(vii)得到式(viii)：式(viii)的增广拉格朗日函数如式(ix)所示：式(ix)中，λ是拉格朗日乘子，ρ是约束违规惩罚参数；在基本的高斯-赛德尔结构中，式(ix)的第k+1次迭代如式(x)所示：求解式(x...

【专利技术属性】
技术研发人员：贲晛烨，李传烨，任亿，翟鑫亮，李梦雅，张鑫，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37