基于双稀疏迁移学习的跨库微表情识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于双稀疏迁移学习的跨库微表情识别方法及装置，方法包括：(1)获取不同的微表情训练数据库和测试数据库(2)将训练数据库和测试数据库中的微表情数据分别处理得到微表情的LBP‑TOP特征；(3)建立双稀疏迁移学习模型；(4)将训练数据库和测试数据库的微表情特征数据输入双稀疏迁移学习模型进行训练，训练时；(5)获取待识别的微表情数据LBP‑TOP特征，输入训练好的双稀疏迁移学习模型，输出情感类别。本发明专利技术准确率更高。

【技术实现步骤摘要】
基于双稀疏迁移学习的跨库微表情识别方法及装置
本专利技术涉及情感识别技术，尤其涉及一种基于双稀疏迁移学习的跨库微表情识别方法及装置。
技术介绍
人体面部微表情识别是当前人工智能以及情感计算领域的一个研究热点，应用前景广阔。传统的微表情识别往往在单个微表情数据库上进行训练与测试，而在实际生活与应用中，训练数据库与测试数据库的微表情数据往往有很大的差异，例如采集环境、采集设备等，故在不同微表情数据库上进行微表情识别更贴近于真实的生活与应用场景，这是一种跨库微表情识别问题。跨库微表情识别的难点在于提取合适的微表情特征并缩小训练数据库数据以及测试数据库数据的特征分布差异。稀疏学习方法是一种有效提取与微表情识别相关的重要特征与面部区域的手段，其具有反馈与学习的功能，在微表情识别的领域中应用广泛。特征向量的均值差异是一种衡量不同域之间数据分布差异的有效方法，可以有效表示不同微表情数据库之间的特征分布差异。
技术实现思路
专利技术目的：本专利技术针对现有技术识别结果不够准确的问题，提供一种基于双稀疏迁移学习的跨库微表情识别方法及装置，识别结果更准确。技术方案：本专利技术所述的基于双稀疏迁移学习的跨库微表情识别方法包括：(1)获取两个不同的微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包括有若干微表情数据和对应的情感类别标签；(2)将训练数据库和测试数据库中的微表情数据分别进行预处理，得到每段微表情数据的LBP-TOP(LocalBinaryPatternfromThreeOrthogonalPlanes)特征；(3)建立双稀疏迁移学习模型，所述双稀疏迁移学习模型包括一项投影向量均值项以及两项正则化稀疏项；(4)将训练数据库和测试数据库中微表情数据的LBP-TOP特征和对应的情感类别标签分别输入建立的双稀疏迁移学习模型进行训练，其中，在训练模型时使用交替方向法进行训练，得到待学习参数的最优值C*和β*；(5)将待识别微表情数据进行预处理，得到其LBP-TOP特征，并将LBP-TOP特征输入训练好的双稀疏迁移学习模型，输出识别的情感类别。进一步的，步骤(2)中所述预处理包括：人脸检测，对齐，1*1、2*2、4*4、8*8的人脸多尺度网格划分和提取特征。进一步的，步骤(3)中建立的所述双稀疏迁移学习模型具体为：s.t.β≥0式中，为投影向量均值项，||β||1、||CT||2,1为正则化稀疏项，L为情感类别标签形成的矩阵，C＝[C1,...,CN]为回归系数矩阵，为待学习参数，β＝[β1,...,βN]T为权重向量，其元素为非负实数，表示对应LBP-TOP特征对微表情识别的作用，为待学习参数，N表示人脸的分块数，ns、nt分别为训练数据库和测试数据库的样本数，分别为训练数据库、测试数据库中微表情数据的LBP-TOP特征组成的矩阵的第i个列向量，1s、1t分别为长度为ns、nt的元素值全为1的向量，λ、μ和τ为控制正则项的权衡系数，为Frobenius范数的平方，||||2,1为2,1范数，||||1为1范数。进一步的，步骤(4)中所述交替方向法具体为：(4-1)固定β,更新C：将所述双稀疏迁移学习模型变换为：使用增广拉格朗日乘子法对上式进行求解，得到C的最优值C*；(4-2)固定C,更新β：将所述双稀疏迁移学习模型变换为：s.t.β≥0通过最小二乘法对上式进行优化得到β的最优值β*。进一步的，步骤(5)中获取待识别微表情的情感类别的方法为：将待识别微表情的LBP-TOP特征Xt输入训练好的双稀疏迁移学习模型，得到待识别微表情的情感类别Lpred：式中，()i表示对应矩阵的第i个列向量；为待识别微表情的情感标签向量，表示的第k个元素，m为情感类别数。本专利技术所述的基于双稀疏迁移学习的跨库微表情识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。有益效果：本专利技术与现有技术相比，其显著优点是：本专利技术使用LBP-TOP特征作为特征输入，采用跨库进行模型训练，双稀疏模型可以有效地提取对微表情识别有益的特征与面部区域，通过优化特征分布的投影向量的均值差异可以有效地缩小训练数据库数据与测试数据库数据的特征差异，使得识别准确率更高。附图说明图1是本专利技术提供的基于双稀疏迁移学习的跨库微表情识别方法的一个实施例的刘晨示意图；图2是微表情样本数据。具体实施方式本实施例提供了一种基于双稀疏迁移学习的跨库微表情识别方法，如图1所示，包括：(1)获取两个不同的微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包括有若干微表情数据和对应的情感类别标签。微表情数据如图2所示。(2)将训练数据库和测试数据库中的微表情数据分别进行预处理，得到每段微表情数据的LBP-TOP(LocalBinaryPatternfromThreeOrthogonalPlanes)特征。其中，预处理用于获取LBP-TOP特征，包括：人脸检测，对齐，1*1、2*2、4*4、8*8的人脸多尺度网格划分和提取特征。(3)建立双稀疏迁移学习模型，所述双稀疏迁移学习模型包括一项投影向量均值项以及两项正则化稀疏项。建立的所述双稀疏迁移学习模型具体为：s.t.β≥0式中，为投影向量均值项，||β||1、||CT||2,1为正则化稀疏项，L为情感类别标签形成的矩阵，C＝[C1,...,CN]为回归系数矩阵，为待学习参数，β＝[β1,...,βN]T为权重向量，其元素为非负实数，表示对应LBP-TOP特征对微表情识别的作用，为待学习参数，N表示人脸的分块数，ns、nt分别为训练数据库和测试数据库的样本数，分别为训练数据库、测试数据库中微表情数据的LBP-TOP特征组成的矩阵的第i个列向量，1s、1t分别为长度为ns、nt的元素值全为1的向量，λ、μ和τ为控制正则项的权衡系数，为Frobenius范数的平方，||||2,1为2,1范数，||||1为1范数。(4)将训练数据库和测试数据库中微表情数据的LBP-TOP特征和对应的情感类别标签分别输入建立的双稀疏迁移学习模型进行训练，其中，在训练模型时使用交替方向法进行训练，得到待学习参数的最优值C*和β*。其中，交替方向法进行训练过程具体为：(4-1)固定β,更新C：将所述双稀疏迁移学习模型变换为：使用增广拉格朗日乘子法对上式进行求解，得到C的最优值C*；(4-2)固定C,更新β：将所述双稀疏迁移学习模型变换为：s.t.β≥0通过最小二乘法对上式进行优化得到β的最优值β*。(5)将待识别微表情数据进行预处理，得到其LBP-TOP特征，并将本文档来自技高网...

【技术保护点】
1.一种基于双稀疏迁移学习的跨库微表情识别方法，其特征在于该方法包括：/n(1)获取两个不同的微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包括有若干微表情数据和对应的情感类别标签；/n(2)将训练数据库和测试数据库中的微表情数据分别进行预处理，得到每段微表情数据的LBP-TOP特征；/n(3)建立双稀疏迁移学习模型，所述双稀疏迁移学习模型包括一项投影向量均值项以及两项正则化稀疏项；/n(4)将训练数据库和测试数据库中微表情数据的LBP-TOP特征和对应的情感类别标签分别输入建立的双稀疏迁移学习模型进行训练，其中，在训练模型时使用交替方向法进行训练，得到待学习参数的最优值C

【技术特征摘要】
1.一种基于双稀疏迁移学习的跨库微表情识别方法，其特征在于该方法包括：
(1)获取两个不同的微表情数据库，分别作为训练数据库和测试数据库，其中，每个微表情数据库中包括有若干微表情数据和对应的情感类别标签；
(2)将训练数据库和测试数据库中的微表情数据分别进行预处理，得到每段微表情数据的LBP-TOP特征；
(3)建立双稀疏迁移学习模型，所述双稀疏迁移学习模型包括一项投影向量均值项以及两项正则化稀疏项；
(4)将训练数据库和测试数据库中微表情数据的LBP-TOP特征和对应的情感类别标签分别输入建立的双稀疏迁移学习模型进行训练，其中，在训练模型时使用交替方向法进行训练，得到待学习参数的最优值C*和β*；
(5)将待识别微表情数据进行预处理，得到其LBP-TOP特征，并将LBP-TOP特征输入训练好的双稀疏迁移学习模型，输出待识别微表情的情感类别。


2.根据权利要求1所述的基于双稀疏迁移学习的跨库微表情识别方法，其特征在于：步骤(2)中所述预处理包括：人脸检测，对齐，1*1、2*2、4*4、8*8的人脸多尺度网格划分和提取特征。


3.根据权利要求1所述的基于双稀疏迁移学习的跨库微表情识别方法，其特征在于：步骤(3)中建立的所述双稀疏迁移学习模型具体为：



s.t.β≥0
式中，为投影向量均值项，||β||1、||CT||2,1为正则化稀疏项，L为情感类别标签形成的矩阵，C＝[C1,...,CN]为回归系数矩阵，为待学习参数，β＝[β1,...,βN]T为权重向量，其元素为非负实数，表示对应LBP-TOP特征对微表情识别的作用，为待学...

【专利技术属性】
技术研发人员：宗源，刘佳腾，郑文明，唐传高，路成，李溯南，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32