直推式迁移组稀疏判别分析的跨姿态彩色图像表情识别制造技术

本发明专利技术公开了直推式迁移组稀疏判别分析的跨姿态彩色图像表情识别(TTGSLDA)方法，本发明专利技术的训练和测试人脸图像在两种不同的面部视角下拍摄得到，通过从目标人脸姿态中选择一组辅助的未标记的人脸图像，把其整合到源人脸姿态中已标记的训练图像集中，辅助图像的标签为直推式线性判别分析(TTLDA)方法要优化的参数。在学习得到辅助图像集的类别标签后，基于此参数训练一个支持向量机(SVM)来完成测试人脸图像的分类。为充分利用彩色图像的面部信息以提高表情识别的准确性，采用彩色尺度不变特征变换(SIFT)来表示人脸图像的特征。本发明专利技术具有识别率更高、鲁棒性更好的表情识别效果。

【技术实现步骤摘要】

本专利技术属于图像处理、模式识别的
，特别涉及直推式迀移组稀疏判别分 析的跨姿态彩色图像表情识别方法。
技术介绍
跨姿态的面部表情识别（FER)已成为面部表情识别研究领域的一个研究热点。相 比于正面或近似正面视角的FER问题，由于训练人脸图像和测试图像在表情特征分布方面 呈现显著的差异，使得跨姿态的表情识别面临很多的困难。举例来说，对于正面或近似正面 视角的人脸图像，人脸的右半部分和左半部分是对称或近似对称的。然而，对于非正面人脸 图像，两部分存在着较大的差异。 在处理跨姿态的FER问题时，大部分的方法需要通过一组类别信息已知的人脸图 像来学习得到表情识别模型，然后应用它来对测试图像进行情感的推断。然而在许多真实 场景中，很难获得与测试人脸图像姿态相同的类别信息已知的图像。因此原有的非正面FER 方法在此情况下无法取得较好的识别效果。 FER的另一个主要问题在于人脸特征的提取。对于人脸特征的提取，原先大部分 的方法基于人脸的灰度图像，如局部二值模式（LBP)特征、Gabor特征或尺度不变特征变换 (SIFT)特征。然而，相比于灰度图像，彩色图像能提供更多的人脸表情的外观信息，这将有 助于提高图像的表情分类性能。 在本专利技术之前，如何利用迀移学习方法，从而改善测试人脸姿态中图像类别信息 未知情况下表情识别性能的研究涉及较少。
技术实现思路
为了解决上述
技术介绍
提出的技术问题，本专利技术旨在基于直推式迀移组稀疏线性 判别分析方法，通过对目标人脸姿态中部分图像进行类别预测，从而改善其表情识别性能。 本专利技术的技术方案和主要技术步骤如下： (1)将整个数据集划分为源人脸姿态数据集和目标人脸姿态数据集； (2)对于源人脸姿态数据集中的每幅图像采用主动形状模型（ASM)自动定位49个 标记点，作为彩色SIFT特征提取的关键点； (3)将每幅图像根据彩色空间的三种颜色通道对应的分解为三种成分的图像，颜 色空间可为RGB、YCbCr或者CIE-Lab颜色空间，从每种成分图像中提取得到SIFT特征矢量 作为图像的表情特征矢量其中表 示对应于第k幅人脸图像的第i种颜色成分，第j个标记点的SIFT特征矢量，队表示源人 脸姿态的彩色人脸图像的数目； (4)提取源人脸姿态数据集每幅图像的表情类别标签矢量，CN 105184285 A 说明干ι 2/5 页是一个c X 1的矢量，c表示表情类别的数目，其元素根据以下规则取0或 1 : (5)将目标人脸姿态数据集的人脸图像分为一个辅助的数据集和一个测试数据 集； (6)对辅助集中的人脸图像提取图像的SIFT特征矢量(/ = 1,49;/: = 1,…,戈），其中Nt表示辅助集中人脸图像的数目； (7)将源人脸姿态数据集中的人脸图像特征矢量和辅助集的人脸图像特征矢量组 合起来基于直推式迀移组稀疏线性判别分析（TTGSLDA)方法进行学习，得到TTGSLDA模型 和辅助集人脸图像的类别标签矢量X(t); (8)利用辅助集人脸图像的特征矢量和类别标签矢量训练一个SVM分类器； (9)基于该分类器完成对目标人脸姿态中测试图像的表情分类。 其中，步骤（7)的具体过程如下： (a)令：表示对应于凡幅源人脸姿态图像的第i种颜色成分图 像的第j个标记点的特征矩阵表示对应于队幅辅助集目标人脸姿态 图像的第i种颜色成分图像的第j个标记点的特征矩阵； (b)令和分别表不 特征矩阵和的加权串联。权值 ' ,(值为1或0)的引入，目的在于区分与第i种颜 色成分图像中与第j个标记点相对应的人脸特征的重要性。 (c)令使得 B =Σ 又令 属,/ = ?，则可得如下TTGSLDA优化问题： 其中A e 和B e ITxd是回归系数矩阵，r是系数矩阵的秩，d是特征矢量的维 数。4 1表示XtK有元素之和，I |x ill表示Xi中非零元素的个数，ε是一个预定义的门 限，X1SO表示^中的元素非负。λ作为一个权衡参数来控制权值Wi j的稀疏性。此优化 问题可采用交替方向法（ADM)求解得到。 有益效果 本专利技术提出在目标人脸姿态中引入一个类别信息未知的辅助数据集，采用直推式 迀移学习技术将源人脸姿态的人脸图像的标签信息迀移到目标人脸姿态中。再由目标人脸 姿态图像的特征矢量和标签矢量训练一个SVM分类器，由于辅助数据集和测试数据集均来 自目标人脸姿态，故能有效改善表情识别方法的性能，提高识别准确性。本专利技术在国际著名 的两个多视角彩色表情数据库（BU-3DFE和Multi-PIE数据库）上进行了实验验证，实验结 果证实了有效性。【附图说明】 图1是本专利技术的基本流程图。【具体实施方式】 本专利技术技术方案实施的主要技术步骤具体如下： (1)将整个数据集划分为源人脸姿态数据集和目标人脸姿态数据集； (2)对于源人脸姿态数据集中的每幅图像采用主动形状模型（ASM)自动定位49个 标记点，作为彩色SIFT特征提取的关键点； (3)每幅图像根据彩色空间的三种颜色通道对应的分解为三种成分的图像，颜色 空间可为RGB、YCbCr或者CIE-Lab颜色空间，从每种成分图像中提取得到SIFT特征矢量作 为图像的表情特征矢量表示 对应于第k幅人脸图像的第i种颜色成分，第j个标记点的SIFT特征矢量，Ns表示源人脸 姿态的彩色人脸图像的数目； (4)提取源人脸姿态数据集每幅图像的表情类别标签矢量 是一个c X 1的矢量，c表示表情类别的数目，其元素根据以下规则取0或 (5)将目标人脸姿态数据集的人脸图像分为一个辅助的数据集和一个测试数据 集； (6)对辅助集中的人脸图像提取图像的SIFT特征矢量 (/ = 1,…,49; = 1,…· /V,)，其中Nt表示辅助集中人脸图像的数目； (7)将源人脸姿态数据集中的人脸图像特征矢量和辅助集的人脸图像特征矢量融 合起来基于直推式迀移组稀疏线性判别分析（TTGSLDA)方法进行学习，得到TTGSLDA模型 和辅助集人脸图像的类别标签矢量X(t); (8)利用辅助集人脸图像的特征矢量和类别标签矢量训练一个SVM分类器； (9)基于该分类器完成对目标人脸姿态中测试图像的表情分类。 本专利技术的基本流程图见图1所示。 在本实施例中，步骤（7)的具体过程如下： (a)令表示对应于队幅源人脸姿态图像的第i种颜色成分图 像的第j个标记点的特征矩阵，表示对应于队幅目标人脸姿态图像的 第i种颜色成分图像的第j个标记点的特征矩阵； (b)借鉴直推式迀移学习通过将类别信息未知的目标人脸姿态辅助集特征矢量与 类别信息已知的源人脸姿态特征矢量合并来学习 LDA模型，从而可归结为如下的直推当前第1页1 2 本文档来自技高网...

【技术保护点】
直推式迁移组稀疏判别分析的跨姿态彩色图像表情识别，其特征在于，存在以下步骤：(1)将整个数据集划分为源人脸姿态数据集和目标人脸姿态数据集；(2)对于源人脸姿态数据集中的每幅图像采用主动形状模型(ASM)自动定位49个标记点，作为彩色SIFT特征提取的关键点；(3)将每幅图像根据彩色空间的三种颜色通道对应地分解为三种成分的图像，颜色空间可为RGB、YCbCr或者CIE‑Lab颜色空间，从每种成分图像中提取得到SIFT特征矢量作为图像的表情特征矢量和(j＝1,…,49；k＝1,…,Ns)，其中表示对应于第k幅人脸图像的第i种颜色成分，第j个标记点的SIFT特征矢量，Ns表示源人脸姿态的彩色人脸图像的数目；(4)提取源人脸姿态数据集每幅图像的表情类别标签矢量是一个c×1的矢量，c表示表情类别的数目，其元素根据以下规则取0或1：(5)将目标人脸姿态数据集的人脸图像分为一个辅助的数据集和一个测试数据集；(6)对辅助集中的人脸图像提取图像的SIFT特征矢量和(j＝1,…,49；k＝1,…,Nt)，其中Nt表示辅助集中人脸图像的数目；(7)将源人脸姿态数据集中的人脸图像特征矢量和辅助集的人脸图像特征矢量组合起来基于直推式迁移组稀疏线性判别分析(TTGSLDA)方法进行学习，得到TTGSLDA模型和辅助集人脸图像的类别标签矢量X(t)；(8)利用辅助集人脸图像的特征矢量和类别标签矢量训练一个SVM分类器；(9)基于该分类器完成对目标人脸姿态中测试图像的表情分类。...

【技术特征摘要】

【专利技术属性】
技术研发人员：周晓彦，郑文明，钟静，张秀再，梅永，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏;32