一种基于局部特征投影的表情识别方法技术

本发明专利技术涉及一种基于局部特征投影的表情识别方法，包括：首先对人脸表情图像数据进行预处理，即对每一个人脸图像样本分别提取眉毛、眼睛部位局部图像和嘴巴部位局部图像，每个样本中提取的图像大小相同。采用一阶梯度算子计算局部图像中每个点的梯度幅值和方向，并将图像分成细胞单元，然后对每一个细胞单元独立进行梯度方向统计，根据每个梯度方向将幅值累加到直方图中，得到每个细胞单元的梯度方向直方图。)：取相邻的细胞单元组成多个图像块进行相互之间的成对组合，利用调和平均值计算其成对关系值，将每个图像块的关系值串联起来得到局部图像的二阶HOG特征；得到测试表情样本的类别标签。

【技术实现步骤摘要】
一种基于局部特征投影的表情识别方法
本专利技术涉及图像处理、表情识别领域。
技术介绍
表情识别是近年来机器视觉研究热点，广泛应用于图像理解、虚拟现实、医疗、人机交互等领域，表情识别的重点在于如何提取人脸的局部特征。梯度方向直方图(HOG)是一种通过计算和统计图像局部区域的梯度方向直方图用来描述图像边缘形状的特征，被广泛应用于表情识别中。但传统的HOG特征对表情的描述能力不足，而二阶HOG特征包含了更多信息，能更好地反映出人脸表情的梯度信息。但二阶HOG特征最大的缺点在于其维数过多，直接进行特征分类时效果不佳。
技术实现思路
本专利技术的目的是提供一种可以提高表情识别的分类效果的方法。本专利技术通过提取人脸表情的局部二阶HOG特征并进行投影，来提高表情识别方法的识别率。技术方案如下：一种基于局部特征投影的表情识别方法，包括下列步骤：步骤(1)：首先对人脸表情图像数据进行预处理，即对每一个人脸图像样本分别提取眉毛、眼睛部位局部图像和嘴巴部位局部图像，每个样本中提取的图像大小相同。步骤(2)：采用一阶梯度算子计算局部图像中每个点的梯度幅值和方向，并将图像分成m×n个大小相同的细胞单元，然后对每一个细胞单元独立进行梯度方向统计，将360度的梯度方向分为9个bin，根据每个梯度方向将幅值累加到直方图中，得到每个细胞单元的梯度方向直方图；步骤(3)：取相邻的细胞单元组成多个图像块进行相互之间的成对组合，利用调和平均值计算其成对关系值，将每个图像块的关系值串联起来得到局部图像的二阶HOG特征；步骤(4)：根据下列公式对二阶HOG特征进行投影，对人脸表情图像中的测试样本进行投影，并使用最近邻算法进行表情分类，得到测试表情样本的类别标签：其中，X为步骤(3)提取的样本HOG特征，W为投影矩阵，S为邻接矩阵，N为样本点个数。本专利技术的有益效果如下：1.本专利技术提取了人脸图像中的眉毛眼睛和嘴巴部分作为局部表情图像，去除了表情特征不明显的部分，使得选取的特征更具有代表性和区分度。2.本专利技术采用了二阶HOG特征提取人脸图像中的表情特征，与传统的HOG特征相比加强了细胞单元之间的关联，提高了选取的局部表情特征间的整体性。3.本专利技术对选取的特征进行了低维投影，通过降维可以去除二阶HOG特征中的冗余部分，提高了人脸表情分类的准确率。附图说明图1局部表情图像提取图2二阶HOG特征的提取具体实施方式在对人脸图像进行表情识别时，通常最能反映表情特点的特征为眉毛眼睛和嘴巴部位。因此本专利技术在对人脸图像进行预处理时，首先分别提取人脸图像中眉毛眼睛部位和嘴巴部位两种局部表情图像，并对提取局部表情图像的二阶HOG特征。传统的HOG特征通过将图像分成多个小的连通区域，这些连通区域被称为细胞单元(cell)。通过采集细胞单元中每个像素点的梯度或边缘方向的直方图，并将这些直方图组合起来构成特征描述器。而与传统的HOG特征相比，二阶HOG特征同时利用了采集的多个单元直方图元素之间的相互关系，提取一阶直方图的二阶统计特征，可以加强特征对人脸表情的区分能力。在提取的每个细胞单元中独立进行梯度方向统计时，需要将360度梯度方向分成若干个bin(区间)，然后根据每个像素点的梯度方向，利用双线性内插法将其幅值累加到直方图中。计算二阶HOG特征时，还需对每个细胞单元中多个直方图元素进行互相之间的成对组合，这样会导致提取的特征维度大幅增加。为了使提取的二阶HOG特征更有效地进行分类，本专利技术采取投影的方式降低特征维度，投影公式如下：其中X为提取的样本特征，W为投影矩阵，S为邻接矩阵，N为样本点个数。对于投影之后的特征，可以使用最近邻算法进行表情分类。本专利技术提出的一种基于局部特征投影的表情识别方法具体步骤如下：步骤(1)：首先对人脸表情图像数据进行预处理，即对每一个人脸图像样本分别提取眉毛眼睛部位局部图像和嘴巴部位局部图像，每个样本中提取的图像大小相同。步骤(2)：采用一阶梯度算子计算局部图像中每个点的梯度幅值和方向，并将图像分成m×n个大小相同的细胞单元。然后对每一个细胞单元独立进行梯度方向统计，将360度的梯度方向分为9个bin，根据每个梯度方向将幅值累加到直方图中，得到每个细胞单元的梯度方向直方图。步骤(3)：取相邻的若干个细胞单元组成多个图像块进行相互之间的成对组合，利用调和平均值计算其成对关系值，将每个图像块的关系值串联起来得到局部图像的二阶HOG特征。步骤(4)：根据公式(1)对二阶HOG特征进行投影，对人脸表情图像中的测试样本进行投影，并使用最近邻算法进行表情分类，得到测试表情样本的类别标签。实施例如下：在数据预处理阶段，对每张人脸表情图像分别提取眉毛眼睛部位和嘴巴部位两种局部表情图像，图像大小分别为64×24和48×16。提取二阶HOG特征时，设置每个细胞单元大小为8×8，将每一个细胞单元的梯度方向分为9个bin独立进行梯度方向统计。每个图像块由相邻的2×2个细胞单元组成，图像块之间重叠两个单元。在投影阶段，邻接矩阵的参数值由两样本之间的类别关系决定，同类样本的sij值为其中n为每类样本的个数，异类样本的sij值为0。样本之间的距离选取为两点间的欧式距离。本文档来自技高网...

【技术保护点】
一种基于局部特征投影的表情识别方法，包括下列步骤：步骤(1)：首先对人脸表情图像数据进行预处理，即对每一个人脸图像样本分别提取眉毛、眼睛部位局部图像和嘴巴部位局部图像，每个样本中提取的图像大小相同。步骤(2)：采用一阶梯度算子计算局部图像中每个点的梯度幅值和方向，并将图像分成m×n个大小相同的细胞单元，然后对每一个细胞单元独立进行梯度方向统计，将360度的梯度方向分为9个bin，根据每个梯度方向将幅值累加到直方图中，得到每个细胞单元的梯度方向直方图；步骤(3)：取相邻的细胞单元组成多个图像块进行相互之间的成对组合，利用调和平均值计算其成对关系值，将每个图像块的关系值串联起来得到局部图像的二阶HOG特征；步骤(4)：根据下列公式对二阶HOG特征进行投影，对人脸表情图像中的测试样本进行投影，并使用最近邻算法进行表情分类，得到测试表情样本的类别标签：

【技术特征摘要】
1.一种基于局部特征投影的表情识别方法，包括下列步骤：步骤(1)：首先对人脸表情图像数据进行预处理，即对每一个人脸图像样本分别提取眉毛、眼睛部位局部图像和嘴巴部位局部图像，每个样本中提取的图像大小相同。步骤(2)：采用一阶梯度算子计算局部图像中每个点的梯度幅值和方向，并将图像分成m×n个大小相同的细胞单元，然后对每一个细胞单元独立进行梯度方向统计，将360度的梯度方向分为9个bin，根据每个梯度方向将幅值累加到直方图中，得到每个细胞单元的梯度方向直方图；步骤(3)：取相邻的细胞单元组...

【专利技术属性】
技术研发人员：庞彦伟，周博，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12