基于特征融合的视频中人脸表情识别方法技术

本发明专利技术提供一种基于特征融合的视频中人脸表情识别方法，该方法具体由一种面部表情的局部二值模式与局部相位量化的特征提取模块以及一种注意力分层的双线性池化残差网络所构成。首先采用对视频中每一帧进行采样的策略对视频进行处理，得若干个人脸表情采样结果。然后使用特征提取模块对这些采样结果进行处理，提取局部二值模式与局部相位量化特征，并将两种特征进行融合。最后，使用一种注意力分层双线性池化残差网络来制定情感识别网络，结合之前所融合的特征，得出情感分类结果。本发明专利技术可更好地捕获精细的面部表情图像之间的细微差异，并且采用信息融合后的模型能够在一定程度上提高其正确率，从而进一步提高面部情感分析的准确性。

【技术实现步骤摘要】
基于特征融合的视频中人脸表情识别方法
本专利技术涉及计算机视觉领域，特别是一种基于特征融合的视频中人脸表情识别方法。
技术介绍
随着计算机技术与智能设备的不断发展与普及，面部表情是传达人们心理活动、思想状态最自然、最直接的方式，因此，人脸表情识别(facialexpressionrecognition，FER)具有极大的应用价值，可在许多领域实现广泛应用，例如，心理状态检测、安防智能监控、商业营销推荐、临床医疗检测等。对面部表情识别的研究最早可追溯到20世纪70年代，美国心理学家艾克曼把人类的基本表情分为六种：高兴、生气、吃惊、恐惧、厌恶和悲伤，用于确定识别对象的类别；其次是建立了面部动作编码系统(FACS)，在此系统中他发现面部肌肉有43块，肌肉间的组合运动可以组合出1万多种表情，其中3000多种表情被定义具有情感意义。研究者按照系统划分的一系列人脸动作单元(AU)来描述人脸面部动作，依照面部肌肉运动的过程，分析人脸表情细微变化。现代运动模板的面部动作单元(AU)运动识别方法是使用Boosting算法训练专门的识别器，通过识别器准确地识别动作单元(AU)运动，根据不同情绪对应的动作单元(AU)数值的不同的特点，从而对人内心情绪做出准确判断。近年来，随着人工智能的发展和深度网络神经学习的热潮。面部表情识别技术需要进一步精确成熟，才能提高社会大众的认同度和信赖度。在面部情感识别的过程中，特征提取是其中的关键步骤，一些细微，小分辨率的面部表情需要深层特征以增强识别能力。除此之外，眉毛、眼睛、嘴等的细微变化可能导致截然不同的分类结果使得不同类表情间差异小，以及受姿态、背景、照明等因素影响，使得同类表情间差异大，故人脸表情识别仍存在较多不足。。
技术实现思路
为了克服上述缺陷，本专利技术提供一种基于特征融合的视频中人脸表情识别方法，该方法可以基于视频中的面部状态，有效提高其面部表情识别正确率。本专利技术为了解决其技术问题所采用的技术方案是：一种基于特征融合的视频中人脸表情识别方法，具体包括以下步骤：步骤1：对待检测视频中的每一帧采进行切割采样；步骤2：对采样结果进行光照补偿、灰度化、直方图均衡化、归一化的预处理；步骤2.1：使用灰度世界色彩均衡算法对图像进行光照补偿；步骤2.1.1：分别计算图像的三个颜色分量的平均值avgR、avgG、avgB，并令图像的平均灰度值为：avgGray＝(avgR+avgG+avgB)/3步骤2.1.2：令ar＝avgGray/avgRag＝avgGray/avgGab＝avgGray/avgB步骤2.1.3：对于图像中每个像素c，调整其R、G、B分量c(R)、c(G)、c(B)，使得：c(R)＝c(R)*arc(G)＝c(G)*agc(B)＝c(B)*ab步骤2.1.4：将图像中每个像素的R、G、B值都调整到可示范围区间内。令factor为图像中所有像素的R、G、B三个分量中的最大值，并令factor＝factor/255。若factor>1，则对于图像中的每一个像素c，调整其分量c(R)、c(G)、c(B)，使得：c(R)＝c(R)/factorc(G)＝c(G)/factorc(B)＝c(B)/factor步骤2.2：灰度化采用加权平均法，根据重要性及其它指标，将RGB图像的三个分量以不同的权值进行加权平均，公式如下：Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)步骤2.3：直方图均衡化的变换函数为：其中px(x)表示概率密度函数，在离散的图像中，表示直方图的每个灰度级的概率；步骤2.4：图像归一化就是对图像最大最小值归一化的方法，公式如下：其中xi表示图像像素点值；步骤3：通过LBP算法对人脸表情特征进行提取，假定T为某像素点的LBP编码，其定义为：T＝t(gc,g0,...gp-1)其中gc(xc,yc)是选中的中心像素点的灰度值，而gp∈(p＝0,1...,p-1)是周围邻域内像素点的灰度值，gpgp是由半径R和周围的像素点数P决定的，因此可以确定计算像素点gp，公式为：步骤3.1：针对图像的每个像素点计算LBP灰度值，由灰度值计算出人脸表情图像的特征向量，并连接所有区域的特征向量形成LBP特征直方图；步骤3.2：选择统一模式的LBP算法减少特征维数；步骤3.3：选择人脸表情图像的尺度大小，本专利选用7*7的区域进行划分，在表情图像中能取得较高的识别率；步骤3.4：计算直方图特征。按照LBP算法计算每个区域的直方图，并提取出不同的纹理信息，按照顺序依次连接所有的特征直方图，根据直方图向量描述人脸特征；步骤4：提取人脸表情的LPQ特征，使用纹理特征描述算子通过量化后得到的傅里叶相位光谱对图像进行描述，其量化表示为：步骤4.1：对一个表情图像f(x)，在像素点x，取邻域Ax(大小M×M)，对邻域Ax中的图像做短时傅里叶变换，公式如下：其中u表示变换的频率；步骤5：采用合适的参数对步骤3和步骤4中提取到的两个特征向量进行特征融合，采取简单加权的方式，并串联生成最终向量；步骤6：构建注意力分层双线性池化残差网络，并将步骤3与步骤4中得到的特征进行加权融合，送入注意力分层双线性池化残差网络中得到表情分类结果；步骤6.1：在残差网络中嵌入有效的注意力通道，通道注意力模块可表示为：Ax＝σ{C1DK[GAP(X)]}Ay＝σ{C1DK[GAP(Y)]}Az＝σ{C1DK[GAP(Z)]}其中，AX,AY,AZ为生成的有效通道注意力权重，C1D表示一维卷积，GAP为全局平均池化函数，k表示一维卷积的卷积核大小，σ表示Sigmod激活函数；其中为融合后的注意力特征图，表示对应元素点乘运算；步骤6.2：构建分层双线性池化模型，它是在分解双线性池化(FBP)模型的基础上构建的，通过在其他中间卷积层内进行层间特征交互来改善了FBP，利用与来自中间卷积层的补充信息的部分相关性，生成了改进的图像表示；其中FBP模型由每个空间位置的以下低阶外积运算定义：其中，是上上特定位置处的c维描述符，P是分类矩阵，d是决定联合嵌入维数的超参数，d’代表图像类别的数量，U和V是用于获得d维池化特征向量的投影矩阵，代表哈达玛积；对于每个空间位置，基于注意力特征图的分层双线性池化模型的输出矢量(d'为面部表情的分类数量)定义为：其中分别是不同卷积层的注意力特征图在相同空间位置处的c维局部描述符，分别为卷积特征层的投影矩阵；步骤6.3：结合上述特征，对表情进行分类，得出识别结果。进一步，在步骤3中，局部二值模式(本文档来自技高网...

【技术保护点】
1.一种基于特征融合的视频中人脸表情识别方法，其特征在于，具体包括以下步骤：/n步骤1：对待检测视频中的每一帧采进行切割采样；/n步骤2：对采样结果进行光照补偿、灰度化、直方图均衡化、归一化的预处理；/n步骤2.1：使用灰度世界色彩均衡算法对图像进行光照补偿；/n步骤2.1.1：分别计算图像的三个颜色分量的平均值avgR、avgG、avgB，并令图像的平均灰度值为：/navgGray＝(avgR+avgG+avgB)/3/n步骤2.1.2：令ar＝avgGray/avgR/nag＝avgGray/avgG/nab＝avgGray/avgB/n步骤2.1.3：对于图像中每个像素c，调整其R、G、B分量c(R)、c(G)、c(B)，使得：/nc(R)＝c(R)*ar/nc(G)＝c(G)*ag/nc(B)＝c(B)*ab/n步骤2.1.4：将图像中每个像素的R、G、B值都调整到可示范围区间内；令factor为图像中所有像素的R、G、B三个分量中的最大值，并令factor＝factor/255；若factor>1，则对于图像中的每一个像素c，调整其分量c(R)、c(G)、c(B)，使得：/nc(R)＝c(R)/factor/nc(G)＝c(G)/factor/nc(B)＝c(B)/factor/n步骤2.2：灰度化采用加权平均法，根据重要性及其它指标，将RGB图像的三个分量以不同的权值进行加权平均，公式如下：/nGray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)/n步骤2.3：直方图均衡化的变换函数为：/n...

【技术特征摘要】
1.一种基于特征融合的视频中人脸表情识别方法，其特征在于，具体包括以下步骤：
步骤1：对待检测视频中的每一帧采进行切割采样；
步骤2：对采样结果进行光照补偿、灰度化、直方图均衡化、归一化的预处理；
步骤2.1：使用灰度世界色彩均衡算法对图像进行光照补偿；
步骤2.1.1：分别计算图像的三个颜色分量的平均值avgR、avgG、avgB，并令图像的平均灰度值为：
avgGray＝(avgR+avgG+avgB)/3
步骤2.1.2：令ar＝avgGray/avgR
ag＝avgGray/avgG
ab＝avgGray/avgB
步骤2.1.3：对于图像中每个像素c，调整其R、G、B分量c(R)、c(G)、c(B)，使得：
c(R)＝c(R)*ar
c(G)＝c(G)*ag
c(B)＝c(B)*ab
步骤2.1.4：将图像中每个像素的R、G、B值都调整到可示范围区间内；令factor为图像中所有像素的R、G、B三个分量中的最大值，并令factor＝factor/255；若factor>1，则对于图像中的每一个像素c，调整其分量c(R)、c(G)、c(B)，使得：
c(R)＝c(R)/factor
c(G)＝c(G)/factor
c(B)＝c(B)/factor
步骤2.2：灰度化采用加权平均法，根据重要性及其它指标，将RGB图像的三个分量以不同的权值进行加权平均，公式如下：
Gray(i,j)＝0.299*R(i,j)+0.578*G(i,j)+0.114*B(i,j)
步骤2.3：直方图均衡化的变换函数为：



其中px(x)表示概率密度函数，在离散的图像中，表示直方图的每个灰度级的概率；
步骤2.4：图像归一化就是对图像最大最小值归一化的方法，公式如下：



其中xi表示图像像素点值；
步骤3：通过LBP算法对人脸表情特征进行提取，假定T为某像素点的LBP编码，其定义为：
T＝t(gc,g0,...gp-1)
其中gc(xc,yc)是选中的中心像素点的灰度值，而gp∈(p＝0,1...,p-1)是周围邻域内像素点的灰度值；gpgp是由半径R和周围的像素点数P决定的，因此可以确定计算像素点gp，公式为：



步骤3.1：针对图像的每个像素点计算LBP灰度值，由灰度值计算出人脸表情图像的特征向量，并连接所有区域的特征向量形成LBP特征直方图...

【专利技术属性】
技术研发人员：王天云，
申请(专利权)人：苏州元启创人工智能科技有限公司，
类型：发明
国别省市：江苏;32