基于局部与整体特征自适应融合的表情识别方法及系统技术方案

本发明专利技术公开了一种基于局部与整体特征自适应融合的表情识别方法及系统。该方法首先获取表情图像集，对表情图像集中的图像进行人脸检测、裁剪和对齐处理；然后构建一种表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层，其中，特征融合模块使用注意力机制学习人脸整体图像及其多个局部区域图像特征的注意力权重，并基于注意力权重自适应选择重要特征进行加权融合；再使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练；最后利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。本发明专利技术可自适应地融合来自整个人脸及未被遮挡的重要区域的表情特征，有效解决遮挡和姿态变化环境下的表情识别问题。

【技术实现步骤摘要】
基于局部与整体特征自适应融合的表情识别方法及系统
本专利技术涉及一种基于局部与整体特征自适应融合的表情识别方法及系统，属于计算机视觉和模式识别领域。
技术介绍
人脸表情是人际交往中信息传递的重要途径，在察觉说话人情绪、领悟言语含义和捕捉情感细节上起到非常重要的作用。据心理学家Mehrabiadu的研究表明，在人类的日常交流中，通过人脸表情传递的信息高达信息总量的55％。随着信息技术和计算机科学的快速发展，人们对机器的“智能”也提出了更高的要求，人脸表情识别作为情感计算的一个研究方向，是实现人机交互的基础，在人工智能领域扮演了重要的角色，在疲劳驾驶检测、服务机器人、医疗监控、虚拟现实等领域有着广阔的应用前景。在过去十年里，研究人员大多集中于研究受控环境(实验室环境)下的表情识别，针对背景简单、无遮挡、姿态端正、无光照变化的人脸图像，采用基于深度学习的表情识别方法取得了突破性的进展。然而，在真实环境(非受控环境)下，由于存在背景复杂、遮挡、头部姿态多变、光照变化等因素，给人脸表情识别带来了巨大挑战，如何提高人脸表情识别准确率、增强表情识别方本文档来自技高网...

【技术保护点】
1.一种基于局部与整体特征自适应融合的表情识别方法，其特征在于，该方法包含以下步骤：/n(1)获取包含类别标签的表情图像集；/n(2)对表情图像集中的图像进行人脸检测、裁剪和对齐处理；/n(3)构建表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层；/n所述数据处理模块，使用滑动的采样窗口对输入的人脸整体图像进行K次采样，得到K个人脸局部区域图像，并对K个人脸局部区域图像的大小进行归一化，统一调整到与输入的人脸整体图像相同的大小，其中，采样窗口的滑动步长是固定或随机的，采样窗口的大小介于人脸整体图像大小的1/4到3/4之间，K的取值介于4到16之间的整数；/n所述特征提取...

【技术特征摘要】
1.一种基于局部与整体特征自适应融合的表情识别方法，其特征在于，该方法包含以下步骤：
(1)获取包含类别标签的表情图像集；
(2)对表情图像集中的图像进行人脸检测、裁剪和对齐处理；
(3)构建表情识别模型，该模型包括数据处理模块、特征提取模块、特征融合模块和分类层；
所述数据处理模块，使用滑动的采样窗口对输入的人脸整体图像进行K次采样，得到K个人脸局部区域图像，并对K个人脸局部区域图像的大小进行归一化，统一调整到与输入的人脸整体图像相同的大小，其中，采样窗口的滑动步长是固定或随机的，采样窗口的大小介于人脸整体图像大小的1/4到3/4之间，K的取值介于4到16之间的整数；
所述特征提取模块，用于提取人脸整体图像及其K个人脸局部区域图像的特征向量，该模块包含(K+1)个相同结构的特征提取单元，人脸整体图像及其K个人脸局部区域图像并行输入到(K+1)个特征提取单元中，同时提取到(K+1)个特征向量；
所述特征融合模块，用于将特征提取模块输出的(K+1)个特征向量根据注意力权重自适应融合，该模块包括注意力机制模块、特征选择单元和累加器，其中注意力机制模块用于确定(K+1)个特征向量的注意力权重；特征选择单元用于筛选保留权重较大的重要特征向量；累加器用于将保留的重要特征向量进行加权融合，得到融合特征向量；
所述分类层，用于对特征融合模块输出的表情特征向量进行分类识别，得到表情类别；
(4)使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练，通过误差反向传播算法调整表情识别模型的参数至最优；
(5)利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。


2.根据权利要求1所述的基于局部与整体特征自适应融合的表情识别方法，其特征在于，所述步骤(4)中的训练过程，包括以下子步骤：
(4.1)将预处理后的人脸整体图像输入到表情识别模型的数据处理模块，得到K个大小归一化后的人脸局部区域图像；
(4.2)将人脸整体图像及其K个人脸局部区域图像并行输入到特征提取模块的(K+1)个特征提取单元中，分别输出(K+1)个特征向量；
(4.3)在每轮训练中，调整注意力机制模块的参数，计算出(K+1)个特征向量的注意力权重；特征选择单元以人脸整体图像特征向量的注意力权重作为设定阈值，保留注意力权重大于或等于设定阈值的特征向量，剔除注意力权重小于设定阈值的特征向量；累加器将注意力权重大于或等于设定阈值的特征向量进行加权融合，输出融合特征向量；
(4.4)分类层对特征融合模块输出的融合特征向量进行分类，分类层损失函数是在交叉熵损失函数的基础上加入基于注意力权重的约束项，通过误差反向传播算法调整表情识别模型的参数，使用表情图像集中的图像作为训练样本，不断迭代训练过程直至模型参数达到最优。


3.根据权利要求2所述的基于局部与整体特征自适应融合的表情识别方法，其特征在于，所述步骤(4.3)包括以下子步骤：
(4.3.1)将人脸整体图像的特征向量表示为F0，将第k个人脸局部区域图像的特征向量表示为Fk，其中k＝1，2，…，K，运用注意力机制得到第j个特征向量Fj的注意力权重为：
μj＝σ(Fj·q0)
其中，q0为查询向量，σ(·)为Sigmoid函数，j＝0，1，2，…，K；
(4.3.2)在每轮训练中，设训练得到人脸整体图像特征向量的注意力权重为μ0，特征选择单元以μ0作为...

【专利技术属性】
技术研发人员：卢官明，张法鹏，卢峻禾，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32