红外与光学图像融合的人脸表情识别方法及装置制造方法及图纸

本发明专利技术公开一种红外与光学图像融合的人脸表情识别方法及装置，方法包括：获取待测目标的人脸阵列图像组，人脸阵列图像组包括多个人脸阵列图像，人脸阵列图像包括红外图像及其对应的光学图像；基于预先构建的图像融合模型将人脸阵列图像进行双尺度分解获取背景特征图和细节特征图并将背景特征图和细节特征图进行融合得到融合图像；将多个所述融合图像生成测试视频；基于预先构建的人脸表情识别模型并且根据多个预设的表情标签、测试视频预测待测目标的人脸表情。本发明专利技术提高了表情识别的准确性。确性。确性。

【技术实现步骤摘要】
红外与光学图像融合的人脸表情识别方法及装置


[0001]本专利技术涉及图像处理及计算机视觉处理领域，具体涉及一种红外与光学图像融合的人脸表情识别方法及装置。

技术介绍

[0002]人脸表情识别是计算机视觉、模式识别领域的研究热点。但现有的表情识别方法往往存在泛化能力不足、识别率不高等问题，其主要原因是：现有的表情识别方法获取的是单个光学镜头采集到的图像信息，当人脸处于复杂环境下时，容易受到光照背景等与表情识别无关的非重要因素的影响，降低识别精确度。
[0003]因此，本领域需要一种新的人脸表情识别方法来解决上述问题。

技术实现思路

[0004]本专利技术的目的在于提供一种红外与光学图像融合的人脸表情识别方法及装置，利用包含红外图像和光学图像的人脸阵列图像组，并进行特征图像的融合，再利用融合图像生成测试视频，对视频中的人脸表情进行识别，据此提高人脸表情识别的准确度。
[0005]为了实现上述目的，本专利技术采用如下技术方案：
[0006]一种红外与光学图像融合的人脸表情识别方法，所述方法包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种红外与光学图像融合的人脸表情识别方法，其特征在于，所述方法包括：获取待测目标的人脸阵列图像组，所述人脸阵列图像组包括多个人脸阵列图像，所述人脸阵列图像包括红外图像及其对应的光学图像；基于预先构建的图像融合模型将所述人脸阵列图像进行双尺度分解获取背景特征图和细节特征图并将所述背景特征图和细节特征图进行融合得到融合图像；将多个所述融合图像生成测试视频；基于预先构建的人脸表情识别模型并且根据多个预设的表情标签、所述测试视频预测所述待测目标的人脸表情；其中，所述图像融合模型是基于预设的图像样本并且利用机器学习算法构件的生成对抗神经网络；所述人脸表情识别模型是基于预设的人脸样本、所述表情标签并且利用机器学习算法构建的卷积神经网络。2.如权利要求1所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述图像融合模型包括生成器和双鉴别器，所述生成器包括编码器和解码器，所述双鉴别器包括红外鉴别器和光学鉴别器；在“基于预先构建的图像融合模型将所述人脸阵列图像进行双尺度分解获取背景特征图和细节特征图并将所述背景特征图和细节特征图进行融合得到融合图像”的步骤之前，所述方法还包括：将人脸阵列图像输入所述编码器，所述编码器对所述人脸阵列图像进行双尺度分解获取光学图像与红外图像的背景特征图和细节特征图，基于所述解码器将所述背景特征图和细节特征图进行融合获取融合图像；将红外图像和所述融合图像输入所述红外鉴别器以对所述融合图像进行真假鉴别；将光学图像和所述融合图像输入所述光学鉴别器以对所述融合图像进行真假鉴别；利用红外鉴别器和光学鉴别器的鉴别结果计算所述图像融合模型的损失函数，并且根据所述损失函数更新所述图像融合模型的网络参数，对更新后的图像融合模型重新进行网络训练，直至满足预设的收敛条件。3.如权利要求2所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述损失函数包括生成器损失函数和鉴别器损失函数；所述生成器损失函数和鉴别器损失函数如下式所示：其中，L
G
表示生成器的损失，L
B
表示编码器进行双尺度分解的损失，表示生成器的对抗损失，L
con
表示解码器的损失，L
D
表示双鉴别器的损失，L
DV
表示光学鉴别器的损失，L
DI
表示红外鉴别器的损失，λ表示预设的网络系数。4.如权利要求3所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述L1如下式所示：其中，φ表示tanh(
·
)函数且φ∈[
‑
1,1]，表示矩阵的2范数的平方，B
V
表示光学图
像的背景特征图，B
I
表示红外图像的背景特征图，D
V
表示光学图像的细节特征图，D
I
表示红外图像的细节特征图，预设的网络系数。5.如权利要求4所述的红外与光学图像融合的人脸表情识别方法，其特征在于，所述如下式所示：其中，E表示数学期望，D
...

【专利技术属性】
技术研发人员：邹建成，李嘉欣，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：