一种基于2D-3D CNN的微表情识别方法技术

本发明专利技术公开了一种基于2D‑3D CNN的微表情识别方法，属于表情识别领域，该方法包括以下步骤：采集微表情，构成原始微表情数据集，采用数据扩增方式对原始微表情数据集进行扩充及划分，得到训练数据集和测试数据集；采用图像处理技术在线处理微表情视频，利用差分思想得到差分信息图，在一帧中记录视频中脸部的运动状态，构建2D‑3D CNN网络模型；将训练数据集输入到2D‑3D CNN网络模型中进行训练，得到最优2D‑3D CNN网络模型；将测试数据集输入到最优2D‑3D CNN网络模型中衡量2D‑3D卷积神经网络的分类效果；将预处理后的微表情视频输入到最优2D‑3D CNN网络模型中，得到微表情的识别的分类结果；该方法更加符合实际应用情况，提高了算法的普适性，使得本方法能够更加实用有效地识别微表情视频。

【技术实现步骤摘要】
一种基于2D-3DCNN的微表情识别方法
本专利技术涉及表情识别领域，尤其涉及一种基于2D-3DCNN的微表情识别方法。
技术介绍
人类表达思想情感的方式多种多样，如语言、肢体动作、面部表情等，人脸表情作为传达人类内心的真正情绪和心理的一种有效信息，是个人真正意图的有效表达，研究表明，信息量的主要来源是表情，约占55％。表情可分为宏表情与微表情，宏表情简单而言就是人们表现的普通表情，宏表情与微表情在持续时间和运动幅度上等方面存在差异，宏表情受人为控制，面部表情会持续一段时间，能够让人眼具体分辨，而微表情是人们下意识的面部表现，即使是经过训练的人员也不能够保证完全正确分辨表情的类别。普通表情不能更加精准的表示人类的心理活动，但内心的流露和掩饰能够通过微表情表达出来，在人们做的不同表情之间，会“透露”一部分重要信息，当我们试图隐藏某种情感时，微表情会一闪而过，下意识的表情可能会持续一段时间，大约持续1/25～1/5s，在视频序列中截取的某几帧图像能够揭示我们是否在撒谎。微表情作为一种自发式的表情,是人们试图撒谎时产生的，既无法抑制，也无法伪造，因此本文档来自技高网...

【技术保护点】
1.一种基于2D-3D CNN的微表情识别方法,其特征在于,包括以下步骤：/nS1:采集微表情，构成原始微表情数据集，采用数据扩增方式对原始微表情数据集进行扩充，得到扩充后微表情数据集，对扩充后的微表情数据集进行划分，得到训练数据集和测试数据集；/nS2:采用图像处理技术在线处理微表情视频，利用差分思想得到差分信息图，在一帧中记录视频中脸部的运动状态，构建2D-3D CNN网络模型；/nS3:将训练数据集输入到2D-3D CNN网络模型中进行训练，得到最优2D-3D CNN网络模型；/nS4:将测试数据集输入到最优2D-3D CNN网络模型中衡量2D-3D卷积神经网络的分类效果；/nS5:将预...

【技术特征摘要】
1.一种基于2D-3DCNN的微表情识别方法,其特征在于,包括以下步骤：
S1:采集微表情，构成原始微表情数据集，采用数据扩增方式对原始微表情数据集进行扩充，得到扩充后微表情数据集，对扩充后的微表情数据集进行划分，得到训练数据集和测试数据集；
S2:采用图像处理技术在线处理微表情视频，利用差分思想得到差分信息图，在一帧中记录视频中脸部的运动状态，构建2D-3DCNN网络模型；
S3:将训练数据集输入到2D-3DCNN网络模型中进行训练，得到最优2D-3DCNN网络模型；
S4:将测试数据集输入到最优2D-3DCNN网络模型中衡量2D-3D卷积神经网络的分类效果；
S5:将预处理后的微表情视频输入到最优2D-3DCNN网络模型中，得到微表情的识别的分类结果。


2.根据权利要求1所述的一种基于2D-3DCNN的微表情识别方法,其特征还在于,所述数据扩增方式的步骤如下：
S1-1:微表情图像按照固定的角度旋转，进行角度调整，得到角度调整后的微表情图像；
S1-2:将角度调整后的微表情图像，设置对比度阈值，进行对比度调整，得到对比度调整后的微表情图像；
S1-3:将对比度调整后的微表情图像利用插值法进行分辨率调整。


3.根据权利要求1所述的一种基于2D-3DCNN的微表情识别方法,其特征还在于,所述采用图像处理技术在线处理微表情视频，构建2D-3DCNN网络模型的过程如下：
S2-1:在线处理微表情视频，得到固定长度的微表情视频及差分信息图分别作为Net-A的输入和Net-B的输入；

【专利技术属性】
技术研发人员：王琳，贾景倩，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：辽宁;21