一种基于深度学习的表情识别辅助精神疾病治疗方法技术

本发明专利技术公开了一种基于深度学习的表情识别辅助精神疾病治疗方法，包括实时获取病人的原始图像数据；利用OpenCV和Dlib库对原始图像数据进行人脸标记和提取获取人脸数据；利用深度学习的表情识别模块对人脸数据进行微表情特征提取获取特征数据；利用预构建的匹配识别模块对特征数据进行微表情信息匹配获取信息数据；将原始图像数据、人脸数据、特征数据、信息数据进行绑定存储，并实时显示原始图像数据和信息数据。本发明专利技术能够在沟通与治疗过程中对病人的表情进行分析判定辅助医生进行症况判别进行针对性治疗。别进行针对性治疗。别进行针对性治疗。

【技术实现步骤摘要】
一种基于深度学习的表情识别辅助精神疾病治疗方法


[0001]本专利技术涉及一种基于深度学习的表情识别辅助精神疾病治疗方法，属于神经网络


技术介绍

[0002]人脸识别技术是依据人脸部的特征信息进行身份识别的生物识别技术之一。人脸识别技术成为一种可靠地身份识别依据，而且具有非接触性、并发性、非强制性、直观性等优点。人类的面部表情在进行非语言交流时，也可以对信息进行一些传递，是人类信息交互中的一个重要组成部分。1971年，美国的心理学家Mehrabian指出在传递信息时，人脸表情传递信息的总量占整体传递的信息量的百分之五十五。相比于宏表情，微表情具有持续时间短，能反映人类真实情感并且普遍存在等特点。微表情的持续时间通常在1/25～1/5s之间，描述人脸表情的细微特征。最初对于微表情进行研究主要目的是寻找微表情与说谎是否存在关联。通过心理和神经学家的研究，撒谎的人在对于普通的情绪可以进行有效的自我控制，但在其内心活动方面不能够完全压制住真实信号。通过此环节，会导致撒谎者的面部除先短暂的微弱的表情变化，这就是微表情。微表情的研究对于司法审讯，临床医学等有重要意义。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中的不足，提供一种基于深度学习的表情识别辅助精神疾病治疗方法，通过提取微表情特征并进行微表情信息匹配，能够在沟通与治疗过程中对病人的表情进行分析判定辅助医生进行症况判别进行针对性治疗。
[0004]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0005]第一方面，本专利技术提供了一种基于深度学习的表情识别辅助精神疾病治疗方法，包括：
[0006]实时获取病人的原始图像数据；
[0007]利用OpenCV和Dlib库对原始图像数据进行人脸标记和提取获取人脸数据；
[0008]利用深度学习的表情识别模块对人脸数据进行微表情特征提取获取特征数据；
[0009]利用预构建的匹配识别模块对特征数据进行微表情信息匹配获取信息数据；
[0010]将原始图像数据、人脸数据、特征数据、信息数据进行绑定存储，并实时显示原始图像数据和信息数据。
[0011]可选的，所述表情识别模块包括四层卷积层、四层池化层以及一个MLP层；以第一卷积层设为首位，四层卷积层和四层池化层交错设置，MLP层设为末位；所述卷积层包括特征提取层和特征映射层，用于对输入的图像数据进行特征提取和映射生成特征图；所述池化层用于进行非线性下采样运算，对输入的特征图进行降维处理；所述MLP层包括输入层、隐含层以及输出层，且只有相邻层节点之间有连接，对输入的降维后的特证图从输入层进入经隐含层激活函数处理传向输出层得到预测的特征数据。
[0012]可选的，所述卷积层包括卷积滤波器以及卷积层激活函数，所述卷积层激活函数采用用于非线性映射的Leaky ReLU激活函数。
[0013]可选的，最后一个所述卷积层的卷积层激活函数通过光流进行放大处理。
[0014]可选的，所述表情识别模块的深度学习包括：
[0015]初始化表情识别模块；
[0016]从人脸数据库中提取人脸数据，并进行表情特征的人工标注生成训练样本集；
[0017]将训练样本集中的训练样本输入表情识别模块；
[0018]表情识别模块输出预测的表情特征，根据预测的表情特征和人工标注的表情特征计算损失；
[0019]根据损失对表情识别模块进行反向传播迭代调整表情识别模块的网络权值，直至到达预设迭代次数、损失满足预设要求或损失收敛，完成表情识别模块的深化学习。
[0020]可选的，所述计算损失通过三元组损失函数根据预测的表情特征和人工标注的表情特征计算得到损失。
[0021]可选的，所述人脸数据库采用CK+数据库、FER
‑
2013数据库，SMIC数据集或CASMEII数据库。
[0022]第二方面，本专利技术提供了一种基于深度学习的表情识别辅助精神疾病治疗系统，所述系统包括：
[0023]原始图像数据获取模块，用于实时获取病人的原始图像数据；
[0024]人脸数据获取模块，用于利用OpenCV和Dlib库对原始图像数据进行人脸标记和提取获取人脸数据；
[0025]特征数据获取模块，用于利用深度学习的表情识别模块对人脸数据进行微表情特征提取获取特征数据；
[0026]信息数据获取模块，用于利用预构建的匹配识别模块对特征数据进行微表情信息匹配获取信息数据；
[0027]存储显示模块，用于将原始图像数据、人脸数据、特征数据、信息数据进行绑定存储，并实时显示原始图像数据和信息数据。
[0028]第三方面，本专利技术提供了一种基于深度学习的表情识别辅助精神疾病治疗装置，包括处理器及存储介质；
[0029]所述存储介质用于存储指令；
[0030]所述处理器用于根据所述指令进行操作以执行根据上述方法的步骤。
[0031]第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
[0032]与现有技术相比，本专利技术所达到的有益效果：
[0033]本专利技术提供了一种基于深度学习的表情识别辅助精神疾病治疗方法，通过对实时获取的原始图像数据进行人脸数据提取，并基于人脸数据进行微表情特征的特征数据提取，然后对特征数据进行微表情信息匹配，得到最终的信息数据；另外本专利技术通过对表情识别模块进行深度学习，从而提升效率和准确率；最终可以将实时获取的信息数据进行显示或存储，从而辅助医生进行症况判别进行针对性治疗。
附图说明
[0034]图1是本专利技术实施例一提供的一种基于深度学习的表情识别辅助精神疾病治疗方法的流程图。
[0035]图2是本专利技术实施例一提供的一种表情识别模块的结构示意图。
具体实施方式
[0036]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0037]实施例一：
[0038]如图1所示，本专利技术实施例提供了一种基于深度学习的表情识别辅助精神疾病治疗方法，包括以下步骤：
[0039]1、实时获取病人的原始图像数据；
[0040]2、利用OpenCV和Dlib库对原始图像数据进行人脸标记和提取获取人脸数据；
[0041]3、利用深度学习的表情识别模块对人脸数据进行微表情特征提取获取特征数据；
[0042]4、利用预构建的匹配识别模块对特征数据进行微表情信息匹配获取信息数据；
[0043]5、将原始图像数据、人脸数据、特征数据、信息数据进行绑定存储，并实时显示原始图像数据和信息数据。
[0044]如图2所示，表情识别模块包括四层卷积层、四层池化层以及一个MLP层；以第一卷积层设为首位，四层卷积层和四层池化层交错设置，MLP层设为末位；卷积层包括特征提取层和特征映射层，用于对输入的图像数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的表情识别辅助精神疾病治疗方法，其特征在于，包括：实时获取病人的原始图像数据；利用OpenCV和Dlib库对原始图像数据进行人脸标记和提取获取人脸数据；利用深度学习的表情识别模块对人脸数据进行微表情特征提取获取特征数据；利用预构建的匹配识别模块对特征数据进行微表情信息匹配获取信息数据；将原始图像数据、人脸数据、特征数据、信息数据进行绑定存储，并实时显示原始图像数据和信息数据。2.根据权利要求1所述的一种基于深度学习的表情识别辅助精神疾病治疗方法，其特征在于，所述表情识别模块包括四层卷积层、四层池化层以及一个MLP层；以第一卷积层设为首位，四层卷积层和四层池化层交错设置，MLP层设为末位；所述卷积层包括特征提取层和特征映射层，用于对输入的图像数据进行特征提取和映射生成特征图；所述池化层用于进行非线性下采样运算，对输入的特征图进行降维处理；所述MLP层包括输入层、隐含层以及输出层，且只有相邻层节点之间有连接，对输入的降维后的特证图从输入层进入经隐含层激活函数处理传向输出层得到预测的特征数据。3.根据权利要求2所述的一种基于深度学习的表情识别辅助精神疾病治疗方法，其特征在于，所述卷积层包括卷积滤波器以及卷积层激活函数，所述卷积层激活函数采用用于非线性映射的Leaky ReLU激活函数。4.根据权利要求2所述的一种基于深度学习的表情识别辅助精神疾病治疗方法，其特征在于，最后一个所述卷积层的卷积层激活函数通过光流进行放大处理。5.根据权利要求2所述的一种基于深度学习的表情识别辅助精神疾病治疗方法，其特征在于，所述表情识别模块的深度学习包括：初始化表情识别模块；从人脸数据库中提取人脸数据，并进行表情特征的人工标注生成训练样本集；将训练样本集中的训练样本输入表情识别模块；表...

【专利技术属性】
技术研发人员：黄俞豪，戴建新，李馨然，申雨婷，张雨曈，王于豪，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：