【技术实现步骤摘要】
：本专利技术涉及图像处理，具体为基于微表情图像的抑郁症预测方法及系统。
技术介绍
0、
技术介绍
：
1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
2、实践中，医生依据结构化问卷(例如汉密尔顿量表)与患者展开交流，根据患者的状态(例如情绪低迷、睡眠障碍、躁狂/低躁狂症状以及自我伤害倾向等)，确定其是否存在抑郁症倾向。这种方式具有强烈的主观解释性，诊断结果与病人诚实度相关，病人的一些行为、动作和表情等信息会被刻意隐藏，从而不易被医生观察，导致此种方式的耗时较长。
技术实现思路
0、
技术实现思路
：
1、为了解决上述
技术介绍
中存在的技术问题，本专利技术提供基于微表情图像的抑郁症预测方法及系统，利用单时域模型和全时域模型从原始人脸图像数据的多个时域提取空间与信息，得到人脸图像中有关微表情的特征，提取期间更加注重人脸轮廓的变化，能够在忽略一些面部细节信息的同时进行抑郁症的预测，有利于患者的隐私保护。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、本专利技术的第一个方面提供基于微表情的抑郁症预测系统，包括：
4、图像采集模块，被配置为：在测试环境下，获取受试者的面部图像并预处理得到包含微表情的面部图像；
5、图像处理模块，被配置为：预处理后的面部图像经过神经网络模型得到预测的抑郁症概率；
6、其中，神经网络模型从面部图像信息中提取有关面部轮廓信息的特征，注入
7、进一步的，测试环境为，利用产生情感刺激的图像诱发受试者产生面部表情变化并获取受试者的面部图像信息，情感刺激包括正性刺激、中性刺激和负性刺激。
8、进一步的，预处理包括，提取图像中的人脸并对齐，得到人脸的轮廓信息，基于滑动窗口法进行微表情取样。
9、进一步的，神经网络模型包括单时域网络和全时域网络，单时域网络包括空间卷积模块、轮廓捕捉模块和时间注意力机制以及lstm网络，全时域网络为efficientnetv2网络，单时域网络和全时域网络的输出经过全连接层得到最终的输出结果。
10、进一步的，空间卷积模块从单时域面部图像中提取特征，轮廓捕捉模块从面部轮廓信息中提取特征。
11、进一步的，空间卷积模块具有多个时空卷积块，轮廓捕捉模块具有多个轮廓捕捉块，时空卷积块伴随轮廓捕捉块并行运行，并在运行期间将轮廓特征注入空间卷积操作中。
12、进一步的，时间注意力机制，包括：基于输入特征，确定其时间维度上的平均值，并经激活函数确定时间重要性后，与输入特征结合得到变换后的特征。
13、本专利技术的第二个方面提供基于微表情的抑郁症预测方法，包括以下步骤：
14、在测试环境下，获取受试者的面部图像并预处理得到包含微表情的面部图像；
15、预处理后的面部图像经过神经网络模型得到预测的抑郁症概率；
16、其中，神经网络模型从面部图像信息中提取有关面部轮廓信息的特征，注入到单时域面部图像特征中，并基于时间注意力机制确定不同时间通道的重要性，得到变换后的特征，根据变换后的特征确定受试者面部图像中微表情对应的抑郁症概率值。
17、本专利技术的第三个方面提供一种计算机可读存储介质。
18、一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时运行如上述所述的基于微表情的抑郁症预测系统。
19、本专利技术的第四个方面提供一种计算机设备。
20、一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时运行如上述所述的基于微表情的抑郁症预测系统。
21、与现有技术相比，以上一个或多个技术方案存在以下有益效果：
22、1、利用神经网络模型，从人脸图像中得到的微表情图像来预测受试者抑郁症的概率值，神经网络模型不再从峰值帧中提取微表情特征，而是利用单时域网络和全时域网络从原始数据的多个时域提取空间与信息，两部分信息随着模型的运行，将人脸的轮廓特征注入到单时域面部图像特征中，避免了因为人工特征筛选带来的信息丢失问题，提高了检测精度。
23、2、加入的轮廓捕捉模块使得模型更注重轮廓的变化，使得模型能够在忽略一些细节性的面部信息后也可以进行抑郁症检测，可以在抹掉受试者的部分隐私信息后完成抑郁症检测，避免隐私问题。
24、3、神经网络模型的扩展性良好，可以扩大数据集的范围，将微动作数据引入其中，进一步提升抑郁症预测的准确性。
本文档来自技高网...【技术保护点】
1.基于微表情的抑郁症预测系统，其特征在于，包括：
2.如权利要求1所述的基于微表情的抑郁症预测系统，其特征在于，所述测试环境为，利用产生情感刺激的图像诱发受试者产生面部表情变化并获取受试者的面部图像信息，情感刺激包括正性刺激、中性刺激和负性刺激。
3.如权利要求1所述的基于微表情的抑郁症预测系统，其特征在于，所述预处理包括，提取图像中的人脸并对齐，得到人脸的轮廓信息，基于滑动窗口法进行微表情取样。
4.如权利要求1所述的基于微表情的抑郁症预测系统，其特征在于，所述神经网络模型包括单时域网络和全时域网络，单时域网络包括空间卷积模块、轮廓捕捉模块和时间注意力机制以及LSTM网络，全时域网络为EfficientNetV2网络，单时域网络和全时域网络的输出经过全连接层得到最终的输出结果。
5.如权利要求4所述的基于微表情的抑郁症预测系统，其特征在于，所述空间卷积模块从单时域面部图像中提取特征，所述轮廓捕捉模块从面部轮廓信息中提取特征。
6.如权利要求5所述的基于微表情的抑郁症预测系统，其特征在于，所述空间卷积模块具有多个时空卷
7.如权利要求1所述的基于微表情的抑郁症预测系统，其特征在于，所述时间注意力机制，包括：基于输入特征，确定其时间维度上的平均值，并经激活函数确定时间重要性后，与输入特征结合得到变换后的特征。。
8.基于微表情的抑郁症预测方法，其特征在于，包括以下步骤：
9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时运行如权利要求1-7任一项所述的基于微表情的抑郁症预测系统。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时运行如权利要求1-7任一项所述的基于微表情的抑郁症预测系统。
...【技术特征摘要】
1.基于微表情的抑郁症预测系统，其特征在于，包括：
2.如权利要求1所述的基于微表情的抑郁症预测系统，其特征在于，所述测试环境为，利用产生情感刺激的图像诱发受试者产生面部表情变化并获取受试者的面部图像信息，情感刺激包括正性刺激、中性刺激和负性刺激。
3.如权利要求1所述的基于微表情的抑郁症预测系统，其特征在于，所述预处理包括，提取图像中的人脸并对齐，得到人脸的轮廓信息，基于滑动窗口法进行微表情取样。
4.如权利要求1所述的基于微表情的抑郁症预测系统，其特征在于，所述神经网络模型包括单时域网络和全时域网络，单时域网络包括空间卷积模块、轮廓捕捉模块和时间注意力机制以及lstm网络，全时域网络为efficientnetv2网络，单时域网络和全时域网络的输出经过全连接层得到最终的输出结果。
5.如权利要求4所述的基于微表情的抑郁症预测系统，其特征在于，所述空间卷积模块从单时域面部图像中提取特征，所述轮廓捕捉模块从面...
【专利技术属性】
技术研发人员：鹿麟，王庆祥，李兴运，王浩，马凤英，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。