基于视线分布的焦虑抑郁检测方法和系统技术方案

本发明专利技术提供一种基于视线分布的焦虑抑郁检测方法和系统，涉及图像处理技术领域。该方法通过获取测试者在测试条件下的面部视频；通过图卷积神经网络对所述注视分布数据进行特征提取，得到特征数据，将特征数据输入至第一支持向量回归模型中，得到基于注视分布的焦虑抑郁预测值；将视线轨迹输入至第二支持向量回归模型中，得到基于视线轨迹的焦虑抑郁预测值；将基于视线分布的焦虑抑郁预测值和基于视线轨迹的焦虑抑郁预测值进行融合，得到测试者的心理评估结果。本发明专利技术在对测试者进行焦虑检测时，通过注视分布数据以及视线轨迹得到测试者的心理评估结果，提高焦虑抑郁诊断效率以及准确率。准确率。准确率。

【技术实现步骤摘要】
基于视线分布的焦虑抑郁检测方法和系统


[0001]本专利技术涉及图像处理
，具体涉及一种基于视线分布的焦虑抑郁检测方法和系统。

技术介绍

[0002]焦虑抑郁检测方法主要包括量表和眼电采集脑电信号等检测方法，量表检测方法中信度较高的主要是汉密尔顿焦虑量表和汉密尔顿抑郁量表，其他使用较为普遍的还有焦虑自评量表和抑郁自评量表。眼电采集脑电信号检测方法主要是通过脑电神经数据结合机器学习的方法评估个体的焦虑抑郁水平，使用四个眼电采集脑电信号并处理再通过卷积神经网络训练。采集时采用左侧乳突作为参考电极，水平眼电分别置于双眼外眼睑处，垂直眼电分别置于左眼上下2.5cm处。对采集到的信号进行处理放入卷积神经网络模型中进行训练。
[0003]然而，量表检测方法中的汉密尔顿焦虑抑郁量表需要两位经过专业训练的医生进行评估诊断，即过于依赖经验，不同的医生的评估诊断可能存在误差；而焦虑抑郁自评量表易受个主观态度以及社会赞许性的影响，主观因素较强。眼电采集脑电信号检测方法中脑电神经数据的采集需要将电极接入测试者面部皮肤，部分测试者会对此种方法产生抵触情绪，甚至产生一定畏惧情绪，可能会对焦虑抑郁检测结果造成影响。
[0004]通过上述分析可知，现有焦虑抑郁检测方法准确率较低。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种基于视线分布的焦虑抑郁检测方法和系统，解决了现有焦虑抑郁检测方法准确率较低的技术问题。
[0007](二)技术方案r/>[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]第一方面，本专利技术提供一种基于视线分布的焦虑抑郁检测方法，包括：
[0010]S1、获取测试者在测试条件下的面部视频；
[0011]S2、基于面部视频获取测试者实时注视分布数据以及视线轨迹；
[0012]S3、通过图卷积神经网络对所述注视分布数据进行特征提取，得到特征数据，将特征数据输入至第一支持向量回归模型中，得到基于注视分布的焦虑抑郁预测值；将视线轨迹输入至第二支持向量回归模型中，得到基于视线轨迹的焦虑抑郁预测值；
[0013]S4、将基于视线分布的焦虑抑郁预测值和基于视线轨迹的焦虑抑郁预测值进行融合，得到测试者的心理评估结果。
[0014]优选的，所述测试条件包括：
[0015]保持面部光照均匀，环境亮度400
‑
500lux，在无频闪的环境下进行测试，受试者距屏幕N厘米。
[0016]在面部视频采集开始阶段，一个白色十字出现在黑色屏幕中央，当检测到测试者注视屏幕中央超过3s后，十字消失，进入下一阶段；
[0017]检测到测试者注视点在屏幕中央超过3s后，十字消失，屏幕上出现三幅积极、中性、消极不同情绪的图片，持续10s。
[0018]优选的，所述步骤S2包括：
[0019]S201、通过OpenFace获取面部视频中的人脸框架原始数据；
[0020]S202、基于人脸框架原始数据获取测试者注视分布数据；
[0021]S203、基于人脸框架原始数据获取视线轨迹。
[0022]优选的，所述S201包括：
[0023]受试者距屏幕N厘米，定义四个向量来确定屏幕区域，当N＝75时，定界向量如下：
[0024][0025][0026][0027][0028]均为定界向量；
[0029]使用开源工具OpenFace获取测试者实时面部信息的人脸框架，获取视频中头部X轴、Y轴和Z轴上的旋转角度，标记为α、β和γ，
[0030][0031][0032][0033]旋转后的定界向量：
[0034][0035]其中，是旋转后的四个定界向量。
[0036]优选的，所述S202包括：
[0037]受试者距屏幕N厘米，即Y为一个固定值，将三维坐标(X，Y，Z)变换为(X，Z)得到测试者在屏幕上的一个注视坐标，用(X，Y)替换(X，Z)来描述目标平面上点的坐标：
[0038][0039]其中，为注视分布边界；
[0040]将屏幕均分成3x3个方形块区域从左至右从上到下标记为0
‑
8对视线所落区域进行汇总；9块区域视为图的9个节点，视线落到某个区域就相当于在某个节点上，间隔十帧进行一次采样，得到一个有向图，该有向图即注视分布数据。
[0041]优选的，所述S203包括：
[0042]通过OpenFace，得到人眼的6个坐标e1到e6，使用霍夫变换找到瞳孔位置(X
pupil
,Y
pupil
)，瞳孔横坐标垂直直线与六边形交于top和bottom；通过以下公式计算出交点Y
top
、Y
bottom
：
[0043][0044][0045]通过上述相同方法计算瞳孔纵坐标水平直线与六边形交点的横坐标X
left
、X
right
，根据Y
top
、Y
bottom
、X
pupil
、Y
pupil
、X
left
和X
right
计算相对位置系数：
[0046][0047][0048]其中，d
level
、d
vertical
分别为水平和竖直方向绝焦点坐标的相对位置系数；
[0049](X
r
,Y
r
)＝(d
level
×
(max(X
p2
,X
p3
)
‑
min(X
p1
,X
p4
)),d
vertical
×
(Y
top
‑
Y
bottom
))
[0050]其中，(X
r
,Y
r
)为焦点的相对坐标；
[0051]将瞳孔相对位置与注意力区域坐标相结合，得到焦点的绝对坐标：
[0052][0053]其中，(X
ab
,Y
ab
)为焦点绝对坐标；
[0054]将焦点绝对坐标逐帧平滑连接，得到视线轨迹。
[0055]优选的，在将焦点绝对坐标逐帧平滑连接之前，所述方法还包括：
[0056]跟据缺失值前后的坐标对测试者闭眼时的缺失帧数据进行补全。
[0057]第二方面，本专利技术提供一种基于视线分布的焦虑抑郁检测系统，包括：
[0058]视频获取模块，用于获取测试者在测试条件下的面部视频；
[0059]视频处理模块，用于基于面部视频获取测试者实时注视分布数据以及视线轨迹；
[0060]预测模块，通过图卷积神经网络对所述注视分布数据进行特征提取，得到特征数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视线分布的焦虑抑郁检测方法，其特征在于，包括：S1、获取测试者在测试条件下的面部视频；S2、基于面部视频获取测试者实时注视分布数据以及视线轨迹；S3、通过图卷积神经网络对所述注视分布数据进行特征提取，得到特征数据，将特征数据输入至第一支持向量回归模型中，得到基于注视分布的焦虑抑郁预测值；将视线轨迹输入至第二支持向量回归模型中，得到基于视线轨迹的焦虑抑郁预测值；S4、将基于视线分布的焦虑抑郁预测值和基于视线轨迹的焦虑抑郁预测值进行融合，得到测试者的心理评估结果。2.如权利要求1所述的基于视线分布的焦虑抑郁检测方法，其特征在于，所述测试条件包括：保持面部光照均匀，环境亮度400
‑
500lux，在无频闪的环境下进行测试，受试者距屏幕N厘米；在面部视频采集开始阶段，一个白色十字出现在黑色屏幕中央，当检测到测试者注视屏幕中央超过3s后，十字消失，进入下一阶段；检测到测试者注视点在屏幕中央超过3s后，十字消失，屏幕上出现三幅积极、中性、消极不同情绪的图片，持续10s。3.如权利要求1或2所述的基于视线分布的焦虑抑郁检测方法，其特征在于，所述步骤S2包括：S201、通过OpenFace获取面部视频中的人脸框架原始数据；S202、基于人脸框架原始数据获取测试者注视分布数据；S203、基于人脸框架原始数据获取视线轨迹。4.如权利要求3所述的基于视线分布的焦虑抑郁检测方法，其特征在于，所述S201包括：受试者距屏幕N厘米，定义四个向量来确定屏幕区域，当N＝75时，定界向量如下：受试者距屏幕N厘米，定义四个向量来确定屏幕区域，当N＝75时，定界向量如下：受试者距屏幕N厘米，定义四个向量来确定屏幕区域，当N＝75时，定界向量如下：受试者距屏幕N厘米，定义四个向量来确定屏幕区域，当N＝75时，定界向量如下：受试者距屏幕N厘米，定义四个向量来确定屏幕区域，当N＝75时，定界向量如下：均为定界向量；使用开源工具OpenFace获取测试者实时面部信息的人脸框架，获取视频中头部X轴、Y轴和Z轴上的旋转角度，标记为α、β和γ，
旋转后的定界向量：其中，i＝1，2，3，4是旋转后的四个定界向量。5.如权利要求4所述的基于视线分布的焦虑抑郁检测方法，其特征在于，所述S202包括：受试者距屏幕N厘米，即Y为一个固定值，将三维坐标(X，Y，Z)变换为(X，Z)得到测试者在屏幕上的一个注视坐标，用(X，Y)替换(X，Z)来描述目标平面上点的坐标：其中，为注视分布边界；将屏幕均分成3x3个方形块区域从左至右从上到下标记为0
‑
8对视线所落区域进行汇总；9块区域视为图的9个节点，视线落到某个区域就相当于在某个节点上，间隔十帧进行一次采样，得到一个有向图，该有向图即注视分布数据。6.如权利要求4所述的基于视线分布的焦虑抑郁检测方法，其特征在于，所述S203包括：通过OpenFace，得到人眼的6个坐标e1到e6，使用霍夫变换找到瞳孔位置(X
pupil
,Y
pupil
)，瞳孔横坐标垂直直线与六边形交于...

【专利技术属性】
技术研发人员：孙晓，徐骜，汪萌，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：