基于人体骨架运动学特征信息的抑郁症识别方法及系统技术方案

本发明专利技术公开了一种基于人体骨架运动学特征信息的抑郁症识别方法及系统，属于图像处理与模式识别领域，本发明专利技术要解决的技术问题为如何能够建立客观有效的指标，根据指标参数准备的诊断抑郁症，采用的技术方案为：该方法具体如下：S1、收集人体骨架运动学特征数据；S2、提取人体骨架运动学特征数据；S3、特征数据预处理并制作数据集；S4、构建及训练抑郁症识别神经网络模型；S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率。该系统包括数据收集模块、数据提取模块、预处理及数据集制作模块、模型构建及训练模块及结果预测及准确率计算模块。

【技术实现步骤摘要】
基于人体骨架运动学特征信息的抑郁症识别方法及系统
本专利技术涉及图像处理与模式识别领域，具体地说是一种基于人体骨架运动学特征信息的抑郁症识别方法及系统。
技术介绍
抑郁症(depression)是指以显著而持久的情绪低落、活动能力减退、思维与认知功能迟缓为临床特征的一类情感性精神障碍。抑郁症患者有着严重的心理障碍和不良的情绪，经常缺乏睡眠、精神萎靡不振，重度抑郁症患者甚至出现自杀行为。目前，抑郁症的诊断尚处于症状推断阶段，并无客观的理化检查诊断指标。现阶段抑郁症识别方法存在较多缺陷，其主要有：(一)临床的诊断措施多以主观方式评判，缺乏客观有效的指标，很容易导致误诊和漏诊的情况；(二)识别参考指标单一：目前用于识别抑郁症的方法主要是依据患者体内激素水平和各种生化指标作识别参考指标，缺乏生物电信号的指标参数，使得抑郁症识别具有一定的局限性。故如何能够建立客观有效的指标，根据指标参数准备的诊断抑郁症是目前亟待解决的技术问题。
技术实现思路
本专利技术的技术任务是提供一种基于人体骨架运动学特征信息的抑郁症识别方法及系统，来解决如何能够建立客观有效的指标，根据指标参数准备的诊断抑郁症的问题。本专利技术的技术任务是按以下方式实现的，一种基于人体骨架运动学特征信息的抑郁症识别方法，该方法是根据Kinect设备所捕捉到的人体骨架特征信息，提取出人体关节点运动学特征信息，对基于时间维度的每个关节点空间位置数据进行数据预处理，利用预处理后的数据构建数据集，使用数据集进行抑郁症识别神经网络模型的训练和测试；具体如下：S1、收集人体骨架运动学特征数据；S2、提取人体骨架运动学特征数据；S3、特征数据预处理并制作数据集；S4、构建及训练抑郁症识别神经网络模型；S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率。作为优选，所述步骤S1中收集人体骨架运动学特征数据具体如下：S101、开启Kinect设备进行人体骨架运动学特征数据的收集；S102、引导实验对象进入指定位置，播放预先设计的刺激动作任务指令；其中，刺激动作总共包括五个运动学片段，分别为：左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位；每个运动学片段之间时间间隔为5s，完成整个刺激动作所需要的时间为60s；S103、打开KinectStudioV2软件，完成人体骨架运动学数据的录制工作；S104、待完成数据录制后，精神医师对当前实验对象的抑郁状态进行评估，评估过程将记录实验对象的汉密尔顿抑郁量表(24项版本)得分；其中，实验对象分为抑郁组和非抑郁组；S105、根据汉密尔顿抑郁量表评分标准，筛选抑郁症组评分大于20，对照组评分小于8分为有效实验数据。作为优选，所述步骤S2中提取人体骨架运动学特征数据具体如下：S201、遍历文件夹中的.xef记录文件，获取文件名称，得到记录文件路径；S202、执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件，读取原始记录数据；S203、提取基于.xef记录文件的时间序列数据；S204、提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据；具体为：对任意Kinect检测的目标i＝1,2,3…，每个人体骨架关节点均检测空间位置(x,y,z)，对于待锁定目标对象i在任意时间t有如下关系：S205、针对降噪处理的数据，提取其空间坐标系的四元数((Rx,Ry,Rz),Rw)，公式如下：则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成，即每个人体骨架关节点n在运动学片段时间t时刻，均由表述空间位置关系的七个维度数据构成：djt＝[xjt，yjt，zjt，Rxjt，Ryjt，Rzjt，Rwjt]；且对于25个Kinect捕捉的人体骨架关节点，在运动学片段时间T内所提取的人体骨架数据，具体如下：其中，t表示时间；j表示人体骨架关节点；1≤t≤T，1≤j≤25；S206、获得实验对象的提取结果(时间、每个关节的基于时间维度的空间位置坐标值及四元数)，并以实验对象的名称保存为csv格式的文件。作为优选，所述步骤S3中特征数据预处理并制作数据集具体如下：S301、读取提取得到的实验对象csv文件；S302、读取时间序列，并重新写入到另一文件夹中的同名csv文件中；S303、读取csv文件除时间序列以外的数据，并对采用标准化数据预处理，具体如下：对于人体骨架数据时间序列x1，x2，...，xt，使用离差标准化的方法对原始数据的线性变换，使结果映射到[0,1]区间，公式如下：其中，n表示序列长度，则新序列y1，y2，...，yn∈[0，1]且无量纲；S304、将标准化后的数据写入到步骤S302中的csv文件；S305、将抑郁组和非抑郁组的实验对象分别进行标注，将抑郁组标注为0，将非抑郁组标注为1；S306、通过pythonnumpy库预处理过的新数据序列进行数据集制作，所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件；S307、对数据集采用随机划分的模式，将数据集70％设为训练集，30％用做测试集。作为优选，所述步骤S4中构建及训练抑郁症识别神经网络模型具体如下：S401、将训练集数据输入到时间卷积神经网络(TemporalConvolutionNeuralNetwork)，得到时间卷积神经网络输出结果；其中，时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块，每一个残差块的每层均为一维空洞卷积网络，随机丢弃率为0.5，激活函数为ReLU，每一层的输出直接作为下一层的输入；S402、将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络(BottleneckConvolutionNeuralNetwork)中，得到瓶颈卷积神经网络的输出结果；其中，瓶颈卷积神经网络包括一个瓶颈网络残差块；瓶颈网络残差块包括三层一维卷积网络，其核函数尺寸K＝1,3,1；S403、将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层，再经softmax分类器进行抑郁症识别。更优地，所述步骤S5中完成抑郁症的识别诊断，得到预测结果并计算准确率具体如下：S501、采用softmax作为分类器进行抑郁症的识别诊断，公式为：其中，Si表示第i类的softmax预测值；i和j均为类别序号；S502、将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中，在进行抑郁症类别预测时，每一个类别(抑郁与非抑郁)都对应一个小于1的计算值且总和为1，最大计算值所对应的类别则为预测类；S503、将预测类别与真实类别进行比较，计算训练数据集中预测正确本文档来自技高网...

【技术保护点】
1.一种基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，该方法是根据Kinect设备所捕捉到的人体骨架特征信息，提取出人体关节点运动学特征信息，对基于时间维度的每个关节点空间位置数据进行数据预处理，利用预处理后的数据构建数据集，使用数据集进行抑郁症识别神经网络模型的训练和测试；具体如下：/nS1、收集人体骨架运动学特征数据；/nS2、提取人体骨架运动学特征数据；/nS3、特征数据预处理并制作数据集；/nS4、构建及训练抑郁症识别神经网络模型；/nS5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率。/n

【技术特征摘要】
1.一种基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，该方法是根据Kinect设备所捕捉到的人体骨架特征信息，提取出人体关节点运动学特征信息，对基于时间维度的每个关节点空间位置数据进行数据预处理，利用预处理后的数据构建数据集，使用数据集进行抑郁症识别神经网络模型的训练和测试；具体如下：
S1、收集人体骨架运动学特征数据；
S2、提取人体骨架运动学特征数据；
S3、特征数据预处理并制作数据集；
S4、构建及训练抑郁症识别神经网络模型；
S5、将待识别的人体骨架运动学数据输入到训练好的抑郁症识别神经网络模型，完成抑郁症的识别诊断，得到预测结果并计算准确率。


2.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，所述步骤S1中收集人体骨架运动学特征数据具体如下：
S101、开启Kinect设备进行人体骨架运动学特征数据的收集；
S102、引导实验对象进入指定位置，播放预先设计的刺激动作任务指令；其中，刺激动作总共包括五个运动学片段，分别为：左臂抬起与复位、右臂抬起与复位、双臂抬起及复位、相左转身及复位、向右转身及复位；每个运动学片段之间时间间隔为5s，完成整个刺激动作所需要的时间为60s；
S103、打开KinectStudioV2软件，完成人体骨架运动学数据的录制工作；
S104、待完成数据录制后，精神医师对当前实验对象的抑郁状态进行评估，评估过程将记录实验对象的汉密尔顿抑郁量表得分；其中，实验对象分为抑郁组和非抑郁组；
S105、根据汉密尔顿抑郁量表评分标准，筛选抑郁症组评分大于20，对照组评分小于8分为有效实验数据。


3.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，所述步骤S2中提取人体骨架运动学特征数据具体如下：
S201、遍历文件夹中的.xef记录文件，获取文件名称，得到记录文件路径；
S202、执行脚本命令批量运行SkeletonExtractor.exe打开.xef记录文件，读取原始记录数据；
S203、提取基于.xef记录文件的时间序列数据；
S204、提取对人体骨架关节点的空间位置(x,y,z),并剔除噪声数据；具体为：对任意Kinect检测的目标i＝1,2,3…，每个人体骨架关节点均检测空间位置(x,y,z)，对于待锁定目标对象i在任意时间t有如下关系：



S205、针对降噪处理的数据，提取其空间坐标系的四元数((Rx,Ry,Rz),Rw)，公式如下：



则捕捉到的每个人体骨架关节点由(x,y,z)和((Rx,Ry,Rz),Rw)组成，即每个人体骨架关节点n在运动学片段时间t时刻，均由表述空间位置关系的七个维度数据构成：
djt＝[xjt，yjt，zjt，Rxjt，Ryjt，Rzjt，Rwjt]；
且对于Kinect捕捉的人体骨架关节点，在运动学片段时间T内所提取的人体骨架数据，具体如下：



其中，t表示时间；j表示人体骨架关节点；1≤t≤T，1≤j≤25；
S206、获得实验对象的提取结果，并以实验对象的名称保存为csv格式的文件。


4.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，所述步骤S3中特征数据预处理并制作数据集具体如下：
S301、读取提取得到的实验对象csv文件；
S302、读取时间序列，并重新写入到另一文件夹中的同名csv文件中；
S303、读取csv文件除时间序列以外的数据，并对采用标准化数据预处理，具体如下：对于人体骨架数据时间序列x1，x2，...，xt，使用离差标准化的方法对原始数据的线性变换，使结果映射到[0,1]区间，公式如下：



其中，n表示序列长度，则新序列y1，y2，...，yn∈[0，1]且无量纲；
S304、将标准化后的数据写入到步骤S302中的csv文件；
S305、将抑郁组和非抑郁组的实验对象分别进行标注，将抑郁组标注为0，将非抑郁组标注为1；
S306、通过pythonnumpy库预处理过的新数据序列进行数据集制作，所有实验对象提取的数据将以二进制数据的格式保存为.npy格式文件；
S307、对数据集采用随机划分的模式，将数据集70％设为训练集，30％用做测试集。


5.根据权利要求1所述的基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，所述步骤S4中构建及训练抑郁症识别神经网络模型具体如下：
S401、将训练集数据输入到时间卷积神经网络，得到时间卷积神经网络输出结果；其中，时间卷积神经网络包括两个顺序连接的时间空洞卷积残差块，每一个残差块的每层均为一维空洞卷积网络，随机丢弃率为0.5，激活函数为ReLU，每一层的输出直接作为下一层的输入；
S402、将得到的时间卷积神经网络输出结果作为特征信息输入到瓶颈卷积神经网络中，得到瓶颈卷积神经网络的输出结果；其中，瓶颈卷积神经网络包括一个瓶颈网络残差块；瓶颈网络残差块包括三层一维卷积网络，其核函数尺寸K＝1,3,1；
S403、将瓶颈卷积神经网络的输出结果转换为一维向量并连接后输入到全连接层，再经softmax分类器进行抑郁症识别。


6.根据权利要求1-5中任一所述的基于人体骨架运动学特征信息的抑郁症识别方法，其特征在于，所述步骤S5中完成抑郁症的识别诊断，得到预测结果并计算准确率具体如下：
S501、采用softmax作为分类器进行抑郁症的识别诊断，公式为：



其中，Si表示第i类的softmax预测值；i和j均为类别序号；
S502、将人体骨架运动学特征数据输入到抑郁症识别神经网络模型中，在进行抑郁症类别预测时，每一个类别都对应一个小于1的计算值且总和为1，最大计算值所对应的类别则为预测类；
S503、将预测类别与真实类别进行比较，计算训练数据集中预测正确类别的抑郁症类别数量占数据总数量的比例，输出即为抑郁症识别神经网络模型的准确率；
S504、预测错误类别的损失采用损失函数来计算，设定抑郁症识别神经网络模型的损失函数为交叉熵函数Loss，公式为：



其中，M表示类别数量；c表示类别序号；yc表示真实标签；pc表示softmax的输出。


7.一种基于人体骨架运动学特征信息的抑郁症识别系统，其特征在于，该系...

【专利技术属性】
技术研发人员：王庆祥，李文涛，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：山东;37