用于儿童ADHD筛查评估系统的肢体动作特征向量确定方法技术方案

一种用于儿童ADHD筛查评估系统的肢体动作特征向量确定方法，包括以下步骤：步骤1对于图片输入，通过10层VGG‑19提取图片特征F，再将F输入两个多阶段CNN，最终得到置信图S＝(S

【技术实现步骤摘要】
用于儿童ADHD筛查评估系统的肢体动作特征向量确定方法
本专利技术涉及一种儿童ADHD筛查评估系统，尤其是肢体动作特征向量确定方法。
技术介绍
注意缺陷多动障碍(ADHD)，俗称多动症，是儿童青少年期最常见的神经发育障碍，其临床表现是注意集中困难、活动过度、冲动，情绪不稳定、学习困难等。现有的ADHD医学影像的智能识别技术主要是基于脑部功能性核磁共振和脑电图等病理方面的研究，或者单独基于眼动或面部表情等观察患者的行为特征。DHD在我们的概念中最大的特点就是多动好动，然而对于ADHD患者肢体动作的研究并不多，17年诺丁汉大学ShashankJaiswal的研究。他们使用在测试对象正前方放置Kinect来检测头部运动，通过计算位移、瞬时速度、加速度等物理量来描述对象的头部运动。首先只检测头部运动对于ADHD患者而言肯定是不充分的；其次这样的数据处理方式会大幅降低信息熵，从而提高了数据挖掘的难度。
技术实现思路
为了克服已有ADHD儿童肢体动作特征确定方式的准确性较差的不足，本专利技术提供了一种准确性较好的用于儿童ADHD筛查评估系统的肢体动作特征向量确定方法。本专利技术解决其技术问题所采用的技术方案是：一种用于儿童ADHD筛查评估系统的肢体动作特征向量确定方法，输入为采集到的侧面视频VSide，输出为产生的3D骨架序列F3D，包括以下步骤：步骤1置信图与PAF计算：对于图片输入，首先通过10层VGG-19提取图片特征F，再将F输入两个多阶段CNN，一个网络通过置信图的方式确定人体关节点位置，另一个网络通过PartAffinityFields(PAF)确定肢体方向；最终得到置信图S＝(S1,S2,…SJ)与PAFL＝(L1,L2,…,LC)，其中J，C分别表示关节点和肢体的种类数量；步骤2关节点匹配优化：根据置信图得到关节点的位置，表示第j类关节点中的第m个，通过L计算关节点组相连的置信度其中，p是两点之间的插值函数：其中，u表示预测点到的距离占与距离的比值；步骤3最后再将有共同关节点的肢体相连接，形成完整的人体2D骨架特征f2D，最终将2D骨架序列输入一个神经网络，得到3D骨架序列f3D，对于整段视频，最终的3D骨架序列即为：F3D＝[f3D1,f3D2,…,f3DN]。进一步，所述步骤1中，在ADHD患者的侧面放置一个摄像头，保证能捕捉到所有关键的人体关节点，然后拍摄得到侧面视频VSide。本专利技术的有益效果主要表现在：1、使用三维空间位置来描述儿童的肢体运动情况，比二维的数据更加准确也更有意义，可以捕捉到二维数据中无法描述的运动；2、对空间和场地的要求较低，所需设备也较为简单；3、对于被遮挡的关节点算法有插值预测的功能来进行处理，而且与实际情况偏差不大。附图说明图1是用于儿童ADHD筛查评估系统的肢体动作特征向量确定方法的流程图。图2是儿童ADHD筛查评估系统的示意图。具体实施方式下面结合附图对本专利技术作进一步描述。参照图1，一种用于儿童ADHD筛查评估系统的肢体动作特征向量确定方法，输入为采集到的侧面视频VSide，输出为产生的3D骨架序列F3D，包括以下步骤：步骤1置信图与PAF计算：对于图片输入，首先通过10层VGG-19提取图片特征F，再将F输入两个多阶段CNN，一个网络通过置信图的方式确定人体关节点位置，另一个网络通过PartAffinityFields(PAF)确定肢体方向；最终得到置信图S＝(S1,S2,…SJ)与PAFL＝(L1,L2,…,LC)，其中J，C分别表示关节点和肢体的种类数量；步骤2关节点匹配优化：根据置信图得到关节点的位置，表示第j类关节点中的第m个，通过L计算关节点组相连的置信度其中，p是两点之间的插值函数：其中，u表示预测点到的距离占与距离的比值；步骤3最后再将有共同关节点的肢体相连接，形成完整的人体2D骨架特征f2D，最终将2D骨架序列输入一个神经网络，得到3D骨架序列f3D，对于整段视频，最终的3D骨架序列即为：F3D＝[f3D1,f3D2,…,f3DN]。图2描述了儿童ADHD筛查评估系统中摄像头与被测试者的关系，位于电脑显示屏后方的1号摄像头用于拍摄测试者的正面图像，采集测试者的眼动与表情变化信息。位于测试者座位侧面的2、3号双目深度摄像头模组可用于拍摄测试者全身，采集测试者三维身体姿态信息。本实施例中，在ADHD患者的侧面放置一个摄像头(2号摄像头)，尽量保证能捕捉到所有关键的人体关节点，然后拍摄得到侧面视频VSide。本实施例中，输入为采集到的侧面视频VSide，输出为产生的3D骨架序列F3D，过程如下：置信图与PAF计算：对于图片输入，首先通过10层VGG-19提取图片特征F，再将F输入两个多阶段CNN，一个网络通过置信图的方式确定人体关节点位置，另一个网络通过PartAffinityFields(PAF)确定肢体方向。最终我们得到置信图S＝(S1,S2,…SJ)与PAFL＝(L1,L2,…,LC)，其中J，C分别表示关节点和肢体的种类数量。关节点匹配优化：根据置信图我们可以得到关节点的位置。表示第j类关节点中的第m个。通过L，我们可以计算关节点组()相连的置信度其中，p是两点之间的插值函数：其中，u表示预测点到的距离占与距离的比值；最后再将有共同关节点的肢体相连接，形成完整的人体2D骨架特征f2D，最终将2D骨架序列输入一个神经网络，得到3D骨架序列f3D。对于整段视频，最终的3D骨架序列即为：F3D＝[f3D1,f3D2,…,f3DN]。本说明书的实施例所述的内容仅仅是对专利技术构思的实现形式的列举，仅作说明用途。本专利技术的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本专利技术的保护范围也及于本领域的普通技术人员根据本专利技术构思所能想到的等同技术手段。本文档来自技高网...

【技术保护点】
1.一种用于儿童ADHD筛查评估系统的肢体动作特征向量确定方法，其特征在于，输入为采集到的侧面视频V

【技术特征摘要】
1.一种用于儿童ADHD筛查评估系统的肢体动作特征向量确定方法，其特征在于，输入为采集到的侧面视频VSide，输出为产生的3D骨架序列F3D，包括以下步骤：
步骤1置信图与PAF计算：对于图片输入，首先通过10层VGG-19提取图片特征F，再将F输入两个多阶段CNN，一个网络通过置信图的方式确定人体关节点位置，另一个网络通过PAF确定肢体方向；最终得到置信图S＝(S1,S2,…SJ)与PAFL＝(L1,L2,…,LC)，其中J，C分别表示关节点和肢体的种类数量；
步骤2关节点匹配优化：根据置信图得到关节点的位置，表示第j类关节点中的第m个，通过L计算关节点组相连的置信度<...

【专利技术属性】
技术研发人员：朱强，张雁翼，孔鸣，洪文琛，赵天琦，
申请(专利权)人：湖州维智信息技术有限公司，
类型：发明
国别省市：浙江;33