用于儿童ADHD筛查评估系统的表情特征向量确定方法技术方案

一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，包括以下步骤：步骤1使用级联卷积神经网络对儿童的面部表情图像进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置P

【技术实现步骤摘要】
用于儿童ADHD筛查评估系统的表情特征向量确定方法
本专利技术涉及一种儿童ADHD筛查评估系统，尤其是表情特征向量确定方法。
技术介绍
注意缺陷多动障碍(ADHD)，俗称多动症，是儿童青少年期最常见的神经发育障碍，其临床表现是注意集中困难、活动过度、冲动，情绪不稳定、学习困难等。现有的ADHD医学影像的智能识别技术主要是基于脑部功能性核磁共振和脑电图等病理方面的研究，或者单独基于眼动或面部表情等观察患者的行为特征。目前对于ADHD患者表情的研究还处于起步阶段，与我们的专利技术较为接近的是17年诺丁汉大学ShashankJaiswal的研究。他们让测试者听了12个故事，并使用微软的Kinect记录了测试者的面部表情单元(ActionUnits,AU)并使用机器学习的方法加以分析。这种方法的缺陷有三点，1.每个人的长相并不相同，所以他们的基本AU也不一样，这会导致结果上的偏差；2.研究针对的是成人，出现面部表情异常(比如面部抽动等)的情况不是很多，加上样本量不大，所以特征识别的效果不太好；3.机器学习分类方法的结果好坏一定程度上取决于研究者选择的模型与数据是否适合，而且很难挖掘深层次的信息。
技术实现思路
为了克服已有ADHD儿童表情特征确定方式的准确性较差的不足，本专利技术提供了一种准确性较好的用于儿童ADHD筛查评估系统的表情特征向量确定方法。本专利技术解决其技术问题所采用的技术方案是：一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，包括以下步骤：步骤1使用级联卷积神经网络对儿童的面部表情图像进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置PL推得与表情运动单元相关的对应肌肉的位置PAU，在此基础上，构建基于VGGNet的ROINets，通过裁剪出网络第12层得到的featuremap，由此得到对应每个AU的特征表示，将所有特征向量拼接即得到表示该时刻表情特征的整体向量FAU；步骤2利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类问题，得出基于AU特征激活概率的表情特征序列表达Fexp。进一步，所述步骤2中，如果在表情特征序列中出现了一些可以被判定为异常动作的AU，相对应的帧会被标注为问题帧，再反推回视频得到表情异常的时段。再进一步，所述步骤1中，放置在儿童面部正前方的摄像头来拍摄儿童的面部表情，得到一段视频VFront，然后使用级联卷积神经网络对视频中的每一帧进行分析识别。本专利技术的有益效果主要表现在：1、用于标定人脸数据库较大，标注精准，可以保证面部特征点识别结果的准确性；2、可以检测的AU种类多，而且包含多种异常面部行为，最后得到的视频问题时段与人工判别相比很少有遗漏；3、场地不受限制，成本较为低廉。附图说明图1是用于儿童ADHD筛查评估系统的表情特征向量确定方法的流程图。图2是儿童ADHD筛查评估系统的示意图。具体实施方式下面结合附图对本专利技术作进一步描述。参照图1，一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，包括以下步骤：步骤1放置在儿童面部正前方的摄像头来拍摄儿童的面部表情，得到一段视频VFront，然后使用级联卷积神经网络对视频中的每一帧进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置PL推得与表情运动单元相关的对应肌肉的位置PAU，在此基础上，构建基于VGGNet的ROINets，通过裁剪出网络第12层得到的featuremap，由此得到对应每个AU的特征表示，将所有特征向量拼接即得到表示该时刻表情特征的整体向量FAU；步骤2利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类问题，得出基于AU特征激活概率的表情特征序列表达Fexp；如果在表情特征序列中出现了一些可以被判定为异常动作的AU，相对应的帧会被标注为问题帧，再反推回视频得到表情异常的时段。本实施例中，通过对22种FacialActionCodingSystem(Hammetal.,2011)描述的面部运动单元和动作对测试者表情变化进行描述，具体的，采用了一种结合RegionofInterests(ROI)adaptation，Multi-labelLearning,以及optimalLSTM-basedtemporalfusing的结构对微表情进行检测，表情特征计算的输入为采集到的正面视频VFront，输出为产生的AU概率序列表达Fexp。图2描述了儿童ADHD筛查评估系统中摄像头与被测试者的关系，位于电脑显示屏后方的1号摄像头用于拍摄测试者的正面图像，采集测试者的眼动与表情变化信息。位于测试者座位侧面的2、3号双目深度摄像头模组可用于拍摄测试者全身，采集测试者三维身体姿态信息。本实施例中，使用一个放置在儿童面部正前方的摄像头(1号摄像头)来拍摄儿童的面部表情，得到一段视频VFront。本实施例中，使用级联卷积神经网络对视频中的每一帧进行分析识别，先找出人脸的boundingbox，然后由粗到细定位出人脸上的68个特征点，然后根据这些关键特征点的位置PL推得与表情运动单元相关的对应肌肉的位置PAU。将特征点与22种FacialActionCodingSystem描述的面部运动单元和动作对测试者表情变化进行比对，得到每一帧图像中人脸的所有AU及其概率。然后将这些AU按视频的时序拼接起来，输出AU概率序列Fexp。在此基础上，可以构建基于VGGNet的ROIcroppingnets(ROINets)。通过裁剪出网络第12层得到的featuremap，由此得到对应每个AU的特征表示。将所有特征向量拼接即得到表示该时刻表情特征的整体向量FAU。由于表情识别任务的输入形式是视频数据,因此我们可通过前面时刻的表情状态下更准确、更平滑的预测当前时刻的表情状态。于是我们利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类问题，得出基于AU特征激活概率的表情特征序列表达Fexp。如果在表情特征序列中出现了一些可以被判定为异常动作的AU(例如吐舌、皱眉等)，相对应的帧会被标注为问题帧，再反推回视频得到表情异常的时段。本说明书的实施例所述的内容仅仅是对专利技术构思的实现形式的列举，仅作说明用途。本专利技术的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本专利技术的保护范围也及于本领域的普通技术人员根据本专利技术构思所能想到的等同技术手段。本文档来自技高网...

【技术保护点】
1.一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，其特征在于，所述方法包括以下步骤：/n步骤1使用级联卷积神经网络对儿童的面部表情图像进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置P

【技术特征摘要】
1.一种用于儿童ADHD筛查评估系统的表情特征向量确定方法，其特征在于，所述方法包括以下步骤：
步骤1使用级联卷积神经网络对儿童的面部表情图像进行分析识别，识别出面部关键特征点集合，然后根据这些关键特征点的位置PL推得与表情运动单元相关的对应肌肉的位置PAU，在此基础上，构建基于VGGNet的ROINets，通过裁剪出网络第12层得到的featuremap，由此得到对应每个AU的特征表示，将所有特征向量拼接即得到表示该时刻表情特征的整体向量FAU；
步骤2利用一个多层LSTM结构对时序化的表情特征向量进行处理，完成对多AU的多任务二值分类...

【专利技术属性】
技术研发人员：朱强，张雁翼，孔鸣，洪文琛，赵天琦，
申请(专利权)人：湖州维智信息技术有限公司，
类型：发明
国别省市：浙江;33