一种基于深度学习的孤独症辅助评估系统和方法技术方案

本发明专利技术提供一种基于深度学习的孤独症辅助评估系统和方法。该系统包括数据采集和特征提取单元、第一神经网络、第二神经网络、第三神经网络和结果输出单元，数据采集和特征提取单元以及结果输出单元分别与第一神经网络、第二神经网络、第三神经网络具有连接，其中，数据采集和特征提取用于采集受试者观看视频的眼动数据，获得热点图、焦点图和扫描路径图；第一神经网络输入热点图，获得第一分类结果；第二神经网络输入焦点图，获得第二分类结果；第三神经网络输入扫描路径图，获得第三分类结果；结果输出单元集合第一分类结果、第二分类结果和第三分类结果获得受试者的孤独症检测结果。本发明专利技术提高了孤独症的预测效率和预测准确性。发明专利技术提高了孤独症的预测效率和预测准确性。发明专利技术提高了孤独症的预测效率和预测准确性。

【技术实现步骤摘要】
一种基于深度学习的孤独症辅助评估系统和方法


[0001]本专利技术涉及孤独症评估
，尤其涉及一种基于深度学习的孤独症辅助评估系统和方法。

技术介绍

[0002]孤独症谱系障碍(autism spectrum disorder，ASD)，或称“自闭症谱系障碍”、“孤独症”、“自闭症”是以社交障碍和刻板行为为核心障碍的异质性神经发育障碍。全世界范围内ASD儿童发病率逐年增加，现已成为社会公共卫生问题。根据美国疾病控制与预防中心下属的孤独症和发育障碍监控网络的估计，在美国每68人中就有1人患上孤独症，因此现今社会对ASD的关注在过去几年大幅上升。康复训练是ASD儿童主要的治疗方式，越来越多的实例表明，开始干预的时间越早，预后越好。通过对ASD儿童的早期诊断和干预，借以减轻ASD儿童症状，能够最大程度发挥其潜能，提高其相应功能水平，使其能够和正常儿童一样健康茁壮成长。
[0003]然而，目前ASD的诊断缺乏可靠的生化诊断标志物或影像学依据，异质性大。ASD的核心症状社会交流和互动障碍受损程度不同，表现多样，尤其轻-中度ASD儿童的及时识别及正确诊断存在一定的难度，容易漏诊、误诊，使ASD儿童进入主流托幼机构后被贴上“问题儿童”的标签，易受到家长的责怪、老师的责罚和同学的疏远，引发行为、情绪问题，非常不利于孩子的预后。故急需使用方便、可靠性高的方法进行辅助诊断，从而有利于早期正确诊断和及时干预，减轻越来越沉重的孤独症谱系障碍患儿康复费用负担。
[0004]ASD儿童的诊断标准主要有美国精神病学会的《精神障碍诊断和统计手册》和世界卫生组织关于精神与行为障碍的诊断标准。目前主流的评估预测方法是根据诊断标准，针对语言交流障碍、社会交往障碍和重复刻板行为三个方面，利用国际上主流的诊断工具(孤独症诊断观察量表和孤独症诊断访谈量表)，以问卷调查和访谈的方式结合儿童的平时生长发育史、病史以及精神检查进行孤独症诊断。当基于行为征兆和症状的直接或间接观察不再适用时，从社会认知视角出发，围绕社交障碍这一ASD核心特异性症状，对ASD视觉特点的分析就富有特殊的意义。最近的研究提供了ASD个体不同的眼动模式的证据，通过眼球追踪技术研究了ASD个体如何扫描人脸。这些研究一致认为孤独症个体与正常儿童相比，对面部有更少的视觉注意。目前医学领域已经开始研究眼球凝视行为并将其作为儿童自闭症的诊断标准之一。从该角度出发，形成了一类借助眼动仪追踪ASD的眼球凝视行为，通过ASD的眼动数据进行分析及特征提取从而进行自闭症的评估预测。另一方面，随着脑功能成像技术研究的发展，出现了部分借助脑功能成像技术对ASD进行诊断的方法。通过核磁共振扫描仪得到静息态功能磁共振数据或者借助脑电设备采集得到的脑电信号，对采集得到的数据进行预处理和相应的功能处理得到所需的特征用以训练分类模型进行自闭症和正常儿童的分类。此外，越来越多的研究用工程技术的手段通过来自各个方面的多模态信号提取相关的特征用于自闭症的评估预测。例如，通过自闭症测试者观看预制视频对应的面部图像以及观看图像时的面部温度变化、心率变化和呼吸变化；或者利用视觉摄像头辅助判断受
试者对语言的回应；或者采集逗笑试验过程中被试者、评估者和道具的多个RGB-D摄像头视角多声道音视频多模态数据；或者基于生理信号提取受试者在不同情绪状态下的脑电信号、肌电信号、眼电信号、皮肤电反应信号、体温数据、呼吸频率等，甚至直接利用受试者的表情反应提取表情特征来进行辅助判断。总之，多种能够利用的多模态信号及特征都已经被尝试用来进行自闭症儿童的辅助诊断。
[0005]在现有技术中，以ASD的眼动数据进行自闭症的分类辅助诊断方法中，通常以观看静态的人脸图片或视觉追随任务中的静态图片为主，借助眼动仪或者佩戴眼镜式眼球追踪器来获取被观察者的眼动数据或眼球凝视数据。并以此进行繁杂的人工特征提取工作辅以传统机器学习分类模型支持向量机(SVM)或者BP神经网络的训练得到性能较优的分类器模型，根据建立的分类模型对儿童进行分类识别。在利用眼动追踪技术进行辅助诊断的方案中大多以简单的静态面孔识别为主要研究方向，而基于面部情绪识别实现ASD患儿的辅助诊断的报道少之又少。面孔识别以及情绪感知障碍是ASD儿童社交障碍的核心问题，而孤独症谱系障碍患者普遍存在的面部情绪识别缺陷是导致其社交、沟通障碍的核心原因。孤独症谱系障碍患者在社交和面部刺激条件下，与典型发展人群的眼球运动模式存在着显著性差异，孤独症谱系障碍患者对眼睛区域的注视更少，避免直接凝视可能是孤独症谱系障碍患者面部情绪识别缺陷发展的原因。目前孤独症谱系障碍患者的面部情绪识别障碍的研究主要是眼动追踪技术。研究表明ASD儿童在面孔识别与情绪感知中存在异于正常儿童的眼动模式，这一特征存在于症状从轻到重的ASD儿童中。孤独症谱系障碍患者的特异性面部加工模式，主要是对面部刺激进行选择并提取信息，这些信息对于情绪识别的任务来说是次优的。
[0006]总之，现有的技术方案主要存在以下问题：1)、基于眼动的方案刺激材料过于典型，与实际生活场景脱节。在目前的基于眼动辅助诊断的方案中，提供的刺激材料皆是静态图片，与实际生活场景脱节，无法真实评估ASD儿童在现实社会交流互动中的情感识别能力。2)、不适用于6-18月年龄段儿童的辅助诊断。当前的自闭症谱系障碍量表多有年龄范围，对于自闭症患者而言，经常会出现题目难度大或者年龄不在量表评估范围的问题。而且对于年龄偏小的儿童，无法对其问卷调查和访谈，只能凭借父母长辈的日常观察和医生的访谈及行为核查借以诊断，容易造成漏诊、误诊。目前的用眼镜式眼球追踪器获取眼动数据、利用脑电等多模态数据进行数据采集的方法以及利用表情反应的方法对于6-18个月年龄段的儿童而言太难实现。3)、需要繁琐的人工特征提取工作。当前用于ASD辅助诊断的相关工程技术方案，无论是采取眼动追踪技术获取受试者的眼动数据，还是获取受试者在面孔识别相关任务中的面部特征，甚至是通过获取受试者的脑电信号、肌电信号等多模态信号，都是通过繁杂的人工特征提取工作后进行分类器模块的训练进行诊断分类。对所获得的不同形态的数据必须通过精细繁杂的特征提取才能为后期高准确的分类性能服务。

技术实现思路

[0007]本专利技术的目的在于克服上述现有技术的缺陷，提供一种基于深度学习的孤独症辅助评估系统和方法，结合眼动技术和深度学习来预测评估孤独症。
[0008]根据本专利技术的第一方面，提供一种基于深度学习的孤独症辅助评估系统。该系统包括数据采集和特征提取单元、第一神经网络、第二神经网络、第三神经网络和结果输出单
元，所述数据采集和特征提取单元和所述结果输出单元分别与所述第一神经网络、所述第二神经网络、所述第三神经网络具有通信连接，其中：所述数据采集和特征提取单元用于采集受试者观看视频的眼动数据，获得对应的热点图、焦点图和扫描路径图，所述热点图用于表征注视点的时间和位置的动态变化，所述焦点图用于表征注视位置、时间的动态变化，所述路径扫描图逐点连续显示注视点位置和各注视时间信息；所述第一神经网络用于输入所述热点图，获得第一分类结果；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的孤独症辅助评估系统，其特征在于，包括数据采集和特征提取单元、第一神经网络、第二神经网络和第三神经网络，结果输出单元，所述数据采集和特征提取单元以及所述结果输出单元分别与所述第一神经网络、所述第二神经网络、所述第三神经网络具有通信连接，其中：所述数据采集和特征提取单元用于采集受试者观看动态视频的眼动数据，获得对应的热点图、焦点图和扫描路径图，所述热点图用于表征注视点的时间和位置的动态变化，所述焦点图用于表征注视位置、时间的动态变化，所述路径扫描图逐点连续显示注视点位置和各注视时间信息；所述第一神经网络用于输入所述热点图，获得第一分类结果；所述第二神经网络用于输入所述焦点图，获得第二分类结果；所述第三神经网络用于输入所述扫描路径图，获得第三分类结果；所述结果输出单元集合所述第一分类结果、所述第二分类结果和所述第三分类结果获得受试者的孤独症检测结果。2.根据权利要求1所述的系统，其特征在于，所述第一神经网络、所述第二神经网络和所述第三神经网络具有相同或不同的结构。3.根据权利要求1所述的系统，其特征在于，所述第一神经网络、所述第二神经网络和所述第三神经网络具有相同的结构，包括输入层、第一层卷积层，第二层池化层，第三层卷积层，第四层池化层，第五层卷积层，第六层全连接层、第七层全连接层和输出层。4.根据权利要求3所述的系统，其特征在于，所述第一神经网络、所述第二神经...

【专利技术属性】
技术研发人员：连重源，燕楠，王岚，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：