基于分离重聚范式和计算机视觉的孤独症初级筛查装置制造方法及图纸

本发明专利技术公开了一种孤独症初级筛查装置，包括：数据采集模块，用于记录实验过程中视频，声音等多模态数据；行人检测模块，用于通过深度学习自动提取视频每一帧里人的位置；行人识别模块，用于通过深度学习自动提取视频中参与者的身份；特征提取模块，自动跟踪参与实验的人员在实验室中的行动轨迹，并提取出与实验人员具有代表性的特征并标记；训练分类模块，用于利用已标记的特征训练分类器，得到预测范式评分的分类器模型与预测ASD的分类器模型；预测模块，用于采用由训练分类模块获取的预测ASD的分类器模型对测试者进行测试，对测试者的孤独症进行评估预测。本发明专利技术能被视作一个ASD早期筛查的辅助装置，使得早期的ASD筛查预测更加准确与方便。

Primary Autism Screening Device Based on Separation and Repolymerization Paradigm and Computer Vision

The invention discloses an autism primary screening device, which includes: a data acquisition module for recording multi-modal data such as video and sound in the experimental process; a pedestrian detection module for automatically extracting the position of the person in each frame of the video through in-depth learning; a pedestrian recognition module for automatically extracting the identity of the participants in the video through in-depth learning; and a feature extraction module for automatically extracting the identity of the participants in the video through in-depth learning. Tracking the movement trajectory of the participants in the experiment in the laboratory, and extracting the representative features and labeling with the experimenters; training classification module, which is used to train the classifier by using the labeled features, obtains the classifier model of predictive paradigm score and predictive ASD; prediction module, which is used to use the classifier of predictive ASD acquired by the training classification module. The model tests the tester and evaluates and predicts the autism of the tester. The invention can be regarded as an assistant device for ASD early screening, which makes the prediction of ASD early screening more accurate and convenient.

【技术实现步骤摘要】
基于分离重聚范式和计算机视觉的孤独症初级筛查装置
本专利技术涉及图像处理领域，尤其涉及到一种基于分离重聚范式和计算机视觉的孤独症初级筛查装置，根据儿童在监护人与之分离之后行为模式评估预测孤独症，采集被试在分离-重聚实验中视频数据并加以分析其运动估计，以评估预测孤独症谱系障碍。
技术介绍
社会各方面的研究者对孤独症谱系障碍(autismspectrumdisorder,ASD)的关注在过去几年大幅上升。心理学，医学，计算机科学领域的研究院和专家近些年都在儿童自闭症的病因、诊断、干预治疗等方面有了新的发现。现在最广泛应用的测量方法包括孤独症诊断观察量表(AutismDiagnosticObservationSchedule-Generic,ADOS-G)与它的修订版本(ADOS-2)。ADOS是一种基于行为观察的诊断手段，需要一个受过临床训练的专业人员长时间的操作，这不仅增加了诊断成本，也减少了孤独症被早期诊断的机会。最近的行为研究表明，自闭症儿童在以下三个方面的行为上有着与非自闭症儿童的显著差距，分别是：重复刻板动作，语言交流障碍，社会交往障碍。在社会交往障碍的表现中，专家和研究学者发现，自闭症儿童在分离-重聚实验中体与非自闭症儿童有着显著差异。具体来说，在儿童和家长一起玩玩具，然后家长突然离开儿童的情况下，非自闭症儿童大多会追随家长，表现出不安情绪的倾向；而自闭症儿童，有些会沉浸于自己的玩具中，对家长的离开反应弱或者无反应的倾向。这一现象也被广泛应用于人工自闭症诊疗环节中，作为一个重要依据。而现在的计算机视觉与深度学习的发展，是我们在人的行为分析上有着突飞猛进的进展。越来越多的学者开始对自闭症儿童的行为进行分析，提取特征，并加以预测。
技术实现思路
针对上述现有技术存在的问题，本专利技术的目的在于提供一种基于分离重聚范式和计算机视觉的孤独症初级筛查装置，本专利技术与其他基于行为范式的自动筛查装置联合使用，能够在一定程度上简化ASD评估流程，减少ASD评估时间，增加客观度，提高ASD早期预测的机会。为实现上述目的，本专利技术是根据以下技术方案实现的：一种基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，包括：数据采集模块，用于记录实验过程中实验人员的视频、声音的多模态数据，并进行同步数据采集；其中，参与的实验人员包括患有ASD个体与正常个体、儿童家长以及工作人员；行人检测模块，用于从视频信息中提取人物身份特征，通过深度学习按照一定帧率提取出图像，接着对每一帧的图像进行行人检测，检测出出现的行人，并把行人利用矩形框框出来，最后自动提取视频每一帧里人的位置；行人识别模块，用于通过深度学习自动提取视频中参与者的身份；特征提取模块，用于自动跟踪参与实验的人员在实验室中的行动轨迹，并分析行动轨迹之间的关系，提取出与实验人员在具有代表性的特征并标记；训练分类模块，用于利用已标记的特征训练分类器，得到预测行为范式的分数的分类器模型与预测ASD的分类器模型；预测模块，用于采用由训练分类模块获取的预测ASD的分类器模型对测试者进行测试，对测试者的孤独症进行评估预测。上述技术方案中，数据采集模块通过计算机视觉识别并跟踪儿童及其监护人的行动轨迹，并且分析儿童与监护人运动轨迹之间的相互关系，得到儿童在监护人离开实验室之后的反应特征；并同步记录实验过程中医生、家长、儿童的互动行为。上述技术方案中，所述视频采集模块包括多角度摄像头以及多通道视频采集卡。上述技术方案中，，所述多角度摄像头实现了水平范围360度，垂直范围2米范围内全覆盖的行为数据采集；利用摄像头从多角度采集参与者的行为数据，并且调整摄像头俯角，实现不同高度全覆盖。上述技术方案中，所述行人识别模块对行人检测模块框出的行人进行识别，区分出该行人是儿童，医生还是家长，其通过以下两步实现的：首先利用行人重识别公开数据集，进行网络训练，得到行人重识别特征提取网络，再利用此网络对本专利中前一步得到的行人检测得到的图片进行行人身份特征提取。所述特征提取模块还根据参与实验的人员在实验室中的行动轨迹，并分析家长离开实验房间之后，儿童的行动轨迹，提取在家长离开后儿童离开座位及离开房间的时间延迟、移动方向、速度、轨迹以及是否有重聚反应的特征。上述技术方案中，还包括标记单元，所述标记单元得到儿童在家长离开后的重聚反应特征后，根据这个特征对应的个体的打分，标记此特征为0，1，2三种类别。其中2分指有行动上跟随反应；1分指有目光跟随但是没有行动上跟随；0分指没有跟随反应。上述技术方案中，所述预测模块采用由训练分类模块获取的预测ASD的模型对测试者进行测试，对测试者的孤独症进行评估预测；测试得到一个分数，分数即为儿童在分离重聚实验中的表现；得到个体层级的分数后，基于设定的门限值T，预测该测试者是否患有ASD；当分数大于T时，预测该个体患有ASD，当分数小于T时，预测该个体不患有ASD。本专利技术与现有技术相比，具有如下优点：本专利技术提出了基于深度学习与计算机视觉的框架，对被试者在监护人离开自己时的行动轨迹进行分析，本专利技术不需要太多的人工成本。虽然本专利技术提出的装置并不能完全替代传统的ASD诊断方法，但它能被视作一个ASD评估的辅助早期筛查装置，使得早期的ASD评估预测更加准确与方便。使用深度学习算法提取的儿童行为特征(例如儿童在家长离开房间后多久开始反应，经过多久时间可以接近监护人离开的门口等)代替现有行为分析中医生给出的0，1，2离散的分数，这样可以对行为的评估提取出更多有用的信息。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本专利技术基于分离重聚范式和计算机视觉的孤独症初级筛查装置的总框架结构图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。本专利技术提出一种基于分离重聚范式和计算机视觉的孤独症初级筛查装置，针对传统的ASD诊断方法的人工成本高、诊断周期长，设计分离-重聚范式，采用深度学习框架自动提取儿童在家长与之分离之后的行为特征，并依据行为特征训练数据，生成孤独症患者分离重聚表现的分析模型，根据该行为分析模型进行孤独症的评估预测。图1是本专利技术的总框架结构图，如图1所示，本专利技术的一种基于分离重聚范式和计算机视觉的孤独症初级筛查装置，包括：数据采集模块，用于记录实验过程中实验人员的视频、声音的多模态数据，并进行同步数据采集；其中，参与的实验人员包括患有ASD个体与正常个体、儿童家长以及工作人员。具体地，在的实验室内利用绿色沙发隔出5米*5米大小的实验场地作为实验参与者的活动区域。参与者为儿童，儿童的监护人，医生三人。在具体实验中，三人首先围绕着桌子进行儿童喜欢的游戏，然后监护人按照医生的指示，在儿童看得见的方向上离开实验区域。接下来继续观察儿童是否有跟随监护人离开。本专利技术还包括标记单元，所述标记单元得到儿童在家长离开后的重聚反应特本文档来自技高网...

【技术保护点】
1.一种基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，包括：数据采集模块，用于记录实验过程中实验人员的视频、声音的多模态数据，并进行同步数据采集；其中，参与的实验人员包括患有ASD个体与正常个体、儿童家长以及工作人员；行人检测模块，用于从视频信息中提取人物身份特征，通过深度学习按照一定帧率提取出图像，接着对每一帧的图像进行行人检测，检测出出现的行人，并把行人利用矩形框框出来，最后自动提取视频每一帧里人的位置；行人识别模块，用于通过深度学习自动提取视频中参与者的身份；特征提取模块，用于自动跟踪参与实验的人员在实验室中的行动轨迹，并分析行动轨迹之间的关系，提取出与实验人员在具有代表性的特征并标记；训练分类模块，用于利用已标记的特征训练分类器，得到预测行为范式的分数的分类器模型与预测ASD的分类器模型；预测模块，用于采用由训练分类模块获取的预测ASD的分类器模型对测试者进行测试，对测试者的孤独症进行评估预测。

【技术特征摘要】
1.一种基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，包括：数据采集模块，用于记录实验过程中实验人员的视频、声音的多模态数据，并进行同步数据采集；其中，参与的实验人员包括患有ASD个体与正常个体、儿童家长以及工作人员；行人检测模块，用于从视频信息中提取人物身份特征，通过深度学习按照一定帧率提取出图像，接着对每一帧的图像进行行人检测，检测出出现的行人，并把行人利用矩形框框出来，最后自动提取视频每一帧里人的位置；行人识别模块，用于通过深度学习自动提取视频中参与者的身份；特征提取模块，用于自动跟踪参与实验的人员在实验室中的行动轨迹，并分析行动轨迹之间的关系，提取出与实验人员在具有代表性的特征并标记；训练分类模块，用于利用已标记的特征训练分类器，得到预测行为范式的分数的分类器模型与预测ASD的分类器模型；预测模块，用于采用由训练分类模块获取的预测ASD的分类器模型对测试者进行测试，对测试者的孤独症进行评估预测。2.根据权利要求1所述的基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，数据采集模块通过计算机视觉识别并跟踪儿童及其监护人的行动轨迹，并且分析儿童与监护人运动轨迹之间的相互关系，得到儿童在监护人离开实验室之后的反应特征；并同步记录实验过程中医生、家长、儿童的互动行为。3.根据权利要求2所述的基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，所述视频采集模块包括多角度摄像头以及多通道视频采集卡。4.根据权利要求3所述的基于分离重聚范式和计算机视觉的孤独症初级筛查装置，其特征在于，所述多角度摄像头实现了水平范围360度，垂直范围2米范围内全覆盖的行为...

【专利技术属性】
技术研发人员：李明，邹小兵，
申请(专利权)人：昆山杜克大学，中山大学附属第三医院中山大学肝脏病医院，
类型：发明
国别省市：江苏,32