一种基于深度学习的自闭症儿童刻板动作诊断系统技术方案

本发明专利技术涉及计算机辅助诊断技术领域，公开了一种基于深度学习的自闭症儿童刻板动作诊断系统，包括：数据采集模块，用于获取待诊断对象视频数据；动作识别模块，用于对所述视频数据，通过姿态估计算法，得到骨骼节点坐标序列数据；对骨骼节点坐标序列数据，计算得到骨骼向量序列数据；对视频数据，读取为图像序列形式，得到图像序列数据；对图像序列数据，通过光流估计算法，得到光流序列数据；基于所述骨骼节点坐标序列数据、骨骼向量序列数据、图像序列数据和光流序列数据，利用训练好的动作识别模型对视频数据进行刻板动作识别。更充分地利用视频数据进行诊断，得到的诊断效果较为准确，而且不需要深度摄像设备，成本较低。成本较低。成本较低。

【技术实现步骤摘要】
一种基于深度学习的自闭症儿童刻板动作诊断系统


[0001]本专利技术涉及计算机辅助诊断
，特别是涉及一种基于深度学习的自闭症儿童刻板动作诊断系统。

技术介绍

[0002]本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
[0003]孤独症谱系障碍(Autism spectrum disorder，ASD)是一系列复杂的神经发展障碍性疾病，会影响社交、沟通和行为方面的能力。对ASD而言，儿童期是康复的关键时期，而早期诊断对ASD患者的康复至关重要。刻板动作作为ASD的核心症状，对其进行诊断的重要性不言而喻。
[0004]目前对刻板动作进行诊断的方法普遍是通过纸笔评分量表、直接观察或基于视频的方法，这些方法会耗费人力和时间，其诊断结果会受主观性影响且难以量化。
[0005]因此，如何提供一种基于深度学习的自闭症儿童刻板动作诊断方法及系统，智能且更客观地对刻板动作进行诊断，成为一个亟待解决的问题。
[0006]为解决这一问题，目前的研究一般是根据通过可穿戴式传感器或摄像机采集得到的数据进行识别。利用可穿戴式传感器的方法，计算量小，但需要让患者进行额外的穿戴行为，并在采集的过程中需维持穿戴状态，这种具有侵入性的方法可能不会被ASD患儿很好地接受，应用场景也会受到一定的限制。利用摄像机的方法，使用深度摄像设备采集视频数据进行识别，虽然可以直接获取骨骼信息，但其数据采集硬件设备成本较高。

技术实现思路

[0007]为了解决现有技术的不足，本专利技术提供了一种基于深度学习的自闭症儿童刻板动作诊断系统，其将ASD儿童刻板动作视频数据进行了多种处理，更充分地利用视频数据进行诊断，得到的诊断效果较为准确，而且不需要深度摄像设备，成本较低。
[0008]第一方面，本专利技术提供了一种基于深度学习的自闭症儿童刻板动作诊断系统；
[0009]一种基于深度学习的自闭症儿童刻板动作诊断系统，包括：
[0010]数据采集模块，用于获取待诊断对象视频数据；
[0011]动作识别模块，用于对所述视频数据，通过姿态估计算法，得到骨骼节点坐标序列数据；对骨骼节点坐标序列数据，计算得到骨骼向量序列数据；对视频数据，读取为图像序列形式，得到图像序列数据；对图像序列数据，通过光流估计算法，得到光流序列数据；基于所述骨骼节点坐标序列数据、骨骼向量序列数据、图像序列数据和光流序列数据，利用训练好的动作识别模型对视频数据进行刻板动作识别。
[0012]进一步地，还包含：目标检测模块，用于检测出所述视频数据中的人体所在区域。
[0013]进一步地，还包含：视频处理模块，用于根据所述目标检测模块得到的人体所在区域，对视频数据进行裁切，并按照一定帧率，对已裁切的视频数据进行采样，再缩放至一定尺寸后，输入所述动作识别模块。
[0014]进一步地，所述骨骼节点坐标序列数据包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝和右踝的坐标。
[0015]进一步地，所述骨骼向量序列数据为相连两个骨骼节点的坐标序列数据的差值。
[0016]进一步地，所述动作识别模型包括一个输入所述骨骼节点坐标序列数据的自适应图卷积神经网络、一个输入所述骨骼向量序列数据的自适应图卷积神经网络、一个输入所述图像序列数据的快慢两通道网络和一个输入光流序列数据的快慢两通道网络。
[0017]进一步地，每个网络后连接一个可训练的全连接层，每个全连接层均输出所述待诊断对象划分到所有刻板动作的分数。
[0018]进一步地，四个全连接层的分数通过加权平均，得到最终的刻板动作识别结果。
[0019]第二方面，本专利技术还提供了一种电子设备，包括：
[0020]存储器，用于非暂时性存储计算机可读指令；以及
[0021]处理器，用于运行所述计算机可读指令，
[0022]其中，所述计算机可读指令被所述处理器运行时，执行以下步骤：
[0023]获取待诊断对象视频数据；
[0024]对所述视频数据，通过姿态估计算法，得到骨骼节点坐标序列数据；对骨骼节点坐标序列数据，计算得到骨骼向量序列数据；对视频数据，读取为图像序列形式，得到图像序列数据；对图像序列数据，通过光流估计算法，得到光流序列数据；基于所述骨骼节点坐标序列数据、骨骼向量序列数据、图像序列数据和光流序列数据，利用训练好的动作识别模型对视频数据进行刻板动作识别。
[0025]第三方面，本专利技术还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行以下步骤：
[0026]获取待诊断对象视频数据；
[0027]对所述视频数据，通过姿态估计算法，得到骨骼节点坐标序列数据；对骨骼节点坐标序列数据，计算得到骨骼向量序列数据；对视频数据，读取为图像序列形式，得到图像序列数据；对图像序列数据，通过光流估计算法，得到光流序列数据；基于所述骨骼节点坐标序列数据、骨骼向量序列数据、图像序列数据和光流序列数据，利用训练好的动作识别模型对视频数据进行刻板动作识别。
[0028]与现有技术相比，本专利技术的有益效果是：
[0029]本专利技术的一种基于深度学习的自闭症儿童刻板动作诊断系统，其将ASD儿童刻板动作视频数据进行了多种处理，再输入到合适的网络中，更充分地利用视频数据进行诊断，得到的诊断效果较为准确。
[0030]本专利技术的一种基于深度学习的自闭症儿童刻板动作诊断系统，其相较于传统手工方法，更智能且客观，且不需消耗大量人力。
[0031]本专利技术的一种基于深度学习的自闭症儿童刻板动作诊断系统，其采用了骨骼节点坐标序列数据、骨骼向量序列数据、RGB图像序列数据和光流序列数据，对多模态行为信息数据进行聚合，使得网络学习到的表征更加完备，提高了识别精度。
[0032]本专利技术的一种基于深度学习的自闭症儿童刻板动作诊断系统，其所需硬件较常见且成本较低，具备很好的可移植性。
[0033]本专利技术的一种基于深度学习的自闭症儿童刻板动作诊断系统，其不需要使用额外
的可穿戴设备，即可采集数据进行诊断，对ASD儿童侵入性低且更方便。
[0034]本专利技术附加方面的优点将在下面的描述中部分给出，或通过本专利技术的实践了解到。
附图说明
[0035]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。
[0036]图1为第一个实施例的一种基于深度学习的自闭症儿童刻板动作诊断系统的诊断部分结构图；
[0037]图2为第一个实施例的一种基于深度学习的自闭症儿童刻板动作诊断系统的训练部分的数据流程图；
[0038]图3为第一个实施例的AGCN模型的示意图；
[0039]图4为第一个实施例的SlowFast模型的示意图；
[0040]图5为第一个实施例的动作识别模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的自闭症儿童刻板动作诊断系统，其特征是，包括：数据采集模块，用于获取待诊断对象视频数据；动作识别模块，用于对所述视频数据，通过姿态估计算法，得到骨骼节点坐标序列数据；对骨骼节点坐标序列数据，计算得到骨骼向量序列数据；对视频数据，读取为图像序列形式，得到图像序列数据；对图像序列数据，通过光流估计算法，得到光流序列数据；基于所述骨骼节点坐标序列数据、骨骼向量序列数据、图像序列数据和光流序列数据，利用训练好的动作识别模型对视频数据进行刻板动作识别。2.如权利要求1所述的一种基于深度学习的自闭症儿童刻板动作诊断系统，其特征是，还包含：目标检测模块，用于检测出所述视频数据中的人体所在区域。3.如权利要求2所述的一种基于深度学习的自闭症儿童刻板动作诊断系统，其特征是，还包含：视频处理模块，用于根据所述目标检测模块得到的人体所在区域，对视频数据进行裁切，并按照一定帧率，对已裁切的视频数据进行采样，再缩放至一定尺寸后，输入所述动作识别模块。4.如权利要求1所述的一种基于深度学习的自闭症儿童刻板动作诊断系统，其特征是，所述骨骼节点坐标序列数据包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝和右踝的坐标。5.如权利要求1所述的一种基于深度学习的自闭症儿童刻板动作诊断系统，其特征是，所述骨骼向量序列数据为相连两个骨骼节点的坐标序列数据的差值。6.如权利要求1所述的一种基于深度学习的自闭症儿童刻板动作诊断系统，其特征是，所述动作识别模型包括一个输入所述骨骼节点坐标序列数据的自适应图卷积神经网络、一个输入所述骨骼向量序列数据的自适应图卷积神经网络、一个输入所述...

【专利技术属性】
技术研发人员：刘娟，姚雯馨，卞玉龙，吴俊贤，袁嫣然，
申请(专利权)人：山东大学，
类型：发明
国别省市：