基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统技术方案

本发明专利技术公开了一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，通过采集评估者及被试者的音视频多模态数据并加以分析，以评估预测孤独症谱系障碍，包括数据采集模块，用于对试验过程中被试者、评估者的音视频多模态数据进行多视角多声道的数据采集；预处理模块同步采集的音视频数据，并使用语音识别检测和标记评估者发出指令的时间，截取该时间点后的音视频进行分析；特征提取模块对预处理后的音视频数据进行特征提取，获取语音内容、面部情感等特征；训练分类模块，将提取的组合特征作为机器学习分类器的输入进行训练，得到预测孤独症的分类器模型；预测模块，利用训练所得的分类器模型对被采集数据的被试者进行孤独症分类预测。

【技术实现步骤摘要】
基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统
本专利技术涉及图像处理、语音识别领域，尤其涉及一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，基于联合注意能力测试系统，采集评估者及被试者的音视频多模态数据并加以分析，以评估预测孤独症谱系障碍的系统。
技术介绍
孤独症谱系障碍(AutismSpectrumDisorder，ASD)，是一种常见的儿童神经发育障碍性疾病。由于孤独症主要影响社交沟通、行为、兴趣等方面的能力，其筛查评估主要通过经验丰富的专业医疗人员进行人工诊断来实现。然而，这对医疗工作人员的专业度和经验度要求极高，这使得纯人工筛查方式难以被普及。因此，越来越多的科研团队投入到研究如何使用人工智能设备辅助对孤独症尽心评估。其中，使用人工智能装置模仿医疗工作者试验测试的方式对儿童进行测评，是一种有效的方式。而这一类试验中，进行“范式及范式组合的测试”试验能够有效结构化、标准化试验环节，达到规范的试验筛查效果。至今为止，关于孤独症儿童注意力评估的人工智能辅助系统研究，并不多。申请号为CN201811220432.8的中国专利申请“基于非社会性声音刺激行为范式的孤独症初级筛查装置”基于语音处理，计算机视觉，采集被试观测人的面部，眼神以及手势信息并加以分析，以评估孤独症谱系障碍风险系数的早期筛查装置。申请号为CN201811619354.9的中国专利申请“一种用于孤独症共同注意诊断范式的检测系统及使用方法”包括独立摄像头、深度传感器、计算机和目标图片，通过对人体的动作识别、脸部检测和视线追踪，对孤独症共同注意诊断范式进行检测，有效降低检测的人工成本和诊疗费用，保证检测的客观性和一致性，然而，该专利申请采用了较少的行为测试对被试者进行孤独症风险的评估。现有技术也有提出通过使用发声玩具吸引儿童注意力，分析试验音视频多模态数据以进行评估，另有现有技术提出通过评估者语音提示及指物来引导被试者关注侧方被指物体，分析单一角度摄像头的视频画面，以对其共同注意力进行评估。这些方法，只分析了儿童接受刺激后的短时间个人行为，均未考虑儿童接受刺激后和外界的交流互动及不可掌控的多种其他活动。而且，角度单一的视频分析，难以精确捕捉完整的试验数据，准确评估儿童患孤独症的风险系数。如果能够在结构化的测试中，从多个角度利用多模态传感器完整获取并分析儿童接受物品或者他人刺激后的注意力变化以及后续互动内容(如分享互动及求助内容等)的数据，能够更有效、更精确地预测儿童的孤独症患病系数。
技术实现思路
针对上述技术问题，本专利技术的目的在于提供一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统。本专利技术涉及图像处理、语音识别领域，尤其涉及一种基于联合注意能力测试的孤独症早期筛查系统，采集全部试验人员，包括被试者(儿童)、评估者(医疗工作人员)或照顾者(家长，主要为父母或与被试者共同生活2周以上的人)，及物品产生吸引注意力刺激及后续连贯反应的音视频数据并加以分析，以评估预测孤独症谱系障碍的系统。为实现上述目的，本专利技术是根据以下技术方案实现的：一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，其特征在于，包括：数据采集模块，用于对联合注意能力测试试验过程中被试者、评估者和道具的音视频多模态数据进行多视角多声道的同步数据采集；预处理模块，用于将所有采集的音视频数据进行同步对齐，采用语音识别检测处理音频数据，检测评估者发出注意力指引指令及互动指令的时间，并以此为起始端点截取视频一段时间后的内容，作为视频分析数据；特征提取模块，用于对预处理获取的多角度多声道音视频数据段落，进行逐帧分析处理，获取语音内容、面部情感、面部朝向、目光、手势、姿势和坐标特征；训练分类模块，用于对提取的特征进行分析，使用机器学习训练并得到针对本测试的孤独症预测分类器模型；预测模块，用于利用分类器模型对新的被试者测试音视频中提取的语音内容、语音情感、面部情感、面部朝向、目光、手势和人物或物体坐标特征进行分析，对被试者的孤独症风险进行评估预测。上述技术方案中，所述数据采集模块包括遥控器、多个RGB-D摄像头、麦克风阵列和/或可穿戴麦克风，所述遥控器用于吸引儿童注意力的可控制可动作无声物体、控制动作物体进行动作；多个所述RGB-D摄像头多角度地隐蔽地布置在场景中，同步输出高质量像素的RGB图像和深度图像；所述麦克风阵列和/或可穿戴麦克风采集高质量的多通道的被试者、评估者的语音并抑制噪声和回声。上述技术方案中，所述特征提取模块包括声纹识别单元、语音识别单元、情感识别单元、坐标估计单元、目光朝向估计单元、手势检测单元、姿态估计单元；所述坐标估计单元对场景中的被试者以及评估者的空间位置进行估计，首先进行人物检测，然后进行人物身份重识别，最后再对人物矩形框进行空间转换进行位置估计；所述语音识别单元将说话者的语音转换为文本内容；所述声纹识别单元根据声纹识别说话人身份；所述情感识别单元对被试者实施语音情感以及面部表情的识别，语音情感识别使用基于深度神经网络提取包含情感信息的特征进行情感的分类，而面部表情同样使用深度神经网络模型，输入被试者的脸部矩形框图像，输出其表情分类；所述目光朝向估计单元对被试者的脸部朝向以及目光注视方向进行估计，能够提取被试者转头反应时间、转头角度、眼神注视方向、眼神注视时间；所述手势检测单元检测被试者的的手指物动作，使用物体检测模型框架进行指东西手势的检测，当被试者出现指物手势的时候，返回该手势的RGB图像矩形框以及增加一次计数；所述姿势识别单元对被试者使用深度神经网络进行估计人体姿态的分析估计。上述技术方案中，所述联合注意能力测试试验的设计包含如下：第一类测试为自发性相互注意力测试；第二类测试为响应性相互协调注意力测试；第三类测试为相互性社会互动要求行为测试；第四类测试为相互性展示与分享测试；通过上面四类测试试验的一种或几种组合对被试者的孤独症风险进行评估预测，每一类测试分别评估被试者不同的孤独症表现形式，进而全面评估被试者的孤独症风险。上述技术方案中，所述联合注意能力测试试验包含如下步骤：步骤S0：预备环节：在试验开始前，进行场景准备，调试设备，将道具摆放至制定位置；在试验开始后，评估者带领被试者就坐与预设的初始座位，相互熟悉，进入试验状态；步骤S1：近处吸引环节，为自发性共同注意力测试：评估者启动桌面上的第一个玩具，第一个玩具具有运动轨迹，并用目光关注第一个玩具，观察被试者的目光是否跟随第一个玩具，如果是，至下一步骤；如果不是，评估者通过语言提醒被试者观察第一个玩具，继续观察被试者注意力，重复1次，至下一步骤；步骤S2：远处吸引环节，为响应性相互协调注意力测试：评估者使用遥控使被试者侧方或后面的第二个玩具露出在场景中，其中第二个玩具默认摆放在其他被试者难以独立获取的地方，并同时看向并指向启动的玩具，其中第二个玩具不发声音且可运动的玩具，观察被试者是否看向或指向第二个玩具并表达喜悦，如果有，至下一步骤；如果否，评估者通过语言提醒被试者观察第二玩具，继续观察被试者注意力，重复1次，如果失败则测试结束，如果成功则至下一步骤；步骤S3：求助环节，为相互性社会互动要求行为测试，包括如下步骤：步骤S301：观察被试者是否自主起身接近本文档来自技高网...

【技术保护点】
1.一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，其特征在于，包括：数据采集模块，用于对联合注意能力测试试验过程中被试者、评估者和道具的音视频多模态数据进行多视角多声道的同步数据采集；预处理模块，用于将所有采集的音视频数据进行同步对齐，采用语音识别检测处理音频数据，检测评估者发出注意力指引指令及互动指令的时间，并以此为起始端点截取视频一段时间后的内容，作为视频分析数据；特征提取模块，用于对预处理获取的多角度多声道音视频数据段落，进行逐帧分析处理，获取语音内容、面部情感、面部朝向、目光、手势、姿势和坐标特征；训练分类模块，用于对提取的特征进行分析，使用机器学习训练并得到针对本测试的孤独症预测分类器模型；预测模块，用于利用分类器模型对新的被试者测试音视频中提取的语音内容、语音情感、面部情感、面部朝向、目光、手势和人物或物体坐标特征进行分析，对被试者的孤独症风险进行评估预测。

【技术特征摘要】
1.一种基于联合注意能力测试和音视频行为分析的孤独症早期筛查系统，其特征在于，包括：数据采集模块，用于对联合注意能力测试试验过程中被试者、评估者和道具的音视频多模态数据进行多视角多声道的同步数据采集；预处理模块，用于将所有采集的音视频数据进行同步对齐，采用语音识别检测处理音频数据，检测评估者发出注意力指引指令及互动指令的时间，并以此为起始端点截取视频一段时间后的内容，作为视频分析数据；特征提取模块，用于对预处理获取的多角度多声道音视频数据段落，进行逐帧分析处理，获取语音内容、面部情感、面部朝向、目光、手势、姿势和坐标特征；训练分类模块，用于对提取的特征进行分析，使用机器学习训练并得到针对本测试的孤独症预测分类器模型；预测模块，用于利用分类器模型对新的被试者测试音视频中提取的语音内容、语音情感、面部情感、面部朝向、目光、手势和人物或物体坐标特征进行分析，对被试者的孤独症风险进行评估预测。2.根据权利要求1所述的孤独症早期筛查系统，其特征在于，所述数据采集模块包括遥控器、多个RGB-D摄像头、麦克风阵列和/或可穿戴麦克风，所述遥控器用于吸引儿童注意力的可控制可动作无声物体、控制动作物体进行动作；多个所述RGB-D摄像头多角度地隐蔽地布置在场景中，同步输出高质量像素的RGB图像和深度图像；所述麦克风阵列和/或可穿戴麦克风采集高质量的多通道的被试者、评估者的语音并抑制噪声和回声。3.根据权利要求1所述的孤独症早期筛查系统，其特征在于，所述特征提取模块包括声纹识别单元、语音识别单元、情感识别单元、坐标估计单元、目光朝向估计单元、手势检测单元、姿态估计单元；所述坐标估计单元对场景中的被试者以及评估者的空间位置进行估计，首先进行人物检测，然后进行人物身份重识别，最后再对人物矩形框进行空间转换进行位置估计；所述语音识别单元将说话者的语音转换为文本内容；所述声纹识别单元根据声纹识别说话人身份；所述情感识别单元对被试者实施语音情感以及面部表情的识别，语音情感识别使用基于深度神经网络提取包含情感信息的特征进行情感的分类，而面部表情同样使用深度神经网络模型，输入被试者的脸部矩形框图像，输出其表情分类；所述目光朝向估计单元对被试者的脸部朝向以及目光注视方向进行估计，能够提取被试者转头反应时间、转头角度、眼神注视方向、眼神注视时间；所述手势检测单元检测被试者的的手指物动作，使用物体检测模型框架进行指东西手势的检测，当被试者出现指物手势的时候，返回该手势的RGB图像矩形框以及增加一次计数；所述姿势识别单元对被试者使用深度神经网络进行估计...

【专利技术属性】
技术研发人员：邹小兵，潘悦然，蔡昆京，
申请(专利权)人：昆山杜克大学，中山大学附属第三医院，
类型：发明
国别省市：江苏,32