【技术实现步骤摘要】
基于虚拟现实的孤独症早期筛查评估系统及方法
本专利技术涉及孤独症筛查领域，具体地涉及到一种基于虚拟现实的孤独症早期筛查评估系统及方法，该系统融入真实人物，将真实人物的视觉、听觉形象融入多范式试验场景，使用一体化装置呈现虚拟现实试验场景，采集试验过程中用户身体活动的多模态数据，以对用孤独症谱系障碍进行评估。
技术介绍
孤独症谱系障碍(autismspectrumdisorder，ASD)简称孤独症，又称自闭症，是以社交互动障碍/社会交流障碍以及狭隘兴趣和重复刻板行为为主要特征的神经发育障碍性疾病。孤独症对患者的精神健康和行为健康影响甚大，严重影响患者的生活。如果未能早期发现并进行科学干预，孤独症对患者的致残率较高。目前，世界上对于孤独症的诊断主要采用标准化的手册和量表，对儿童进行行为分析。进过长期研究和积累，我国专家为中国孤独症儿童人群设计、研发完成了首个中国的标准化量表：中国孤独症诊断量表(ChineseAutismDiagnosticScale,CADS)。CADS的测试总原则中，要求测试人员必须具有标准化心里测量的工作经...
【技术保护点】
1.一种基于虚拟现实的孤独症早期筛查评估系统，其特征在于，包括：/n人物形象采集模块，用于采集被融入人物的语音、图像资料；/n真实融入模块，利用深度学习技术提取人物形象采集模块采集所得的被融入人物的音视频特征，在虚拟现实的场景中模拟被融入人物的虚拟形象，并使其具有被融入人物的外貌和声音，并能使用被融入的外貌作出不同表情和动作，使用被融入声音说出不同语言；/n试验数据采集模块，用于采集筛查评估试验过程中所得的用户的活动音频、视频和多项运动传感器数据；/n特征追踪模块，用于追踪用户在筛查评估试验过程中的头部、眼部、手部、动作、位置、声音的特征信息；/n训练模块，用于根据特征追踪...
【技术特征摘要】
1.一种基于虚拟现实的孤独症早期筛查评估系统，其特征在于，包括：
人物形象采集模块，用于采集被融入人物的语音、图像资料；
真实融入模块，利用深度学习技术提取人物形象采集模块采集所得的被融入人物的音视频特征，在虚拟现实的场景中模拟被融入人物的虚拟形象，并使其具有被融入人物的外貌和声音，并能使用被融入的外貌作出不同表情和动作，使用被融入声音说出不同语言；
试验数据采集模块，用于采集筛查评估试验过程中所得的用户的活动音频、视频和多项运动传感器数据；
特征追踪模块，用于追踪用户在筛查评估试验过程中的头部、眼部、手部、动作、位置、声音的特征信息；
训练模块，用于根据特征追踪模块追踪分析获得的特征数据，通过机器学习方法，训练打分模型；
预测模块，用于通过所述训练模型训练的结果预测用户的孤独症风险系数及试验的项目得分。
2.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述人物形象采集模块包括声音采集单元和图像采集单元：
所述声音采集单元，用于采集被融入人物的说话音频数据；
所述图像采集单元，用于采集被融入人物的多角度2D影像资料或采集含有RGBD的图像数据，以获得完整、立体的人物图像形象。
3.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述真实融入模块通过融入真实形象，提供接近真实的场景，包括声音合成单元和图像合成单元，其中，
所述声音合成单元利用成熟语音识别系统识别提供的音频得到相对粗糙的发音标注，通过人工校验得到音频对应的精准发音标注，最后将标注好的音频-标注对送入一个由标准音色训练好的语音合成模型，作特定说话人自适应训练，最终得到特定人音色的语音合成模型；
所述图像合成单元，根据提供的视频数据提取头部和动作的图像信息，通过深度学习方法将2D平面图像重建为3D立体图像，合成融入虚拟现实场景的虚拟合成人物活动图像。
4.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述试验数据采集模块的采集设备包括麦克风、腔内外摄像头、手柄或手套、陀螺仪、红外传感器、加速传感器、光电传感器，其中所述麦克风采集用户说话声音数据，腔内外摄像头采集用户面部活动数据，所述手柄或手套采集用户手部活动数据，红外传感器和/或腔内外摄像头配合采集用户眼睛活动数据，红外传感器和/或光电传感器配合采集手部精确位置数据，光电传感器和/或加速度传感器配合采集用户头部数据，加速传感器和/或陀螺仪配合采集用户位置数据。
5.根据权利要求1所述的孤独症早期筛查评估系统，其特征在于，所述特征追踪模块包括：
头部追踪单元，用于获取运动时头部朝向的三维变化；
眼动追踪单元，用于监控用户眼...
【专利技术属性】
技术研发人员：李明，潘悦然，蔡昆京，程铭，
申请(专利权)人：昆山杜克大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。