基于VR和ET孤独症儿童联合注意技能评估与训练系统技术方案

本发明专利技术公开了一种基于VR和ET孤独症儿童联合注意技能评估与训练系统，包括：设计并搭建贴近现实生活的虚拟社会评估场景，参与者根据虚拟人类伙伴的提示完成视觉注意任务；利用眼动仪采集参与者在任务过程中的实时眼动数据，记录参与者反应虚拟伙伴发起联合注意的行为学数据；对参与者的眼动数据和行为学数据进行分析，评估联合注意技能水平，根据评估结果个性化选择对应难度的训练场景；搭建虚拟非社会场景，针对性训练参与者不同水平的联合注意技能。本发明专利技术探究其任务过程中行为反馈和注视模式的异常，发展基于眼动追踪技术的联合注意技能评估方法和联合注意技能训练方法，从而定量且实时地对孤独症儿童的联合注意技能进行有效评估和针对性地干预训练。有效评估和针对性地干预训练。有效评估和针对性地干预训练。

【技术实现步骤摘要】
基于VR和ET孤独症儿童联合注意技能评估与训练系统


[0001]本专利技术涉及联合注意领域，尤其涉及一种基于VR和ET孤独症儿童联合注意技能评估与训练系统。

技术介绍

[0002]孤独症谱系障碍(Autistic spectrum disorder,ASD)是以社会互动、语言交流以及兴趣行为等表现偏离正常为共同临床特点的一组神经发育性障碍的统称
[1]。据《中国自闭症教育康复行业发展状况报告
③
》显示，2019年我国孤独症儿童多达200余万，且年增长率为10％左右。ASD是一种终身的障碍，尽管不能治愈，但尽早地诊断和干预能够不同程度地控制和改善症状，帮助患儿可以更好地融入到社会生活和学习中，因此对ASD患儿进行早期的有效诊断和治疗成为了紧迫的临床和公共卫生问题。在孤独症患儿的多种临床表现中，社会交往障碍是最典型、最核心的临床表现，其中联合注意技能与社会交往能力相关，是社交关键技能之一。正常发育的婴儿通常在8
‑
15个月出现联合注意
[2]，该技能对于婴儿语言的获得、心理理论的发展和有效社会交流与互动都具有重要的促进作用。然而几乎所有ASD儿童均存在着联合注意缺陷，严重制约了ASD儿童语言、模仿及社会互动等社会交往能力的后续发展。
[0003]目前对ASD患儿的联合注意能力评估仍有赖于家长的观察和专业医生的经验，缺乏定量客观的诊断指标；针对ASD患儿的联合注意缺陷症状没有特效药，主要依靠教育行为干预训练。这种训练干预方式针对特定症状的改善较差、成本较高，并且专业的治疗师严重不足
[2]。

技术实现思路

[0004]本专利技术提供了一种基于VR和ET孤独症儿童联合注意技能评估与训练系统，针对目前临床上对孤独症儿童联合注意技能缺乏客观评估指标、训练针对性差等问题，本专利技术探究其任务过程中行为反馈和注视模式的异常，发展基于眼动追踪技术的联合注意技能评估方法和联合注意技能训练方法，从而定量且实时地对孤独症儿童的联合注意技能进行有效评估和针对性地干预训练，为临床医生的诊断和干预治疗进行补充和支持，详见下文描述：
[0005]一种基于VR和ET孤独症儿童联合注意技能评估与训练系统，所述系统包括：
[0006]设计并搭建贴近现实生活的虚拟社会评估场景，参与者根据虚拟人类伙伴的提示完成视觉注意任务；
[0007]利用眼动仪采集参与者在任务过程中的实时眼动数据，记录参与者反应虚拟伙伴发起联合注意的行为学数据；
[0008]对参与者的眼动数据和行为学数据进行分析，评估联合注意技能水平，根据评估结果个性化选择对应难度的训练场景；
[0009]搭建虚拟非社会场景，针对性训练参与者不同水平的联合注意技能。
[0010]其中，所述联合注意为：
[0011]参与者与虚拟伙伴进行第一预设时长的互动，依次进行若干次难度逐渐提升的联合注意任务，其中包括两次难度较低的“手势+转头+语言”提示、两次难度中等的“手势+转头”提示和两次难度较高的“转头”提示；
[0012]每次联合注意任务前都会有第二预设时长的提示音，虚拟伙伴发起联合注意任务用时第三预设时长秒，虚拟伙伴通过语音提示参与者进行鼠标选择用时第四预设时长，参与者有第五预设时长的反应时间，共进行六次流程相同提示难度不同的联合注意任务，最后虚拟伙伴口头鼓励参与者并伴随掌声。
[0013]进一步地，所述虚拟非社会场景为：
[0014]除虚拟伙伴和虚拟物体外无其它要素的场景，虚拟伙伴选择了拟人化的动物模型，增加孤独症儿童对交互伙伴面部的注视。
[0015]其中，所述虚拟非社会训练场景提供了三种难度的虚拟场景：Ⅰ.转头+手势+语音；Ⅱ.转头+手势；Ⅲ.转头，包括：
[0016]在各非社会训练场景中，包含9次提示难度相同的联合注意任务，其中有3次联合注意任务提示3次、3次联合注意任务提示2次、3次联合注意任务提示1次；
[0017]非社会场景的训练过程为虚拟伙伴首先与参与者进行16秒的互动，依次进行9次难度相同提示次数逐渐减少的联合注意任务，每次联合注意任务前都会有4秒的提示音，之后虚拟伙伴发起联合注意任务，虚拟伙伴通过语音提示参与者进行鼠标选择用时3秒，参与者有4秒的反应时间，共进行9次流程相同提示次数不同的联合注意任务，最后虚拟伙伴口头鼓励参与者并伴随掌声，该训练过程总时长为2分钟50秒。
[0018]本专利技术提供的技术方案的有益效果是：
[0019]1、本专利技术可为孤独症儿童提供便利安全的学习环境、丰富多样的体验环境、高度仿真的互动环境和动态适配的辅助环境，可赋予孤独症儿童基于真实感和想象力之上的体验，提高其干预训练的主动性和积极性；
[0020]2、本专利技术同时将相对低成本且可反复暴露学习的治疗方式提供给患儿及其家庭，有助于孤独症儿童缓解症状，早日融入社会。
附图说明
[0021]图1为联合注意技能评估的虚拟社会场景图；
[0022]图2为联合注意技能训练的虚拟非社会场景图；
[0023]图3为虚拟现实系统工作流程图；
[0024]图4为联合注意概念示意图；
[0025]图5为联合注意技能评估流程图；
[0026]图6为三种难度的训练场景图；
[0027]图7为联合注意技能训练流程图；
[0028](a)为难度较低：转头+手势+语音；(b)为中等难度：转头+手势；(c)为难度较高：转头。
[0029]图8为融合虚拟现实场景与眼动仪的联合注意评估及训练系统的示意图；
[0030]图9为联合注意技能评估及训练流程图。
具体实施方式
[0031]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0032]眼动追踪技术(Eye
‑
tracking,ET)能通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪，便于捕捉患儿的视线落点，有望为联合注意提供客观的评估方法。虚拟现实技术(Virtual Reality,VR)是以计算机技术为核心生成可模拟现实场景的虚拟环境，该环境可与用户进行交互。已有研究表明虚拟现实场景干预在ASD治疗中具有可行性和独特优势
[3]。
[0033]为确保在虚拟场景中对孤独症儿童联合注意技能评估结果与现实世界评估结果的一致性，本专利技术实施例设计并搭建了贴近现实生活的虚拟社会评估场景(如图1所示)，在该场景下参与者需要根据虚拟人类伙伴的提示完成视觉注意任务。利用眼动仪采集参与者在任务过程中的实时眼动数据，同时记录参与者反应虚拟伙伴发起联合注意的行为学数据。通过对参与者的眼动数据和行为学数据进行分析，客观有效地评估其联合注意技能水平，根据评估结果个性化选择对应难度的训练场景。对于孤独症儿童联合注意技能的训练，本专利技术实施例设计并搭建了虚拟非社会场景(如图2)，即除虚拟伙伴和虚拟物体外无其它要素的场景，消除社会环境中复杂因素的干扰，针对性训练本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VR和ET孤独症儿童联合注意技能评估与训练系统，其特征在于，所述系统包括：设计并搭建贴近现实生活的虚拟社会评估场景，参与者根据虚拟人类伙伴的提示完成视觉注意任务；利用眼动仪采集参与者在任务过程中的实时眼动数据，记录参与者反应虚拟伙伴发起联合注意的行为学数据；对参与者的眼动数据和行为学数据进行分析，评估联合注意技能水平，根据评估结果个性化选择对应难度的训练场景；搭建虚拟非社会场景，针对性训练参与者不同水平的联合注意技能。2.根据权利要求1所述的一种基于VR和ET孤独症儿童联合注意技能评估与训练系统，其特征在于，所述联合注意为：参与者与虚拟伙伴进行第一预设时长的互动，依次进行若干次难度逐渐提升的联合注意任务，其中包括两次难度较低的“手势+转头+语言”提示、两次难度中等的“手势+转头”提示和两次难度较高的“转头”提示；每次联合注意任务前都会有第二预设时长的提示音，虚拟伙伴发起联合注意任务用时第三预设时长秒，虚拟伙伴通过语音提示参与者进行鼠标选择用时第四预设时长，参与者有第五预设时长的反应时间，共进行六次流程相同提示难度不同的联合注意任务，最后虚拟...

【专利技术属性】
技术研发人员：刘爽，王贺婷，明东，张露丹，王丹丹，关心，
申请(专利权)人：天津大学，
类型：发明
国别省市：