自闭症谱系障碍混合现实康复训练系统及方法技术方案

本公开提供了一种自闭症谱系障碍混合现实康复训练系统及方法，将自闭症儿童的临床康复训练课程内容与混合现实技术的优势相结合，在康复师的指导下，设计了一套训练课程。课程针对认知训练、理解训练、模仿训练三个方面，将传统训练内容融合到该系统中，构建了一个有趣、沉浸、游戏式的交互训练系统。本系统不需要昂贵的混合现实设备，能引起自闭症儿童更多的兴趣、更高的专注和更好的训练表现。

【技术实现步骤摘要】
自闭症谱系障碍混合现实康复训练系统及方法
本公开涉及一种自闭症谱系障碍混合现实康复训练系统及方法。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。自闭症谱系障碍(ASD，Autismspectrumdisorder)是严重的发育障碍性疾病，患病后会严重影响其一生，早期干预是国内外自闭症领域的研究热点。大量的实证研究表明早期干预能够有效改善自闭症的早期症状，特别是对于处在发展关键期的儿童。目前，中国治疗ASD的主要方式多是通过一些传统的认知干预和行为干预来进行康复训练，然而，传统的训练形式和内容多为治疗师通过语言和简单教具来实施，这种方式缺乏具体形象性，不太符合早期儿童直观动作思维的特点，也缺乏对ASD儿童的吸引力。此外，由于患儿人群居多，医院的康复治疗师短缺，康复设施成本较高，导致医院的设备更新不及时，治疗手法也相对单一。目前，针对ASD的计算机辅助技术(CAT，Computer-assistedtechnology)和计算机干预(CBIs，Computer-basedinterventions)在ASD康复训练中的作用已经得到初步证实。而且从自闭症患者的实验结果可以看出，虚拟现实技术和计算机辅助技术对于自闭症患者的康复训练具有较好的康复效果。但是，目前已有的自闭症VR康复系统很少有关注并适合低龄ASD儿童的。同时,目前大部分研究都忽视了基于动物形式的干预治疗在计算机辅助干预治疗中的作用。
技术实现思路
本公开为了解决上述问题，提出了一种自闭症谱系障碍混合现实康复训练系统及方法，本公开将自闭症儿童的临床康复训练课程内容与混合现实技术的优势相结合，对认知训练、理解训练、模仿训练三个方面，将传统训练内容融合到该系统中，构建了一个有趣、沉浸、游戏式的交互训练系统。本系统不需要昂贵的混合现实设备，能引起自闭症儿童更多的兴趣、更高的专注和更好的训练表现。根据一些实施例，本公开采用如下技术方案：一种自闭症谱系障碍混合现实康复训练系统，包括：投影模块，包括一鱼缸和投影仪，鱼缸至少具有一面透明面，且该面上附着有一液晶调光膜，通过改变液晶调光膜的通电状态，使鱼缸的该面在透明状态和非透明状态之间转换，为所述投影仪形成投影屏幕；交互模块，包括设置于所述鱼缸的另一个面的红外边框触摸屏，被配置为通过触摸操作将用户在物理空间中的操作转换为对虚拟场景中物体的操作；场景渲染模块，被配置为利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；多维训练模块，包括认知训练、理解训练和模仿训练子模块，所述认知训练子模块提供多幅图像，并保证多幅图像中至少相同的图片，并接收触屏操作结果，所述理解训练子模块，被配置为在场景中提供非水生动物，并接收接触信息，确定所选择的位置；所述模仿训练子模块，被配置为提供一鱼篓和多种类鱼图像，接收将对象拖拽到鱼篓中的拖拽操作。作为进一步的限定，所述鱼缸表面的四周设置有红外触摸框，包括相互匹配的红外线发射与接收感测元件，在鱼缸的一个表面形成红外线探测网。作为进一步的限定，所述红外触摸屏通过自带的USB数据线与上位机相连接，在鱼缸表面使用手指触摸，触摸屏会响应手指触摸操作，将触摸响应及触摸位置传递给上位机，从而进行交互操作。作为进一步的限定，所述交互模块接收用户的点选或拖拽的触控操作，触摸屏会响应手指的触控操作，将触摸响应及触摸位置传递给多维训练模块，多维训练模块将得到的触控位置转换为虚拟渲染场景中对应的位置，实现与虚拟场景中物体的互动。作为进一步的限定，所述场景渲染模块，还包括声音播放模块，被配置为在场景渲染时发出相应的动物的叫声或动作操作结果提示。一种自闭症谱系障碍混合现实康复训练方法，包括：改变液晶调光膜的通电状态，使鱼缸从透明状态转换为非透明状态，形成投影屏幕；开启红外边框触摸屏，接收用户在物理空间中的触屏操作转换为对虚拟场景中物体的操作；利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；在认知训练环节中，接收用户对屏幕上两张相同的图片并用手指连接的触屏操作，判断连接是否正确；在理解训练环节，接收用户对场景中的非水生动物的选择所在的位置结果，判断指定是否正确；在模仿训练环节，接收用户将对象拖拽到鱼篓中的手指拖拽操作，并判断分类是否正确。作为进一步的限定，在理解训练环节，根据手指点击位置是否位于非水生动物的坐标范围内进行判断，将每个非水生动物的世界坐标分别记为(x1,y1)，(x2,y2)等，将其通过WorldToScreenPoint转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等，将其屏幕坐标范围的半径大小设置为60像素点；获取当前手指点击的位置，记为(x,y)为屏幕坐标；以其中一个动物为例，如果(Abs(x-x1.screen)≤60)∩(Abs(y-y1.screen)≤60)，则判断手指点击的位置位于该动物的坐标范围内，即判断该操作成功。作为进一步的限定，在每个场景的背景中，都有鱼群在来回的游来游去，通过路径动画实现，具体包括：创建多个关键点，使用WaypointCircuit脚本生成通过这些关键点的路径，在需要沿着路径移动的物体上添加Follow脚本，使对应的物体沿着既定路径运动。作为进一步的限定，在模仿训练环节，根据鱼类动物位置最终是否位于鱼篓的坐标范围内进行判断，首先添加每个需要拖拽的对象，如果从摄像机发出到点击坐标的射线经过某个对象，则该对象被点击，获得点击位置的世界坐标，计算点击位置与该对象世界坐标的偏移量，通过实时计算手指点击位置的世界坐标加上偏移量，即可实时得到被拖拽对象的世界坐标，从而实现手指拖拽。作为进一步的限定，将鱼篓的世界坐标记为(xyulou,yyulou)，通过WorldToScreenPoint转换为屏幕坐标，记为(xyulou.screen,yyulou.screen)，将其屏幕坐标范围的半径大小设置为100像素点；将被拖拽对象的世界坐标分别记为(x1,y1)，(x2,y2)等，将其通过WorldToScreenPoint转换为屏幕坐标，记为(x1.screen,y1.screen)，(x2.screen,y2.screen)等；以其中一个拖拽对象为例，如果(Abs(xyulou.screen-x1.screen)≤100)∩(Abs(yyulou.screen-y1.screen)≤100)，则判断该对象的位置位于鱼篓的坐标范围内，即该对象位于鱼篓中，则判断该操作成功。与现有技术相比，本公开的有益效果为：(1)本公开系统使用方便、易操作、康复成本较低；(2)采用鱼缸、金鱼等真实物体作为系统载体，提高幼患的认知能力。对空间限制较少，适合家庭对幼患进行康复训练，有助于提高病患的认知能力、辨别能力、选择能力、模仿能力以及动手操作能力。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1为本专利技术的硬件组成结构示意图；图2为改进鱼缸示意图；图3为交互模块示意图；图4为场景渲染模块示意图；图5本文档来自技高网...

【技术保护点】
1.一种自闭症谱系障碍混合现实康复训练系统，其特征是：包括：投影模块，包括一鱼缸和投影仪，鱼缸至少具有一面透明面，且该面上附着有一液晶调光膜，通过改变液晶调光膜的通电状态，使鱼缸的该面在透明状态和非透明状态之间转换，为所述投影仪形成投影屏幕；交互模块，包括设置于所述鱼缸的另一个面的红外边框触摸屏，被配置为通过触摸操作将用户在物理空间中的操作转换为对虚拟场景中物体的操作；场景渲染模块，被配置为利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；多维训练模块，包括认知训练、理解训练和模仿训练子模块，所述认知训练模块子提供多幅图像，并保证多幅图像中至少相同的图片，并接收触屏操作结果，所述理解训练子模块，被配置为在场景中提供非水生动物，并接收接触信息，确定所选择的位置；所述模仿训练子模块，被配置为提供多个鱼篓和多种类鱼图像，接收将对象拖拽到鱼篓中的拖拽操作。

【技术特征摘要】
1.一种自闭症谱系障碍混合现实康复训练系统，其特征是：包括：投影模块，包括一鱼缸和投影仪，鱼缸至少具有一面透明面，且该面上附着有一液晶调光膜，通过改变液晶调光膜的通电状态，使鱼缸的该面在透明状态和非透明状态之间转换，为所述投影仪形成投影屏幕；交互模块，包括设置于所述鱼缸的另一个面的红外边框触摸屏，被配置为通过触摸操作将用户在物理空间中的操作转换为对虚拟场景中物体的操作；场景渲染模块，被配置为利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；多维训练模块，包括认知训练、理解训练和模仿训练子模块，所述认知训练模块子提供多幅图像，并保证多幅图像中至少相同的图片，并接收触屏操作结果，所述理解训练子模块，被配置为在场景中提供非水生动物，并接收接触信息，确定所选择的位置；所述模仿训练子模块，被配置为提供多个鱼篓和多种类鱼图像，接收将对象拖拽到鱼篓中的拖拽操作。2.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述鱼缸表面的四周设置有红外触摸框，包括相互匹配的红外线发射与接收感测元件，在鱼缸的一个表面形成红外线探测网。3.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述红外触摸屏通过自带的USB数据线与上位机相连接，在鱼缸表面使用手指触摸，触摸屏会响应手指触摸操作，将触摸响应及触摸位置传递给上位机，从而进行交互操作。4.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述交互模块接收用户的点选或拖拽的触控操作，触摸屏会响应手指的触控操作，将触摸响应及触摸位置传递给多维训练模块，多维训练模块将得到的触控位置转换为虚拟渲染场景中对应的位置，实现与虚拟场景中物体的互动。5.如权利要求1所述的一种自闭症谱系障碍混合现实康复训练系统，其特征是：所述场景渲染模块，还包括声音播放模块，被配置为在场景渲染时发出相应的动物的叫声或动作操作结果提示。6.一种自闭症谱系障碍混合现实康复训练方法，其特征是：包括：改变液晶调光膜的通电状态，使鱼缸从透明状态转换为非透明状态，形成投影屏幕；开启红外边框触摸屏，接收用户在物理空间中的触屏操作转换为对虚拟场景中物体的操作；利用三维动画和语音合成技术模拟真实的海底场景，将虚拟场景投影到真实的鱼缸场景中，达到混合现实的效果；在认知训练环节中，接收用户对屏幕上两张相同的图片并用手指连接的触屏操作，判断连接是否正确；...

【专利技术属性】
技术研发人员：刘娟，卞玉龙，靳新培，耿文秀，盖伟，孟祥旭，杨承磊，赵燕帅，黄瑞晗，任伟，
申请(专利权)人：山东大学，济南漫嘉文化传播有限公司济宁分公司，
类型：发明
国别省市：山东,37