智能化孤独症儿童认知沟通行为早期训练系统技术方案

一种智能化孤独症儿童认知沟通行为早期训练系统，计算机终端与手持终端进行数据传输，计算机终端还与输出终端相连，Kinect感应器与计算机终端连接，行为训练游戏和与治疗软件相关的信息都在计算机终端进行，计算机终端1将游戏画面投影在大屏幕上面，受训的孤独症儿童利用手持终端设备及其上面运行的软件，给计算机终端发送命令，实现手持终端设备与计算机终端的交互，完成和三维人物的互动过程；而Kinect感应器可以检测受训儿童的位置信息，并将其送入计算机终端的计算机软件，使得计算机软件通过此位置信息可以判断下一步的游戏进程，就完成了整个游戏治疗的过程；本发明专利技术有助于孤独症儿童认知沟通能力的康复训练与治疗。

【技术实现步骤摘要】

本专利技术涉及一种基于计算机科学、认知科学、教育学和心理学的辅助康复训练系统，特别涉及一种智能化孤独症儿童认知沟通行为早期训练系统，针对孤独症儿童认知沟通能力的康复,采用Unity3d技术、网络通信技术、Kinect技术和图像识别技术，并与手持移动终端设备相配合，实现了孤独症儿童认知沟通交流能力训练系统的设计。
技术介绍
儿童孤独症(Childhood Autism)，又称自闭症或孤独性障碍(Autism Disorders)等，是孤独症谱系障碍(Autism Spectrum Disorder,ASD)的代表性疾病。儿童孤独症作为诊断类别的真实性已确定，目前所说的儿童孤独症，也在广义上指代了孤独症谱系障碍(ASD)。孤独症儿童获得认知沟通交流能力是检验训练是否成功的重要指标。然而直接教会孤独症儿童认识东西和如何与人交谈是非常困难的，而大多数康复医师是选用一些孤独症儿童擅长的认知沟通方式来慢慢引发孩子交流的欲望，如广泛使用的图片沟通交流法(The Picture Exchange Communication System,PECS)就是一种非常有效的训练方式，它利用孤独症儿童擅长的视觉沟通来教会孤独症儿童利用图片来进行认知交流，以此来启发儿童的认知能力，激发儿童的沟通欲望，培养其认知沟通交流能力，并逐步将他们的交流方式从图片沟通转换到言语沟通。即使有些儿童最终也无法完全利用言语进行沟通，图片沟通的方式还是能被人接受，并使得儿童能够与他人进行有效的互动。1994年Bondy和Frost为84名孤独症儿童利用PECS进行训练，得到良好的效果。Schwartz,Garfinkle和Bauer在1998年报道利用PECS训练那些起初有着很有限的自发声音能力的儿童，提高了他们的自发言语功能。很多报道都声称PECS的使用会使得行为问题的减少，提高社会行为能力。由于其训练优势和实际特点，PECS以及被孤独症治疗团体所采纳，并在国际上广泛使用。PECS用于孤独症儿童的康复训练有着独特的优势。首先，不同于其他训练，PECS的训练唯一的前提条件就是能过相关图片清楚的指示其希望得到的东西。其他诸如眼神交流，动作和言语模仿技能，安静的坐在椅子上的能力，匹配能力，图片区分能力和遵循言语指示的能力在训练早期阶段都是不必要的。其次，PECS教给孩子的第一个技能是提出要求。提出要求因其具有激发孩子的功能，通常被作为对发育障碍的儿童进行早期训练的一个训练目标。而孤独症儿童又通常会因为立即得到一个具体的、实在的、他所希望得到的东西而更容易被激励。第三，PECS的训练过程都强调自发性，而这种自发性真是孤独症儿童的问题所在，他们往往缺少交流的自发性。最后，图片符号是一种高度具象的，非常接近于参照物体的交流工具。他们非常容易被识别，并且比其他的交流系统更容易被交流对象所理解。在孤独症研究方面，虽然很多研究者利用图片沟通交流法训练孤独症儿童，但其实施方法仍然非常传统，灵活度不高，趣味性不强，且需要很多人力投入。基于PECS的移动终端应用已经有开发，如由Steven Troughton-Smith公司开发的Grace App，由Bo Innovations公司开发的Picture Card Maker，由Epsilon IT Systems公司开发的在安卓系统上运行的Pocket EPECS，是目前比较优秀的应用。但是都仅限于为单一的移动终端设计，现今还没有一款包括PECS训练所有过程的计算机化PECS训练系统，也没有任何一款PECS移动终端应用可以与基于计算机技术的PECS训练系统相配套。PECS的计算机化和利用高科技成果来增强其训练效果，还需要更多的努力。
技术实现思路
为了克服上述现有技术的缺陷，本专利技术的目的在于提供一种智能化孤独症儿童认知沟通行为早期训练系统，将移动终端与基于计算机的PECS训练系统相配套，有助于孤独症儿童认知沟通能力的康复训练与治疗，既能在医院部署，也能满足家庭使用，并且部署在家庭的智能化孤独症儿童认知沟通行为早期训练系统可以通过因特网与医院的系统相互通信，医生可以实施远程辅助训练指导。为了达到上述目的，本专利技术的技术方案是这样实现的：一种智能化孤独症儿童认知沟通行为早期训练系统，由计算机终端1，手持终端2，输出终端3和Kinect感应器4构成,计算机终端1与手持终端2通过无线网络连接进行数据传输，计算机终端1还与输出终端3信号端相连，Kinect感应器4与计算机终端1通过USB数据线连接，实现人体的图像信息和骨架信息实时传输到计算机终端1进行处理，所述的计算机终端1包括PECS、评价系统、控制面板系统和电子病历管理系统：所述PECS与手持终端1的图片沟通交流本实现无线通信，PECS与手持终端1上的图片沟通交流本以及Kinect感应器4共同构成康复训练系统，Kinect感应器4通过检测受训儿童的位置信息和骨架信息并将其送入PECS，来确定受训儿童的位置和动作，进而判断孤独症儿童的学习状态，根据医师对孤独症儿童的诊断情况，为孤独症儿童提供规律个性化的康复训练方案，并针对孤独症儿童的心理特点设计虚拟训练师；康复训练系统还根据康复训练师的诊断生成很多贴近孤独症儿童现实生活的虚拟场景，计算机将画面利用输出终端3投影在大屏幕上面；评价系统用来评估训练患儿的效果，在训练的每阶段，儿童耗费的时间，儿童做完任务的成功率，以及与虚拟训练师互动的情况都是用来评价的指标，自动生成客观的评价表，写入数据库中的相应位置，评价系统最后会生成最终治疗效果的趋势图，来总结患儿整个治疗过程的表现，以供医师进行参考。控制面板系统主要是调整系统与其他模块或设备的关系和系统资源的设置，包含三方面：网络设置：完成患儿手持终端与系统通过WIFI连接；Kinect感应器设置：完成Kinect与系统的连接，检测孤独症儿童的位置信息和骨架信息；系统资源配置：完成在训练中使用到的图片和相应的奖励刺激物的设置，由辅助训练医师和家长负责管理，医师根据每个儿童的习惯规律和爱好，为其在训练之前添加相应的图片，设置游戏的速度使之更符合儿童的习惯。所述的电子病历管理系统部署在计算机上，功能包括存储、显示、添加、修改和删除训练者的个人信息，病症信息和治疗情况，负责记录孤独症儿童的训练进展情况和孤独症儿童的信息，再结合评价系统最终生成孤独症儿童的电子病历，这些信息以数据库的方式存储，并在此模块中进行本文档来自技高网...

【技术保护点】
一种智能化孤独症儿童认知沟通行为早期训练系统，其特征在于，由计算机终端（1），手持终端（2），输出终端（3）和Kinect感应器（4）构成,计算机终端（1）与手持终端（2）通过无线网络连接进行数据传输，计算机终端（1）还与输出终端（3）信号端相连，Kinect感应器（4）与计算机终端（1）通过USB数据线连接，实现人体的图像信息和骨架信息实时传输到计算机终端（1）进行处理。

【技术特征摘要】
1.一种智能化孤独症儿童认知沟通行为早期训练系统，其特征在于，由
计算机终端（1），手持终端（2），输出终端（3）和Kinect感应器（4）构成,
计算机终端（1）与手持终端（2）通过无线网络连接进行数据传输，计算机
终端（1）还与输出终端（3）信号端相连，Kinect感应器（4）与计算机终端
（1）通过USB数据线连接，实现人体的图像信息和骨架信息实时传输到计
算机终端（1）进行处理。
2.根据权利要求1所述的一种智能化孤独症儿童认知沟通行为早期训练
系统，其特征在于，所述的计算机终端（1）包括PECS、评价系统、控制面
板系统和电子病历管理系统：
所述的PECS与手持终端1的图片沟通交流本实现无线通信，PECS与手
持终端1上的图片沟通交流本以及Kinect感应器4共同构成康复训练系统，
Kinect感应器4通过检测受训儿童的位置信息和骨架信息并将其送入PECS，
来确定受训儿童的位置和动作，进而判断孤独症儿童的学习状态，根据医师
对孤独症儿童的诊断情况，康复训练系统能够为孤独症儿童提供规律个性化
的康复训练方案，并针对孤独症儿童的心理特点设计虚拟训练师；康复训练
系统还根据康复训练师的诊断生成很多贴近孤独症儿童现实生活的虚拟场
景，计算机将画面利用输出终端3投影在大屏幕上面；
评价系统用来评估训练患儿的效果，在训练的每阶段，儿童耗费的时间，
儿童做完任务的成功率，以及与虚拟训练师互动的情况都是用来评价的指标，
自动生成客观的评价表，写入数据库中的相应位置，评价系统最后会生成最
终治疗效果的趋势图，来总结患儿整个治疗过程的表现，以供医师进行参考；
控制面板系统主要是调整系统与其他模块或设备的关系和系统资源的

\t设置，包含三方面：
网络设置：完成患儿手持终端与系统通过WIFI连接；
Kinect感应器设置：完成Kinect与系统的连接，检测孤独症儿童的位置
信息和骨架信息；
系统资源配置：完成在训练中使用到的图片和相应的奖励刺激物的设
置，由辅助训练医师和家长负责管理，医师根据每个儿童的习惯规律和爱好，
为其在训练之前添加相应的图片，设置游戏的速度使之更符合儿童的习惯；
所述的电子病历管理系统部署在计算机上，功能包括存储、显示、添加、
修改和删除训练者的个人信息，病症信息和治疗情况，负责记录孤独症儿童
的训练进展情况和孤独症儿童的信息，再结合评价系统最终生成孤独症儿童
的电子病历，这些信息以数据库的方式存储，并在此模块中进行操作，训练
者的个人信息和病症信息主要由医师进行编辑，而治疗情况则由康复训练系
统生成，显示给家长和医师进行参考。在家中训练时家长将儿童的电子病历
发送给医院的医生，医生针对儿童的训...

【专利技术属性】
技术研发人员：王珏，刘天，王冠雄，李晨曦，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61