一种虚拟现实VR+听觉统合治疗儿童自闭症及评估方法技术

本发明专利技术是一种虚拟现实(VR)刺激+听觉统合的治疗儿童自闭症及评估方法，实现对自闭症儿童进行音视频统合治疗，评估其沉侵于VR+听觉统合环境的程度。该方法涉及计算机图形学、人机交互、人工智能等领域。本发明专利技术开发适合自闭症儿童的虚拟现实互动游戏，实现对其视觉感官刺激和交互行为带动，过滤敏感的频率，使大脑听觉皮层重新组织，促进对所有频率的知觉来达到治疗效果。佩戴低功耗智能手环采集儿童的实时心率及手臂的运动量，分析评估其沉浸于VR交互游戏的程度和对VR+听觉统合环境的专注程度。本发明专利技术评估客观性、系统性强，能够量化分析判断自闭症儿童对视听内容的感知度，提升统合治疗儿童自闭症的效果。

【技术实现步骤摘要】
一种虚拟现实VR+听觉统合治疗儿童自闭症及评估方法
本专利技术属于计算机图形学、人机交互技术、传感技术、人工智能等领域，涉及一种基于听视觉统合的治疗儿童自闭症的方法及评估技术。
技术介绍
自闭症儿童能力发展不平衡，感知觉方面也如此。他们对某些声音、某些图形过度敏感，对某些声音和图形无反应，听视觉处理过程缓慢等。1964年Rimland报道40％孤独症儿童有听觉过敏症状。听觉过敏表现在捂耳，听到环境中某些声音烦躁、哭泣、发脾气、摔东西、躲避某些声音、畏缩，因为噪音的缘故制造噪音等。听觉过敏会导致自闭症患者感觉功能受损-对周围环境事物产生歪曲的知觉-影响儿童的情绪，行为等。听觉统合治疗是目前治疗自闭症儿童听觉过敏的有效手段。通过滤去过度敏感的频率，使大脑听觉皮层重新组织，促进对所有频率的知觉，减少对听觉信号的歪曲来达到治疗效果。过滤掉某些超敏频率的声音，减少了内耳和或大脑中某些区域的敏感性，其他频率的声音使其他的部位接受到更强的刺激。由于刺激的减少使对超敏声音的超敏减轻，由于刺激的增强使非超敏频率的声音感知增强。根据目前的研究成果，听觉统合治疗不仅能有效增加自闭症儿童对声音的注意力，减少捂耳现象，还能在社会行为方面起到良好的改善效果。患者目光接触增多、交流的兴趣增加、适当的社会行为增加、对他人存在的感知和对他人的容忍度增强，参与社交的能力提高。同样，自闭症儿童对某些图形有过度的敏感，而对另外一些图形无感知。使用虚拟现实技术可以弱化过度敏感的图形，增强无感知的图形，带动儿童的互动兴趣和能力。通过虚拟现实技术治疗自闭症着重于视觉感官上的刺激，弥补听觉统合治疗局限于听觉感官上的刺激。将两者结合，实现虚拟现实治疗与听觉统合治疗相结合的治疗方法。长期以来，对自闭症儿童治疗效果的评估主要是采用家长和老师的主观量化表评估，缺乏客观的评估手段和指标。智能手环中的心率传感器和MEMS运动传感器可实时监测佩戴者的心率变化情况和手臂运动情况，在自闭症儿童进行虚拟现实视听觉统合治疗过程中可以记录其心率和手臂的运动数据，以此判断评估其对虚拟现实音视频内容的感知度。
技术实现思路
本专利技术的目的在于提供一种虚拟现实视觉刺激+听觉统合的治疗儿童自闭症及评估方法，实现对儿童自闭症的治疗和效果评估。为了达到上述目的，本专利技术的实现方案是：使用Unity3D开发环境，制作适合自闭症儿童感知的虚拟现实VR互动游戏，其特别注重物体图像的形状和颜色。给自闭症儿童佩戴VR眼镜观看VR互动游戏等视频内容，佩戴耳机聆听专门制作的音乐，实现虚拟现实视觉刺激+听觉统合的治疗方式。采用订制的低功耗智能手环的传感器采集心率数据和手臂运动数据。分析心率数据和运动数据所呈现出的数据特征，每类数据选取N(N＞1)个数据统计特征，一共有2*N个数据特征，作为判别患儿对虚拟现实VR及定制音频音乐感知度的基础属性，其中，N为大于1的整数。分别对心率数据和手臂运动数据做变化率的分析，包括，计算心率变化均值，计算心率变化方差，计算手臂运动量和变化方差。对心率均值和方差进行月、季度、年度数据分析，绘出数据曲线；对手臂运动量和变化方差进行月、季度、年度数据分析，绘出数据曲线。将上述曲线与无虚拟现实视觉刺激时所采集的数据进行比对。以此，判断评估治疗效果。可选地，所采用的适合自闭症儿童的VR交互游戏的设计思路。可选地，所述的心率数据和手臂运动量数据上传到平台，是指经NB-IOT网络和自定义的接口协议，上传到数据处理及分析云平台。可选地，采集数据的方法，是指将NB-IOT智能手环以时间为轴，每类数据相隔m秒采集一次，取N个连续数据点的2类数据，采样间隔m在低功耗智能手环的软件中进行设定。可选地，该评估方法已实现系统化，可自动实现多人多时间周期的数据采集，分析和评估。由于采用上述方案，本专利技术的有益效果是：本专利技术依据自闭症儿童对某类图形和颜色具有较显著的感知度，设计开发虚拟现实VR视频互动游戏；采用专门研制的低功耗智能手环采集心率数据和手臂运动数据，经NB-IOT网络和专门研制的数据接口协议，上传到研发的数据处理、分析平台。本专利技术采用秒级的心率和运动数据采样率，对心率和运动量的变化可以做到精致分析，评估效果十分显著，弥补了长期以来，对自闭症儿童治疗效果的评估主要是采用家长和老师的主观量化表评估，缺乏客观的评估手段和指标的缺陷。分析评估已系统化，可实现多人同时或多时在线分析评估。附图说明图1是本专利技术虚拟现实视觉刺激+听觉统合的治疗儿童自闭症及评估方法的总流程图；图2是本专利技术虚拟现实视觉刺激+听觉统合的治疗(方形)与仅听觉统合的治疗(菱形)心率变化对比图；图3是本专利技术虚拟现实视觉刺激+听觉统合的治疗(方形)与仅听觉统合的治疗(菱形)运动量变化对比图；图4是本专利技术虚拟现实视觉刺激+听觉统合的治疗儿童自闭症及评估方法的逻辑流程图。具体实施方式以下结合附图所示实施例对本专利技术作进一步的说明。以下实例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。本专利技术提供一种虚拟现实视觉刺激+听觉统合的治疗儿童自闭症及评估方法，实现对儿童自闭症的治疗和效果评估。该方法依据自闭症儿童对某类图形和颜色具有较显著的感知度，设计开发虚拟现实VR视频互动游戏；采用专门研制的低功耗智能手环采集心率数据和手臂运动数据，经NB-IOT网络和专门研制的数据接口协议，上传到研发的数据处理、分析平台。分析心率数据和运动数据所呈现出的数据特征，每类数据选取N(n＞1)个数据统计特征，一共有2*N个数据特征，作为分析判别患儿对虚拟现实VR及定制音频音乐感知度的基础属性，其中，N为大于1的整数。分别对心率数据和手臂运动数据做变化率的分析，包括，计算心率均值，计算心率变化方差，计算手臂运动量和变化方差。对心率均值和变化方差进行月、季度、年度数据分析，绘出数据曲线；对手臂运动量均值和变化方差进行月、季度、年度数据分析，绘出数据曲线。将上述曲线与无虚拟现实视觉刺激时所采集的数据进行比对，以此，判断评估治疗方法的效果。包括以下步骤：(1)依据自闭症儿童对某类图形和颜色具有较显著的感知度，采用Unity软件设计开发虚拟现实VR视频互动游戏，硬件采用HTCVIVEPCVR，2160*1200分辨率，90Hz刷新率。本实施例中，开发的虚拟现实VR视频互动游戏中，突出了圆形的物体，红色、蓝色等颜色，适合自闭症儿童的感知度。交互游戏简单明了，易操作，如：打气球，投篮等(2)给自闭症儿童佩戴VR眼镜和耳机，播放开发的VR视频和订制的音频乐曲，形成虚拟现实视觉刺激+听觉统合的治疗儿童自闭症方法。本实施例中，采用HTCVIVEPCVR眼镜，播放开发的VR视频；佩戴耳机，听定制的音乐。本实施例中，所述的听觉统合治疗是目前治疗自闭症儿童听觉过敏的有效手段。通过滤去过度敏感的频率，使大脑听觉皮层重新组织，促进对所有频率的知觉，减少对听觉信号的歪曲来达到治疗效果。过滤掉某些超敏频率的声音，减少了内耳和或大脑中某些区域的敏感性，其他频率的声音使其他的部位接受到更强的刺激。由于刺激的减少使对超敏声音的超敏减轻，由于刺激的增强使非超敏频率本文档来自技高网...

【技术保护点】
1.一种虚拟现实视觉刺激+听觉统合的治疗儿童自闭症及评估方法，实现对自闭症儿童进行音视频统合治疗及有效性的评估。其特征在于，包括以下几个步骤：步骤一：开发适合自闭症儿童观看和交互的虚拟现实VR游戏，其特别注重物体图像的形状和颜色。步骤二：给自闭症儿童佩戴VR眼镜和耳机，播放专用VR视频和音频乐曲，形成虚拟现实视觉刺激+听觉统合的治疗儿童自闭症方法。步骤三：使用窄带‑物联网(NB‑IOT)低功耗智能手环中的光电容积脉搏波描记法(PPG)、微机电系统(MEMS)传感器采集自闭症儿童的心率数据和手臂活动量数据，并经NB‑IOT网络上传到数据处理及分析云平台。步骤四：分析心率数据和手臂活动量数据所呈现的数据变化特征，两类数据每m秒采集一次，n分钟内可记录n/m个数据特征，作为判断自闭症儿童对VR视频内容互动和音频音乐的感知关注度的基础数据。步骤五：根据所述的基础数据，进行心率均值分析，心率变化率分析，手臂运动量大小和变化率分析。步骤六：对每个自闭症儿童的心率数据和手臂运动量数据进行每月，每季度和每半年的统计比较分析，判别出其对VR视听内容的感知关注度的大小及变化情况，以此判断该治疗过程的效果。

【技术特征摘要】
1.一种虚拟现实视觉刺激+听觉统合的治疗儿童自闭症及评估方法，实现对自闭症儿童进行音视频统合治疗及有效性的评估。其特征在于，包括以下几个步骤：步骤一：开发适合自闭症儿童观看和交互的虚拟现实VR游戏，其特别注重物体图像的形状和颜色。步骤二：给自闭症儿童佩戴VR眼镜和耳机，播放专用VR视频和音频乐曲，形成虚拟现实视觉刺激+听觉统合的治疗儿童自闭症方法。步骤三：使用窄带-物联网(NB-IOT)低功耗智能手环中的光电容积脉搏波描记法(PPG)、微机电系统(MEMS)传感器采集自闭症儿童的心率数据和手臂活动量数据，并经NB-IOT网络上传到数据处理及分析云平台。步骤四：分析心率数据和手臂活动量数据所呈现的数据变化特征，两类数据每m秒采集一次，n分钟内可记录n/m个数据特征，作为判断自闭症儿童对VR视频内容互动和音频音乐的感知关注度的基础数据。步骤五：根据所述的基础数据，进行心率均值分析，心率变化率分析，手臂运动量大小和变化率...

【专利技术属性】
技术研发人员：刘源，朱怡婧，
申请(专利权)人：上海玺翎智能科技有限公司，
类型：发明
国别省市：上海,31