一种多感觉信息融合的注意力引导虚拟现实系统技术方案

本发明专利技术公开了一种多感觉信息融合的注意力引导虚拟现实系统，包括脑电信号采集装置、脑电信号处理器、眼动信号采集装置、眼动信号处理器、执行装置、力觉反馈装置、系统处理器和虚拟现实视听装置。脑电信号处理器对脑电信号，计算反应受试者大脑选择性注意状态的事件相关电位特征以及反应受试者大脑持续性注意状态的事件相关电位特征。眼动信号处理器对眼动信号，计算受试者的注视点范围、注视次数、瞳孔直径、眼跳距离特征数据。系统处理器生成多感觉信息融合引导任务，根据上述脑电信号特征和眼动信号特征控制引导任务的动态过程，对受试者注意力进行引导。本发明专利技术能按受试者状态进行注意力引导，提高注意力引导效果、保证肢体康复训练的持续性。康复训练的持续性。康复训练的持续性。

【技术实现步骤摘要】
一种多感觉信息融合的注意力引导虚拟现实系统


[0001]本专利技术涉及医疗
，具体涉及一种多感觉信息融合的注意力引导虚拟现实系统。

技术介绍

[0002]认知障碍是脑卒中后最持久、最严重的症状之一，约67％的脑卒中患者会出现认知障碍。在脑卒中认知障碍中，以注意力障碍最为突出。注意力障碍的存在降低了患者肢体康复训练的效率。伴有注意力障碍患者的肢体康复训练，一般由治疗师不断地提醒患者集中注意力并保持注意状态，否则肢体康复训练将无法持续进行。
[0003]虚拟现实(virtual reality，VR)系统通过提供视觉、听觉、触力觉等多感觉信息，使人在虚拟现实环境中完成逼真、自然、流畅的交互。将虚拟现实系统用于肢体康复训练过程的注意力引导，可以充分发挥虚拟现实系统沉浸感、想象性、交互性的特点和优势，能够提高注意力引导效果、保证肢体康复训练的持续性。
[0004]公开号为CN111292850A的专利说明书中公开了一种ADHD儿童注意力智能康复系统，其包括视线追踪模块、注意力评估模块、智能运算及方案推送模块、数据存储模块，以及评价与反馈模块；所述视线追踪模块包括一服务器及一摄像头；所述摄像头用于采集人脸图像信息；所述服务器用于根据人脸图像定位人眼虹膜中心；所述注意力评估模块用于评估集中性注意力、持续性注意力、选择性注意力、交替性注意力、分配性注意力及Conners父母症状问卷；所述智能运算及方案推送模块用于通过接收注意力评估模块及视线追踪模块的实时数据，将受试者评估得分与数据库常模数据进行比对、分析，利用DQN network算法智能推送最佳训练方案；所述数据存储模块用于接收视线追踪模块及注意力评估模块传输的数据，以及智能训练的数据，并上传至数据库；所述评价与反馈模块用于供所述系统的操作方查看所述数据存储模块内所有用户的历史数据，和/或，接收系统发送的特定用户信息。
[0005]公开号为CN108670276A的专利说明书中公开了一种基于脑电信号的学习注意力评价系统，包括：脑电采集子系统、脑电分析子系统和学习状态显示提醒子系统，其中，脑电采集子系统用于采集脑电信号，进行预处理，去除工频干扰和基线，并将脑电信号传输至脑电分析子系统；脑电分析子系统用于分析采集到的脑电信号，提取时域特征和频域特征作为注意力分类的特征向量，将特征向量输入注意力分类器，得出注意力等级；学习状态显示提醒子系统将脑电分析子系统得出的注意力等级反馈至学生和教师处。
[0006]上述两种方案着重于注意力的康复和评价，不适用于肢体康复训练中的注意力引导。

技术实现思路

[0007]本专利技术针对伴有注意力障碍的脑卒中患者的肢体康复训练持续性问题提供一种多感觉信息融合的注意力引导虚拟现实系统，能够按受试者状态进行注意力引导，提高注
意力引导效果、保证肢体康复训练的持续性。
[0008]一种多感觉信息融合的注意力引导虚拟现实系统，包括：
[0009]脑电信号采集装置，用于采集受试者在虚拟现实环境的多感觉信息融合引导下的大脑脑电信号；
[0010]脑电信号处理器，对脑电信号采集装置所采集的受试者大脑脑电信号，计算反应受试者大脑选择性注意状态的事件相关电位特征以及反应受试者大脑持续性注意状态的事件相关电位特征，将所计算的电位特征传入系统处理器；
[0011]眼动信号采集装置，用于采集受试者在虚拟现实环境的多感觉信息融合引导下的眼动信号；
[0012]眼动信号处理器，对眼动信号采集装置所采集的受试者眼动信号，计算受试者眼动的特征数据，并传入系统处理器；
[0013]系统处理器，用于生成多感觉信息融合引导任务，根据所述脑电信号的特征和眼动信号的特征控制引导任务的动态过程，以对受试者注意力进行引导；
[0014]执行装置，受试者通过操纵执行装置，来完成引导任务。
[0015]作为优选，反应受试者选择性注意状态的事件相关电位特征取当引导任务的目标物出现时，大脑额叶区、顶叶区、枕叶区的外源性事件相关电位的电位特征和内源性事件相关电位的电位特征；
[0016]反应受试者持续性注意状态的事件相关电位特征取当引导任务的目标物变化时，大脑额叶区、顶叶区、枕叶区的外源性事件相关电位的电位特征和内源性事件相关电位的电位特征。
[0017]作为优选，所述特征数据包括注视点范围、注视次数、瞳孔直径和眼跳距离。
[0018]作为优选，所述执行装置包括控制单元、驱动单元、传感单元和执行机构；受试者肢体主动操纵执行机构，由控制单元根据传感单元检测到的受试者的肢体用力控制驱动单元，并由驱动单元带动执行机构运动，同时控制单元将传感单元检测到的执行机构的空间位置数据传入系统处理器。
[0019]作为优选，所述系统处理器包括：
[0020]任务控制模块，生成多感觉信息融合引导任务、控制引导任务的动态过程；
[0021]目标物构建模块，根据多感觉信息融合引导任务构建虚拟现实环境中的目标物；
[0022]代理点构建模块，根据多感觉信息融合引导任务构建虚拟现实环境中的代理点；
[0023]数据处理模块，建立执行机构的实际空间位置与虚拟现实环境中代理点的空间位置之间的映射关系；控制目标物的状态变化；构建代理点所受作用力的力学模型，并作为力反馈数据输出至力觉反馈装置；
[0024]所述力觉反馈装置用于接收力反馈数据，将反馈力输出至受试者。
[0025]作为优选，还包括虚拟现实视听装置，所述虚拟现实视听装置用于显示虚拟现实环境中的目标物、代理点以及两者的状态变化，播放在目标物出现、目标物变化以及代理点与目标物作用的过程中所触发的声音提示。
[0026]作为优选，一次多感觉信息融合引导任务设计为：
[0027]以虚拟现实环境中目标物出现、目标物变化以及代理点与目标物之间作用的全过程，由目标物的出现引导受试者进入选择性注意状态以关注目标物，由目标物的变化引导
受试者由选择性注意状态过渡到持续性注意状态、并维持在持续性注意状态以跟踪目标物，由受试者通过操纵执行机构以控制代理点动作，从而完成一次引导任务。
[0028]作为优选，多感觉信息融合引导任务的动态过程中目标物的出现/变化，在视觉通道上，采用以空间信息、特征信息的视觉信息融合的方式出现/变化；在听觉通道上，听觉信息的出现/变化与视觉通道上视觉信息的出现/变化在时间上同步、在空间上一致。
[0029]本专利技术的有益效果：
[0030]本专利技术的多感觉信息融合的注意力引导虚拟现实系统，以引导任务动态过程中目标物的出现引导受试者进入选择性注意状态，目标物的出现以空间信息、特征信息的视觉信息融合的方式，并融入与视觉信息的出现在时间上同步、在空间上一致的听觉信息；在判断受试者是否进入选择性注意状态后，以引导任务动态过程中目标物的变化引导受试者进入持续性注意状态，目标物的变化以空间信息、特征信息的视觉信息融合的方式，融入与视觉信息的变化在时间上同步、在空间上一致的听觉信息，并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多感觉信息融合的注意力引导虚拟现实系统，其特征在于，包括：脑电信号采集装置，用于采集受试者在虚拟现实环境的多感觉信息融合引导下的大脑脑电信号；脑电信号处理器，对脑电信号采集装置所采集的受试者大脑脑电信号，计算反应受试者大脑选择性注意状态的事件相关电位特征以及反应受试者大脑持续性注意状态的事件相关电位特征，将所计算的电位特征传入系统处理器；眼动信号采集装置，用于采集受试者在虚拟现实环境的多感觉信息融合引导下的眼动信号；眼动信号处理器，对眼动信号采集装置所采集的受试者眼动信号，计算受试者眼动的特征数据，并传入系统处理器；系统处理器，用于生成多感觉信息融合引导任务，根据所述脑电信号的特征和眼动信号的特征控制引导任务的动态过程，以对受试者注意力进行引导；执行装置，受试者通过操纵执行装置，来完成引导任务。2.根据权利要求1所述的注意力引导虚拟现实系统，其特征在于，反应受试者选择性注意状态的事件相关电位特征取当引导任务的目标物出现时，大脑额叶区、顶叶区、枕叶区的外源性事件相关电位的电位特征和内源性事件相关电位的电位特征；反应受试者持续性注意状态的事件相关电位特征取当引导任务的目标物变化时，大脑额叶区、顶叶区、枕叶区的外源性事件相关电位的电位特征和内源性事件相关电位的电位特征。3.根据权利要求1所述的注意力引导虚拟现实系统，其特征在于，所述特征数据包括注视点范围、注视次数、瞳孔直径和眼跳距离。4.根据权利要求1所述的注意力引导虚拟现实系统，其特征在于，所述执行装置包括控制单元、驱动单元、传感单元和执行机构；受试者肢体主动操纵执行机构，由控制单元根据传感单元检测到的受试者的肢体用力控制驱动单元，并由驱动单元带动执行机构运动，同时控制单元将传感单元检测到的执行机构的...

【专利技术属性】
技术研发人员：徐佳琳，左国坤，宋涛，李寒，施长城，张佳楫，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：