脑控式虚拟现实方法技术

本发明专利技术涉及脑‑机接口、虚拟现实技术领域，为提出一种虚拟现实技术方案，实现符合正常思维行动控制过程和接近实际交互应用，为新型基于运动想象的虚拟现实系统提供关键技术保障，进一步研究可以得到完善的脑控式虚拟现实系统，有望获得可观的社会效益和经济效益。本发明专利技术采用的技术方案是，脑控式虚拟现实方法，借助unity3D软件设计用户运动想象‑交互的虚拟现实场景的在线实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，从而实现用户对虚拟场景下的目标移动进行意念控制。本发明专利技术主要应用于脑‑机接口场合。

【技术实现步骤摘要】
脑控式虚拟现实方法
本专利技术涉及脑-机接口、虚拟现实
，具体讲,涉及脑控式虚拟现实系统。
技术介绍
1985年：杰伦·拉尼尔最先提出“虚拟现实”这一术语，同时创办了VPLResearch公司。公司产品包括“数据手套”，用户可通过手与虚拟环境交流，以及头戴式显示器“EyePhone”。“虚拟现实(VirtualReality，VR)”是指通过计算机构建一个具备三维信息的人工环境，这项技术既可以高度逼真地模拟真实世界，也可以模拟不存在的虚幻世界，使用者在这样的一个三维环境中可以通过自己的感官、肢体或者特殊装置自然地与之进行交互，具有“身临其境”的感觉。Burdea和Coiffet描述了虚拟现实的“3I”原则作为虚拟现实技术的基本特征——沉浸感(Immersion)、交互性(Interaction)、构想性(Imagination)。2015年以来，虚拟现实技术成为了研究热点。JuniperResearch公司于2015年12月发布了一项关于2016年全球科技市场的发展趋势预测报告，其中虚拟现实技术名列10大热门科技之首，2016年虚拟现实技术将会从科技爱好者逐步走进主流消费者市场，应用空间也会从游戏市场拓展到其他领域。在虚拟现实游戏中，现有的交互方式为：触觉反馈、眼球追踪、肌电模拟、手势追踪、语音交互等等，但是这几种交互方式都不是很成熟，用户戴上虚拟眼镜后，在虚拟环境中无法看到自己的双手来实际操作，这也是虚拟现实游戏中亟待解决的问题，而脑-机接口技术可以通过脑控方式来实现对外部设备的操作，可以解决虚拟现实游戏的交互问题，这为脑-机接口技术也带来了新的挑战和机遇。第一次脑-机接口国际会议给出的BCI的定义是：“BCI是一种不依赖于大脑外围神经与肌肉正常输出通道的通讯控制系统。”目前的研究成果中，它主要是通过采集和分析不同状态下人的脑电信号，然后使用一定的工程技术手段在人脑与计算机或其它电子设备之间建立起直接的交流和控制通道，从而实现一种全新的信息交换与控制技术，可以为残疾人特别是那些丧失了基本肢体运动功能但思维正常的病人提供一种与外界进行信息交流与控制的途径。即可以不需语言或肢体动作，直接通过控制脑电来表达意愿或操纵外界设备。为此，BCI技术也越来越受到重视。虚拟现实技术以其多交互性、高沉浸感、体验丰富的特点，用于场景设计、人物体验具有显著优势，本设计拟通过脑-机交互同步控制虚拟环境下，小车游戏中角色的行进方向，搭建脑控式虚拟现实系统平台，实现身随意动、形思合一、解放双手，进一步拓展开发，有望用于作战模拟、微观层面观察学习、历史穿越体验、手术模拟操作、游戏控制体验，为军事、教育、医疗、娱乐事业提供有效技术支撑。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种虚拟现实技术方案，实现符合正常思维行动控制过程和接近实际交互应用，为新型基于运动想象的虚拟现实系统(Motorimagery-virtualreality，MI-VR)提供关键技术保障，进一步研究可以得到完善的脑控式虚拟现实系统，有望获得可观的社会效益和经济效益。本专利技术采用的技术方案是，脑控式虚拟现实方法，借助unity3D软件设计用户运动想象-交互的虚拟现实场景的在线实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，从而实现用户对虚拟场景下的目标移动进行意念控制。在一个实例中，借助pc机、在Unity3D平台下编写的虚拟现实反馈界面、脑电采集器与蓝牙模块实现，脑电采集器将采集到的运动相关导联的脑电信号通过蓝牙模块传入pc机，导联共14通道，AF3、AF4、F3、F4、F7、F8、FC5、FC6、T7、T8、P7、P8、O1、O2；使用者头戴虚拟眼镜安静地坐于靠椅上，注视头戴显示器中的反馈界面，进行运动想象，包括想象左手或右手抬起，在此过程中使用者脑电会产生相应的变化：脑电信号在大脑皮层产生，由头皮电极探测后经过脑电放大器放大、滤波后输入计算机；采集到得脑电数据再经过后续的数据处理提取相应的运动想象特征信号，将这些特征应用于模式识别；经过对人脑运动想象产生的实时脑电信号数据处理解码，输出指令信号发送至虚拟串口控制虚拟现实系统反馈界面中小车向目标区域运动，来碰撞金币，最终根据碰撞的金币种类、数量计算用户得分，进而形成了相应的视觉反馈，引导使用者利用更优的想象方式实现更好的靶向控制，从而构成一个闭环控制系统。本专利技术的特点及有益效果是：本专利技术设计了基于运动想象脑-机接口技术下的虚拟现实系统，利用脑-机接口技术作为系统的交互方式，符合大脑正常思维活动状态，可以让使用者与游戏的交互更为舒适、便捷，克服了现有的虚拟现实交互方式的控制缺陷，也可以更好地引导使用者运动想象方式，更接近实际应用，有望为新型MI-VR系统设计提供关键技术保障，也为脑-机接口尽快步入大范围应用阶段奠定基础。附图说明：图1系统设计框图。图2本系统中的小车3D模型。其中，(a)小车的3D模型正面(b)小车3D模型背面及计数板。图3系统中的金币模型。图4系统交互场景。(a)山地随机分布的100枚金币模型(b)游戏运行界面(c)小车碰撞金币效果(d)游戏结束界面。图5系统流程图。具体实施方式本专利技术设计了一种基于运动想象脑-机接口(MotorImagery-BrainComputerInterface，MI-BCI)范式的脑控式虚拟现实系统模型。虚拟现实技术是以计算机科学为核心，结合多学科、多方向交叉的新技术，能够生成近似真实环境的视觉、听觉、触觉、感觉等感知信息的虚拟环境。应用虚拟任务场景设计，利用其多感知性、高交互性、强自主性的优势，增强用户沉浸感、主动参与程度等，强化大脑特征控制源信息。其技术流程是：借助unity3D软件设计用户运动想象交互的虚拟现实场景的在线实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，从而实现用户对虚拟场景下的目标移动进行意念控制。本专利技术旨在利用虚拟场景任务设计的方法，结合MI-BCI系统指令输出对虚拟现实场景目标移动进行控制，提高虚拟现实游戏的用户体验。与传统的虚拟现实游戏相比，更符合正常思维行动控制过程和接近实际交互应用，有望为新型基于运动想象的虚拟现实系统(MotorImagery-VirtualReality，MI-VR)提供关键技术保障，进一步研究可以得到完善的脑控式虚拟现实系统，有望获得可观的社会效益和经济效益。本专利技术系统设计框图如图1所示。该系统主要由pc机，虚拟现实反馈界面(在Unity3D平台下编写设计的)，Emotiv脑电采集器和与蓝牙模块构成。Emotiv将采集到的运动相关导联(共14通道，AF3、AF4、F3、F4、F7、F8、FC5、FC6、T7、T8、P7、P8、O1、O2)的脑电信号通过蓝牙模块传入pc机，使用者头戴Oculus虚拟眼镜安静地坐于靠椅上，注视头戴显示器中的反馈界面，进行运动想象(想象左手或右手抬起)。在此过程中使用者脑电会产生相应的变化：脑电信号在大脑皮层产生，由头皮电极探测后经过Emotiv脑电放大器放大、滤波后输入计算机。采集到得脑本文档来自技高网...

【技术保护点】
一种脑控式虚拟现实方法，其特征是，借助unity3D软件设计用户运动想象‑交互的虚拟现实场景的在线实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，从而实现用户对虚拟场景下的目标移动进行意念控制。

【技术特征摘要】
1.一种脑控式虚拟现实方法，其特征是，借助unity3D软件设计用户运动想象-交互的虚拟现实场景的在线实验，搭建好实验所需的脑电信号采集装置，然后在实验系统指导下，采集操作者脑电信号数据，将其存储后再进行一定的预处理、特征提取、分类识别，从而实现用户对虚拟场景下的目标移动进行意念控制。2.如权利要求1所述的脑控式虚拟现实方法，其特征是，在一个实例中，借助pc机、在Unity3D平台下编写的虚拟现实反馈界面、脑电采集器与蓝牙模块实现，脑电采集器将采集到的运动相关导联的脑电信号通过蓝牙模块传入pc机，导联共14通道，AF3、AF4、F3、F4、F7、F8、FC5、FC6、T7、T8、P7、P8...

【专利技术属性】
技术研发人员：明东，杜佳乐，王仲朋，陈龙，何峰，苏震，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12