【技术实现步骤摘要】
本专利技术属于电子与信息工程中的人机交互、脑机接口，涉及一种基于超声触觉和空间想象的混合脑机接口系统。
技术介绍
1、脑机接口(brain-computer interface,bci)是一种连接大脑和外部设备的实时通信系统，能够直接利用大脑信号对外部设备进行控制，实现意识与外界环境的直接交流与互动。bci系统在军事、临床与生产生活中具有广泛的应用前景。bci不仅可以通过获取特定区域的神经元自发放电，并将它们解码成命令信号来直接控制外部设备或肌肉组织，而且可以将响应反馈给神经网络，使人产生视觉、听觉、触觉等。非侵入式检测的脑电信号(electroencephalograph，eeg)是通过将电极安放在头皮或大脑皮层的表面记录到的神经元群体发放的突触后电位的总和。目前基于eeg的脑机接口使用的大脑模式主要包括farwell和donchin在1988年提出的p300视觉诱发电位、muller等人提出的稳态诱发电位(如稳态视觉诱发电位(steady-state visual evoked potentials,ssvep))以及由运动想象(motor imagery,mi)产生的事件相关异步/同步(event-related desynchronization/synchronization,erd/ers)。
2、单一模态的bci系统在范式设计、脑信号处理算法和控制系统方面已经取得了重大进展，其中诱发刺激的bci模式应用比较成熟的是视觉刺激模式，然而依然存在不足。如基于p300位的bci需要多次重复闪烁，长时间的重复闪烁
3、目前国内外很少有研究人员关注触感刺激诱发的脑电信号在bci系统中的应用。而关于超声触觉的研究则起步较晚，多数以直接的方式将其应用于人机交互，尚未发现有研究将其用于bci技术的研究。因此本专利技术提出通过构建超声触觉测试及脑电信号检测集成系统，实现基于触觉感知和空间想象两种状态下的混合脑机接口技术。
技术实现思路
1、本专利技术所要解决的技术问题是：克服现有技术的不足，本专利技术提供一种基于超声触觉和空间想象的混合脑机接口系统，实现基于超声触觉范式刺激的bci技术；设计基于超声触觉范式的感知指令，并根据超声触觉相控阵的基于时空调制技术构建的触觉特性和触觉图案诱发的空间想象对触觉感知指令进行分类。
2、本专利技术采用如下的技术方案：一种基于超声触觉和空间想象的混合脑机接口系统，包括超声触觉相控阵、脑电帽、脑电信号检测板和主控计算机；超声触觉相控阵与主控计算机通过usb连接，脑电帽戴在人头上，脑电帽与脑电信号检测板的模拟前端模块相连，脑电信号检测板与主控计算机通过无线通讯传输数据；
3、所述主控计算机包括超声触觉相控阵任务模块、脑电信号接收模块、通道数据分离模块、滤波去噪模块、智能解码模块；工作时，由主控计算机输入任务文件，任务文件包括输入指令，将任务文件分发给超声触觉相控阵任务模块，超声触觉相控阵任务模块对输入指令进行解析，生成触觉感知指令，依次下发触觉感知指令给超声触觉相控阵下位机，超声触觉相控阵下位机根据触觉感知指令的次序依次发射若干路超声波聚焦到人的手上，并构建不同的形状，使人手感知不同的形状和触觉特性；脑电帽定位采集大脑感应触觉和产生空间想象位置的脑电信号，传给脑电信号检测板的模拟前端模块，脑电信号检测板完成脑电信号的采集、放大、a/d转换、数据打包及无线传输；主控计算机的脑电信号接收模块接收来自脑电信号检测板采集并转换的生物电信号，通道数据分离模块、滤波去噪模块、智能解码模块分别对原始生物电信号进行通道分离、滤波去噪处理、智能解码，根据智能解码结果依次产生相应的输出控制指令。
4、进一步的，所述超声触觉相控阵包括m×n换能器，超声触觉相控阵受主控计算机控制，发射m×n路不同相位延时的40khz超声波，能用1-1khz信号进行调制，在任意点聚焦，通过时空调制控制超声波以设定的频率启停，使得人手获得超声振动；超声触觉相控阵控制焦点沿给定的二维形状以设定的速度在设定的若干位置移动，使人手获得用若干离散焦点模拟二维形状的触觉感知；根据任务文件输入指令，超声触觉相控阵下位机通过时空调制方法发出聚焦超声波在指定高度构建字符或规则形状，人手平放在指定高度，能够感受构建的字符或规则形状，并产生空间相象；超声触觉相控阵按照任务文件输入指令次序执行，m、n分别为正整数。
5、进一步的，脑电信号检测板包括模拟前端模块、主控模块、电源管理模块以及wi-fi射频模块；由脑电帽上生物电极以单端输入方式采集原始脑电信号，经过无源式阻容低通滤波后由模拟前端模块脑电adc芯片将信号放大、采样并将转换后的数字信号传输至主控模块mcu，主控模块mcu将经过打包的脑电数据通过uart串口发送给wi-fi射频模块，数据由wi-fi射频模块无线透传至主控计算机。
6、进一步的，脑电信号检测板的系统软件实现数据采集功能及逻辑控制功能，实现mcu各外设初始化、mcu外部中断以及同步采样、adc芯片寄存器配置，对脑电数据通过spi进行读取并打包，并从uart接口发送至wi-fi射频模块，完成对整个系统的逻辑控制功能。
7、进一步的，所述任务文件包括单个或若干输入指令的排列组合；输入指令用阿拉伯数字表示，一个阿拉伯数字表示一个输入指令；所述超声触觉相控阵任务模块具有将输入指令定义为对应字符或规则形状的功能，字符为汉字或英文字母，对应字符或规则形状称为触觉感知指令，任务模块使用时频域编码方法生成触觉感知指令；时频域编码方法基于发射超声波的调制频率和构建二维形状的焦点扫描时间间隔进行编码；超声触觉相控阵任务模块具有将触觉感知指令定义为对应的输出指令的功能，工作时超声触觉相控阵任务模块自动识别任务文件输入指令，将输入指令转化为字符或规则形状的触觉感知指令，并下发给超声触觉相控阵下位机。
8、进一步的，所述脑电信号接收模块启动tcp服务端接收脑电信号检测板发送的无线透传原始数据并验证后，将无线透本文档来自技高网...
【技术保护点】
1.一种基于超声触觉和空间想象的混合脑机接口系统，其特征在于：包括超声触觉相控阵、脑电帽、脑电信号检测板和主控计算机；超声触觉相控阵与主控计算机通过USB连接，脑电帽戴在人头上，脑电帽与脑电信号检测板的模拟前端模块相连，脑电信号检测板与主控计算机通过无线通讯传输数据；
2.根据权利要求1所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：所述超声触觉相控阵包括M×N换能器，超声触觉相控阵受主控计算机控制，发射M×N路不同相位延时的40kHz超声波，能用1-1kHz信号进行调制，在任意点聚焦，通过时空调制控制超声波以设定的频率启停，使得人手获得超声振动；超声触觉相控阵控制焦点沿给定的二维形状以设定的速度在设定的若干位置移动，使人手获得用若干离散焦点模拟二维形状的触觉感知；根据任务文件输入指令，超声触觉相控阵下位机通过时空调制方法发出聚焦超声波在指定高度构建字符或规则形状，人手平放在指定高度，能够感受构建的字符或规则形状，并产生空间相象；超声触觉相控阵按照任务文件输入指令次序执行，M、N分别为正整数。
3.根据权利要求2所述的基于超声触觉和空间想象的混
4.根据权利要求3所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：脑电信号检测板的系统软件实现数据采集功能及逻辑控制功能，实现MCU各外设初始化、MCU外部中断以及同步采样、ADC芯片寄存器配置，对脑电数据通过SPI进行读取并打包，并从UART接口发送至Wi-Fi射频模块，完成对整个系统的逻辑控制功能。
5.根据权利要求4所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：所述任务文件包括单个或若干输入指令的排列组合；输入指令用阿拉伯数字表示，一个阿拉伯数字表示一个输入指令；所述超声触觉相控阵任务模块具有将输入指令定义为对应字符或规则形状的功能，字符为汉字或英文字母，对应字符或规则形状称为触觉感知指令，任务模块使用时频域编码方法生成触觉感知指令；时频域编码方法基于发射超声波的调制频率和构建二维形状的焦点扫描时间间隔进行编码；超声触觉相控阵任务模块具有将触觉感知指令定义为对应的输出指令的功能，工作时超声触觉相控阵任务模块自动识别任务文件输入指令，将输入指令转化为字符或规则形状的触觉感知指令，并下发给超声触觉相控阵下位机。
6.根据权利要求5所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：所述脑电信号接收模块启动TCP服务端接收脑电信号检测板发送的无线透传原始数据并验证后，将无线透传原始数据输入至通道数据分离模块。
7.根据权利要求6所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：所述通道数据分离模块将多通道数据分至各自数据通道，并将原始十六位原始数据转换为十进制幅值数据，再将十进制幅值数据输入至滤波去噪模块。
8.根据权利要求7所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：所述滤波去噪模块通过带通滤波以及工频凹陷数字滤波器对数据进行降噪处理后输入智能解码模块，得到解析的输出指令。
9.根据权利要求8所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：所述智能解码模块采用分类模型针对采集的多通道数据筛选出对触觉/空间想象更为敏感的关键特征进行指令分类，针对基于超声触觉诱发范式检测到的脑电信号触觉信息采用基于典型相关性分析CCA的特征提取与分类方法、基于深度神经网络模型训练的特征提取与分类方法，针对基于超声触觉诱发范式检测到的空间想象脑电信号信息采用基于一对一、一对多共空间模式CSP特征提取和基于SVM的分类模式；对基于脑电信号频率信息的分类结果和基于空间想象脑电信号信息的分类结果采用平均加权和先验加权的信号融合算法，实现对输入任务控制指令的脑机接口解码算法。
10.根据权利要求5所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：所述超声触觉相控阵任务模块中，基于人体手掌和手指的个人特征共振频率设计实验范式。
...【技术特征摘要】
1.一种基于超声触觉和空间想象的混合脑机接口系统，其特征在于：包括超声触觉相控阵、脑电帽、脑电信号检测板和主控计算机；超声触觉相控阵与主控计算机通过usb连接，脑电帽戴在人头上，脑电帽与脑电信号检测板的模拟前端模块相连，脑电信号检测板与主控计算机通过无线通讯传输数据；
2.根据权利要求1所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：所述超声触觉相控阵包括m×n换能器，超声触觉相控阵受主控计算机控制，发射m×n路不同相位延时的40khz超声波，能用1-1khz信号进行调制，在任意点聚焦，通过时空调制控制超声波以设定的频率启停，使得人手获得超声振动；超声触觉相控阵控制焦点沿给定的二维形状以设定的速度在设定的若干位置移动，使人手获得用若干离散焦点模拟二维形状的触觉感知；根据任务文件输入指令，超声触觉相控阵下位机通过时空调制方法发出聚焦超声波在指定高度构建字符或规则形状，人手平放在指定高度，能够感受构建的字符或规则形状，并产生空间相象；超声触觉相控阵按照任务文件输入指令次序执行，m、n分别为正整数。
3.根据权利要求2所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：脑电信号检测板包括模拟前端模块、主控模块、电源管理模块以及wi-fi射频模块；由脑电帽上生物电极以单端输入方式采集原始脑电信号，经过无源式阻容低通滤波后由模拟前端模块脑电adc芯片将信号放大、采样并将转换后的数字信号传输至主控模块mcu，主控模块mcu将经过打包的脑电数据通过uart串口发送给wi-fi射频模块，数据由wi-fi射频模块无线透传至主控计算机。
4.根据权利要求3所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：脑电信号检测板的系统软件实现数据采集功能及逻辑控制功能，实现mcu各外设初始化、mcu外部中断以及同步采样、adc芯片寄存器配置，对脑电数据通过spi进行读取并打包，并从uart接口发送至wi-fi射频模块，完成对整个系统的逻辑控制功能。
5.根据权利要求4所述的基于超声触觉和空间想象的混合脑机接口系统，其特征在于：所述任务文件包括单个或若干输入指令的排列组合；输入指令用阿拉伯数字表示，一个阿拉伯数字表示...
【专利技术属性】
技术研发人员：阳佳，李旗挺，王剑，李永远，肖肖，刘冬，孙光，刘建妥，马野，刘焱飞，宋盛菊，
申请(专利权)人：中国运载火箭技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。