一种抬头显示与脑肌电联合交互控制系统及方法、车辆技术方案

本发明专利技术公开了一种抬头显示与脑肌电联合交互控制系统及方法、车辆，包括：抬头显示视觉刺激模块，用于信息显示和刺激显示；脑肌电采集模块，用于设置在大脑皮层采集脑肌电信号；信号处理模块，用于对脑肌电信号进行预处理得到脑电信号和眼肌电信号；车辆控制模块，用于根据脑电信号和眼肌电信号分别识别控制指令和确认指令，向车辆发出控制指令和向抬头显示视觉刺激模块发送显示更新指令；脑肌电采集模块和车辆控制模块分别与信号处理模块连接，车辆控制模块与抬头显示视觉刺激模块连接。该系统能够保证诱发出的脑电信号能够被采集到，同时还确保了交互的准确性，避免因误操作导致的驾驶安全问题。驾驶安全问题。驾驶安全问题。

【技术实现步骤摘要】
一种抬头显示与脑肌电联合交互控制系统及方法、车辆


[0001]本专利技术涉及车辆控制
，尤其涉及一种抬头显示与脑肌电联合交互控制系统及方法、车辆。

技术介绍

[0002]脑电交互是一种新型的人机交互方式，它通过脑电信号检测技术获得神经系统的电活动变化，再对这些信号进行分类识别，辨别出引发脑电变化的动作意图，再用计算机把人的思维活动转变成命令信号驱动外部设备，从而在没有肌肉和外围神经直接参与的情况下，实现人脑对外部环境的直接控制。刺激脑电产生信号的方式有多种，典型的可通过运动想象（例如想象右手握拳）和视觉诱发（观察足够亮的、特定频率闪烁的色块）。获取脑电信号的方式通常有三种：植入式，即将生物电极通过手术植入大脑皮层获取信号；湿电极式，即通过导电膏等媒介，将头皮电位信号传导至电极进行获取信号；干电极式，即无需导电媒介，通过电极直接于头皮接触获取信号。由于脑电信号比较微弱，且容易收到外部信号干扰，因此在采集到脑电信号后，还需要通过脑机设备进行放大、滤波和算法处理，才能最终得到可用信号。此外，人体在运动过程中，也会产生肌肉电信号（例如眨眼产生的眼肌电信号），这些信号也将传导至头皮部分，可以被湿/干电极获取。
[0003]抬头显示设备（HUD）是近些年新兴的一种人机交互设备。在应用于汽车的抬头显示系统中，它可以把时速、导航等重要的行车信息投影到驾驶员的前风挡玻璃上，让驾驶员尽量不低头、不转头就可以看到时速、导航等重要驾驶信息，减少驾驶员的注意力转移，提高驾驶安全性。HUD的实现原理一般是通过镜面系统经过多次反射和折射，最终通过风挡的折射进入驾驶员视野，从而在驾驶员视野内呈现出一个虚像进行信息呈现。
[0004]中国专利文献CN103083014A公开了一种利用脑电控制车辆的方法和利用该方法的智能车辆，该方法通过采集用户注视对应目的地刺激时的脑电信号，通过分析脑电信号，识别出用户期望到达的目的地，然后将该目的地发送给智能车辆的自主导航系统并由其控制车辆移动到目的地。该方法不需要任何的肢体运动和语言，只需要用户进行脑
‑
机接口的任务，通过对脑电信号的分析获得命令，实现智能车辆的移动。但该方法是通过视觉刺激诱发产生的脑电信号进行控制，控制模态单一，存在在车内复杂电磁环境中识别不准的问题，导致对车辆的控制不精准、甚至产生安全隐患；此外，由于在普通型HUD中光线经过多次折射、反射损耗，导致光线入射驾驶员眼睛后难以产生明显的脑电信号，进一步增大了识别难度。

技术实现思路

[0005]本专利技术的目的是提供一种抬头显示与脑肌电联合交互控制系统及方法、车辆，能保证诱发出的脑电信号能够被采集到，同时还确保交互的准确性，避免因误操作导致的驾驶安全问题。
[0006]为实现上述目的，本专利技术提供了一种抬头显示与脑肌电联合交互控制系统，包括：
抬头显示视觉刺激模块，用于信息显示和刺激显示；所述抬头显示视觉刺激模块包括前风挡、用于信息反馈的信息显示光源和用于产生视觉刺激信号并诱发大脑皮层产生脑肌电信号的视觉刺激光源，信息显示光源和视觉刺激光源分别经过反射到前风挡上形成重合的虚拟的信息成像和虚拟的刺激成像，所述风挡上被投射有多个闪烁的选择图标，不同闪烁的选择图标能反射不同刺激光线进而诱发不同的脑电信号，通过注视闪烁的选择图标刺激而诱发对应脑电信号；脑肌电采集模块，用于设置在大脑皮层采集脑肌电信号；信号处理模块，用于对脑肌电信号进行预处理得到脑电信号和眼肌电信号；车辆控制模块，用于接收脑电信号和眼肌电信号，根据脑电信号和眼肌电信号分别识别控制指令和确认指令，向车辆发出控制指令和向抬头显示视觉刺激模块发送显示更新指令；所述脑肌电采集模块和车辆控制模块分别与信号处理模块连接，所述车辆控制模块与抬头显示视觉刺激模块连接。
[0007]进一步， 所述抬头显示视觉刺激模块还包括第一反射镜和第二反射镜，所述信息显示光源和视觉刺激光源分别依次经过第一反射镜和第二反射镜反射到前风挡上形成重合的虚拟的信息成像和虚拟的刺激成像。
[0008]进一步，每个选择图标反射的刺激光线为不同频率闪烁的色块光源。
[0009]进一步，所述脑肌电采集模块为湿电极或干电极。
[0010]进一步，所述根据脑电信号识别出控制指令，具体执行以下步骤：将脑电信号查询预先设定的脑电信号和控制指令关系表得到控制指令。
[0011]本专利技术还提供一种抬头显示与脑肌电联合交互控制方法，利用所述的抬头显示与脑肌电联合交互控制系统，所述控制方法包括以下步骤：（S1）抬头显示视觉刺激模块进行信息显示和刺激显示；（S2） 通过安装在驾驶员的头皮上脑肌电采集模块采集脑肌电信号；（S3）对脑肌电信号进行预处理；（S4）对预处理后的脑肌电信号进行分离得到脑电信号和眼肌电信号；（S5）根据脑电信号识别出对应的控制指令，并确认眼肌电信号是否是确认指令，若是，转至执行步骤（S6）；否则，转至执行步骤（S2）；（S6）向车辆发出所述控制指令，以及向抬头显示视觉刺激模块发送显示更新指令，转至执行步骤（S1）。
[0012]进一步，所述信息显示和刺激显示，具体执行以下步骤：信息显示光源和视觉刺激光源分别经过反射到前风挡上形成重合的虚拟的信息成像和虚拟的刺激成像。
[0013]进一步，所述对脑肌电信号进行预处理，具体执行以下步骤：将脑肌电信号放大和滤波进行信号去噪。
[0014]进一步，所述对预处理后的脑肌电信号进行分离得到脑电信号和眼肌电信号，具体执行以下步骤：脑电和眼肌电信号进行小波变换，通过正交多分辨率分析得到对眼肌电信号的估计，然后在原信号中减去眼肌电信号即可还原脑电信号。
[0015]本专利技术还提供一种车辆，包括所述的抬头显示与脑肌电联合交互控制系统。
[0016]本专利技术与现有技术相比较具有以下优点：本专利技术的抬头显示与脑肌电联合交互控制系统及方法、车辆，视觉刺激光源能够独立调制，使得HUD系统能够提供亮度足够和特定闪烁频率的诱发源，保证了诱发出的脑电信号能够被采集到；通过眼肌电信号+脑电信号多模态融合交互方式，确保了交互的准确性，避免因误操作导致的驾驶安全问题；通过头戴式干电极进行脑肌电信号采集，然后进行放大和处理，通过蓝牙将脑肌电信号传输给车机进行系统功能的控制，因此在操作上具有便利性。
附图说明
[0017]图1为本专利技术抬头显示与脑肌电联合交互控制系统的示意图；图2为 本专利技术抬头显示视觉刺激模块的示意图；图3为本专利技术一实施例抬头显示与脑肌电联合交互控制系统方法的流程图；图4为本专利技术另一实施例抬头显示与脑肌电联合交互控制系统方法的流程图。
[0018]图中：1
‑ꢀ
抬头显示视觉刺激模块，11
‑
信息显示光源，12
‑
视觉刺激光源，13
‑
第一反射镜，14
‑
第二反射镜，15
‑
前风挡；2
‑
脑肌电采集模块；3
‑
信号处理模块，4
‑
车辆本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抬头显示与脑肌电联合交互控制系统，其特征在于，包括：抬头显示视觉刺激模块（1），用于信息显示和刺激显示；所述抬头显示视觉刺激模块（1）包括前风挡（15）、用于信息反馈的信息显示光源（11）和用于产生视觉刺激信号并诱发大脑皮层产生脑肌电信号的视觉刺激光源（12），信息显示光源（11）和视觉刺激光源（12）分别经过反射到前风挡（15）上形成重合的虚拟的信息成像和虚拟的刺激成像，所述风挡（15）上被投射有多个闪烁的选择图标，不同闪烁的选择图标能反射不同刺激光线进而诱发不同的脑电信号，通过注视闪烁的选择图标刺激而诱发对应脑电信号；脑肌电采集模块（2），用于设置在大脑皮层采集脑肌电信号；信号处理模块（3），用于对脑肌电信号进行预处理得到脑电信号和眼肌电信号；车辆控制模块（4），用于接收脑电信号和眼肌电信号，根据脑电信号和眼肌电信号分别识别控制指令和确认指令，向车辆发出控制指令和向抬头显示视觉刺激模块（1）发送显示更新指令；所述脑肌电采集模块（2）和车辆控制模块（4）分别与信号处理模块（3）连接，所述车辆控制模块（4）与抬头显示视觉刺激模块（1）连接。2.根据权利要求1所述的抬头显示与脑肌电联合交互控制系统，其特征在于， 所述抬头显示视觉刺激模块（1）还包括第一反射镜（13）和第二反射镜（14），所述信息显示光源（11）和视觉刺激光源（12）分别依次经过第一反射镜（13）和第二反射镜（14）反射到前风挡（15）上形成重合的虚拟的信息成像和虚拟的刺激成像。3.根据权利要求1或2所述的抬头显示与脑肌电联合交互控制系统，其特征在于，每个选择图标反射的刺激光线为不同频率闪烁的色块光源。4.根据权利要求3所述的抬头显示与脑肌电联合交互控制系统，其特征在于，所述脑肌电采集模块（2）为湿电极或干电极。5.根据权利要求1或2或4...

【专利技术属性】
技术研发人员：李昌，施暄宣，范有才，刘涛，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：