一种基于脑电信号的驾驶员辅助人车交互系统技术方案

本发明专利技术涉及一种利用脑电信号(EEG)进行控制的辅助驾驶员的人车交互系统及其相关计算方法。人-车辆系统中人的任务分为驾驶任务(车道保持及危险监控等)和非驾驶任务(与驾驶任务无直接关系的车载装置的开关等，比如空调的开关，音乐播放器的开关等)。本发明专利技术目的在于实现非驾驶任务当中驾驶员与车辆之间的一种新型交互模式。运用本发明专利技术的方法，驾驶员不再用肢体进行非驾驶任务，而是用大脑。驾驶员只需要按照自己的需求进行对应的任务，然后系统对相应的脑电信息进行处理分析，读取驾驶员的需求，进而实现非驾驶任务的执行，实现一种新型人车交互模式。本发明专利技术属于车辆设计领域、人机交互科学、认知神经科学和自动控制领域的综合应用。

【技术实现步骤摘要】
一种基于脑电信号的驾驶员辅助人车交互系统
本专利技术涉及一种利用脑电信号进行控制的驾驶员辅助人车交互系统。具体的来 说，利用脑电信号采用并行模式进行非驾驶任务的检测与是否执行此任务的检测，然后由 车载装置执行非驾驶任务。具体的，利用在脑-机接口当中普遍应用的P300电位进行非驾 驶任务的检测，利用稳态视觉诱发电位（SSVEP)来进行是否执行此任务的检测。P300电位 涉及脑电信号的时域信息，稳态视觉诱发电位（SSVEP)涉及脑电信号当中的频域信息，故 而，进行并行处理是可行的。本专利技术提出的方法不需要驾驶员有任何与非驾驶任务相关的 肢体运动或语言，只需要驾驶员进行相应的脑-机接口任务，通过系统对对应脑电信号进 行分析，实现非驾驶任务当中人与车辆的新型交互模式。本专利技术属于车辆设计领域、人机交 互科学、认知神经科学和自动控制领域的综合应用。
技术介绍
在人-车辆系统当中，人的任务通常包含各种各样的驾驶任务和非驾驶任务。驾 驶任务主要是指车道的保持和道路危险的监控，非驾驶任务通常包括各种车载装置的使用 以及在车内环境当中出现的与驾驶任务无直接相关的任务。针对非驾驶任务，目前，人车交 互系统包括语音识别系统、姿势识别系统、眼动识别系统等。脑-机接口是一种在人脑和外 部设备之间建立直接联系的不依赖外围神经和肌肉组织的信息交流系统，人可以通过大脑 直接和外部设备进行信息的交流并且直接控制外部设备。脑-机接口技术为人车交互系统 提供一种新的交互模式可能。脑电信号是大脑神经系统中所有神经元的电活动的总和，是 脑-机接口技术中对人脑进行意向识别的载体和媒介。脑-机接口通过对脑电信号的提取、 处理和识别将脑电信号翻译成人的命令，实现人对外部设备的控制。目前，常用的脑电 信号有P300电位和稳态视觉诱发电位。 P300电位是事件相关电位的一个成分，是人受到与事件相关的刺激源的刺激而产 生surprise时，在之后约300ms的时间，脑电信号会出现一个正电位的波峰。如果能够 识别出这个正电位的波峰，那么就能够确定相应的刺激，进而获知人的意图。基于P300的 脑-机接口一个重要的优点是使用者无需经过复杂的训练，就能够获得较高的准确率。稳 态视觉诱发电位（SSVEP)是诱发电位（VEP)的一种，当人盯着以一定频率持续闪烁的刺激 时，大脑就会产生与刺激频率相同或成谐振关系的脑电信号，尤其是在大脑枕部和顶部。如 果能够识别出来具有此特征的脑电信号，那么就可以判断人是否盯了刺激界面，进而读取 人的意图。 基于脑电信号的人机交互系统就是利用脑-机接口的相关技术，利用脑电信号读 取人的意图，从而实现对车载装置的控制。实现此种新型的人车交互模式，是本专利技术的主要 目的。
技术实现思路
根据本专利技术要求，提供一种基于脑电信号的驾驶员辅助人车交互系统，包括刺激 显示子系统、脑电采集子系统、脑电信息处理子系统，结果输出子系统，车载装置子系统；其 中，刺激显示子系统应用LCD(或CRT/HUD)对驾驶员进行视觉刺激来诱发对应的脑电信息； 脑电采集子系统进行脑电信息的实时采集并且进行信号放大和模数转换，然后把脑电信息 传输给脑电信息处理子系统；脑电信息处理子系统接收脑电信息并且对其进行处理；结果 输出子系统按照脑电信息处理子系统的检测结果对驾驶员的意图进行判断并输出最终结 果；车载装置系统进行命令的接收并执行相应的非驾驶任务。 -种基于脑电信号的驾驶员辅助人车交互系统方法，所述方法包括：步骤1，将诱 发P300电位的视觉刺激和诱发SSVEP稳态视觉诱发电位的视觉刺激以LCD (或CRT/HUD等） 显示方式提供给驾驶员；步骤2,实时采集驾驶员脑电信息并且进行信号放大和模数转换； 步骤3,脑电信息处理子系统接收驾驶员脑电信息，并且对脑电信息进行处理，判断驾驶员 是否希望执行非驾驶任务，同时判断驾驶员进行的非驾驶任务；步骤4,结果输出子系统根 据脑电信息处理子系统判断的结果来确定最后的输出；步骤5,车载装置系统接受命令并 执行相应的非驾驶任务。 所述，视觉刺激子系统包括诱发P300电位的刺激界面和诱发SSVEP稳态视觉诱发 电位的刺激界面。所述，诱发P300电位的刺激界面由3*2字符矩阵组成，矩阵中每一个字 符代表相应的非驾驶任务。所述诱发SSVEP稳态视觉诱发电位的刺激界面由左右两个举行 棋盘格组成，每个矩形由30*10个小方块（每个方块为20像素*20像素）组成。所述视觉 刺激子系统通过IXD (或CRT/HUD等）展示给驾驶员。 所述，脑电采集子系统通过置于头皮上的脑电电极采集脑电信号，并通过脑电放 大器放大并输出待处理的脑电信号。 所述，步骤3包括：步骤31，对采集到的原始脑电信息进行处理，判断驾驶员是否 注视SSVEP刺激界面，以此确定驾驶员是否愿意执行非驾驶任务；步骤32,对采集到的原始 脑电信息进行处理，判断驾驶员选择的是P300刺激界面中六个目标中的某一个，以此来确 定驾驶员执行了某一项非驾驶任务。 所述，步骤4详细阐述为：如果脑电信息处理子系统判断的结果是驾驶员希望执 行非驾驶任务，那么输出驾驶员执行的非驾驶任务；如果脑电信息处理子系统判断的结果 是驾驶员不希望执行非驾驶任务，那么不输出驾驶员执行的非驾驶任务，车辆保持原来的 状态。 所述，步骤31包括：步骤311，对脑电信号进行快速傅里叶变换，得到其功率谱信 息，提取以13Hz为中心的相对功率谱平均密度作为SSVEP特征；步骤312,利用离线选定的 阈值进行分类，从而获得SSVEP刺激界面下的驾驶员的意图，确定驾驶员是否愿意执行非 驾驶任务。 所述，步骤32包括：步骤321，对原始脑电信号进行叠加以取出噪声，然后进行滤 波和主成分分析；步骤322,以信号叠加后的时域幅值作为P300电位特征，代入Fisher线 性判别模型进行分类，以判断驾驶员选择的P300刺激界面当中的某个刺激字符。 本专利技术提出一种基于脑电信号的新型的人车交互系统。该系统可应用于与车辆相 关的人车交互设计。 【附图说明】 图1为本专利技术的工作系统框图； 图2为本专利技术的刺激显示子系统的显示界面； 图3为本专利技术所需要采集的脑电信号对应的通道位置； 图4为本专利技术的脑电信号处理流程示意图； 图5为使用者注视SSVEP刺激时脑电信号功率谱图； 图6为使用者未注视SSVEP刺激时脑电信号功率谱图； 【具体实施方式】 该专利技术所描述的基于脑电信号的人车交互系统的方法可以广泛应用于驾驶领域 的人车交互系统，同样，也可以根据该专利技术的基本设备和原理，进一步发展其他的新型的人 车交互系统。 本专利技术的基本原理是当用户需要进行非驾驶任务的时候，不需要用肢体或者语音 等进行操作，而是用大脑。举例来说，如图2所示刺激界面，界面当中的A-F分别代表不同 的非驾驶任务，用来诱发P300电位，两边以固定频率闪烁的棋盘格用来诱发SSVEP视觉稳 态诱发电位。以C为例，例如C代表开启空调的任务，驾驶员要开启空调，那么就需要驾驶 员输出C命令。驾驶员就需要用眼睛盯着区域201，同时用余光，也就是要分配一部分注意 力到字符C上。C每加亮一次，驾驶员就本文档来自技高网...

【技术保护点】
一种基于脑电信号的驾驶员辅助人车交互系统，包括刺激显示子系统、脑电采集子系统、脑电信息处理子系统，结果输出子系统，车载装置子系统；其中，刺激显示子系统应用LCD(或CRT/HUD)对驾驶员进行视觉刺激来诱发对应的脑电信息；脑电采集子系统进行脑电信息的实时采集并且进行信号放大和模数转换，然后把脑电信息传输给脑电信息处理子系统；脑电信息处理子系统接收脑电信息并对其进行处理，对脑电信息进行的处理包括与P300电位相关的处理和与SSVEP视觉稳态诱发电位相关的处理，此两种处理并行进行；结果输出子系统按照脑电信息处理子系统的检测结果对驾驶员的意图进行判断并输出最终结果；车载装置系统进行命令的接收并执行相应的非驾驶任务。

【技术特征摘要】
1. 一种基于脑电信号的驾驶员辅助人车交互系统，包括刺激显示子系统、脑电采集子 系统、脑电信息处理子系统，结果输出子系统，车载装置子系统；其中，刺激显示子系统应用 LCD(或CRT/HUD)对驾驶员进行视觉刺激来诱发对应的脑电信息；脑电采集子系统进行脑 电信息的实时采集并且进行信号放大和模数转换，然后把脑电信息传输给脑电信息处理子 系统；脑电信息处理子系统接收脑电信息并对其进行处理，对脑电信息进行的处理包括与 P300电位相关的处理和与SSVEP视觉稳态诱发电位相关的处理，此两种处理并行进行；结 果输出子系统按照脑电信息处理子系统的检测结果对驾驶员的意图进行判断并输出最终 结果；车载装置系统进行命令的接收并执行相应的非驾驶任务。2. 根据权利要求1所述的基于脑电信号的驾驶员辅助人车交互系统，其中，刺激显示 子系统主要用于诱发脑电信息当中的P300电位和SSVEP稳态视觉诱发电位，其中，诱发 P300电位的视觉刺激和诱发SSVEP稳态视觉诱发电位的视觉刺激分别包含多个目标刺激； 进一步，诱发P300电位的视觉刺激包括分布在刺激界面中部的六个按照随机顺序闪烁的 分别代表六项非驾驶任务的字母；诱发SSVEP稳态视觉诱发电位的视觉刺激包括左、右两 个按照相同频率闪烁的棋盘格，闪烁频率设定为13Hz。3. 根据权利要求1所述的基于脑电信号的驾驶员辅助人车交互系统，其中，脑电信 息处理子系统对P300电位和SSVEP稳态视觉诱发电位的检测，采用并行形式，即是，检测 SSVEP电位诱发与否的同时还判断驾驶员所选择的P300刺激当中的字符；其中，结果输出 子系统根据从脑电信息处理子系统接收到的两类命令对非驾驶任务的执行与否进行判断。4. 一种基于脑电信号的驾驶员辅助人车交互系统方法，包括： 步骤1，将诱发P300电位的视觉刺激和诱发SSVEP稳态视觉诱发电位的视觉刺激W LCD (或CRT/HUD等）显示方式提供给驾驶员； 步骤2,实时采集驾驶员脑电信息并且进行信号放大和模数转换； 步骤3,脑电信息处理子系统接收驾驶员脑电信息，并且对脑电信息进行处理，判断驾 驶员是否希望执行非驾驶任务，同时判断驾驶员进行的非驾驶任务； 步骤4,结果输出子系统根据脑电信息处理子系统判断的结果来确定最后的输出； 步骤5,车载装置系统接受命令并执行相应的非驾驶任务。5. 根据权利要求4所述的基于脑电信号的驾驶员辅助人车交互系统方法，其中，步骤3 包括： 步骤31，对采集到的原始...

【专利技术属性】
技术研发人员：毕路拯，连金岭，何腾欢，滕腾，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11