基于脑电与眼动协同的行车环境威胁目标识别方法及系统技术方案

本发明专利技术公开了一种基于脑电与眼动协同的行车环境威胁目标识别方法及系统，方法包括步骤：S1、实时获取行车前景路况视频并进行多目标检测与跟踪；S2、将不同刺激的闪烁箭头呈现在目标上并跟随其移动，采集眼动数据和脑电数据；S3、对眼动数据进行处理得到眼动结果，对脑电数据进行处理得到脑电结果；S4、综合所述眼动结果和脑电结果，输出跟踪目标结果。本发明专利技术具有降低假阳率、缩短目标识别时间、提高识别准确率等优点。准确率等优点。准确率等优点。

【技术实现步骤摘要】
基于脑电与眼动协同的行车环境威胁目标识别方法及系统


[0001]本专利技术主要涉及目标识别
，具体涉及一种基于脑电与眼动协同的行车环境威胁目标识别方法及系统。

技术介绍

[0002]近几年，快速发展的脑机接口(BCI)已成为人工智能领域的研究热点。脑机接口旨在人脑和外部设备建立起直接的通路。作为一种新型的交互模式，BCI已被广泛应用于医疗救助、汽车驾驶、机器人控制等领域。
[0003]脑控车是一种复杂的脑控应用，人脑与车辆之间存在着直接的控制通路。目前，脑控车采用的脑机接口范式主要有P300、运动想象和稳态视觉诱发电位(SSVEP)。P300通常由视觉刺激引起，实时性较差，只能用于静态目标的控制，如开关、雨刷等。运动想象的实时性也较差，可用自由度有限(一般小于4个)，无法完成整体的驾驶任务。SSVEP具有较高的信息传输率(ITR)和良好的实时性。当受到一个固定频率的视觉刺激时，人的大脑皮层会在目标刺激的基频或者倍频产生SSVEP特征成分。通过检测SSVEP的显性频率就可以识别出目标刺激。基于其适用性强、简单易得且准确率高的特性，采用SSVEP的脑机接口有利于自动驾驶过程中对威胁目标的选择。但是长时间的闪烁刺激容易造成驾驶员疲劳。
[0004]随着眼动追踪技术的成熟以及人类对交互舒适性要求的不断提升，基于眼动跟踪的交互方式受到越来越多的关注。与脑电不同，眼动交互方式更加自然，可以进一步降低交互的疲劳。此外，眼动交互学习成本低，大多数用户无需进行专门的培训即可操作使用。但是眼动跟踪仍存在一些弊端。人在自然状态中经常会有一些眼动行为往往不是由意志性的注意力引导产生，如果系统没有区分这些眼动,很可能错误的理解人类意图，发生误触发，即“米达斯接触”问题。此外，眼动追踪技术不是完全可靠的，一些随机的不稳定因素可能会导致系统发生错误。一些基于眼动的交互已经应用到文字拼写和机器人控制。
[0005]一个混合的脑机接口系统往往由至少两种以上的模态组成，表现的性能要好于单一模态的脑机接口。一些研究利用结合脑电和眼电的混合系统用来识别字符。此外，眼动跟踪与BCI的结合已经逐渐被应用到控制游戏、机器臂和无人机。
[0006]目前，计算机信息融合能力的大幅提升不断促进着自动驾驶的发展。自动驾驶正逐渐从特定的场景(如高速公路、试验园区)走向复杂的城市交通。城市交通路况相对复杂，动态行人目标数量多且轨迹多变。在这种复杂的道路情况下，基于计算机视觉技术的环境感知方法无法快速准确地预知威胁目标。通过脑机接口将驾驶员的意图融入到车辆环境感知，可以提高驾驶的舒适性和安全性。
[0007]人在自然状态下经常有一些眼动行为不是由意志性的注意力引发的。如果不能辨别“有意识”和“无意识”的眼动，会导致系统错误理解真实意图，发出错误指令，在行车环境下容易造成交通事故。因此，系统应具备检测“无意识”眼动行为的能力，降低假阳率，增强系统的安全性和可靠性。
[0008]在设计在线异步的脑机接口系统时，实现异步控制的关键在于如何区分空闲状态
和工作状态。在异步脑机接口系统中，被试根据自主选择向外部设备发出指令。系统在受到被试产生的控制意图后会进入工作状态，而当未检测到控制意图时，则处于空闲状态。系统需不断监测被试大脑意识活动，区分工作和空闲状态。

技术实现思路

[0009]本专利技术要解决的技术问题就在于：针对现有技术存在的技术问题，本专利技术提供一种降低假阳率、缩短目标识别时间、提高识别准确率的基于脑电与眼动协同的行车环境威胁目标识别方法及系统。
[0010]为解决上述技术问题，本专利技术提出的技术方案为：
[0011]一种基于脑电与眼动协同的行车环境威胁目标识别方法，包括步骤：
[0012]S1、实时获取行车前景路况视频并进行多目标检测与跟踪；
[0013]S2、将不同刺激的闪烁箭头呈现在目标上并跟随其移动，采集眼动数据和脑电数据；
[0014]S3、对眼动数据进行处理得到眼动结果，对脑电数据进行处理得到脑电结果；
[0015]S4、综合所述眼动结果和脑电结果，输出跟踪目标结果。
[0016]优选地，在步骤S3中，通过I
‑
VT滤波器分析眼睛方向移动的速度来实现对眼睛运动的分类，以输出眼动结果；其中眼睛运动的分类包括注视和扫视。
[0017]优选地，在步骤S3中，眼睛运动的分类的具体过程为：
[0018]通过两个采样点的距离与对应的采样时间的比值获得眼动速度；
[0019]当眼动速度高于设定的眼动阈值时，则与该速度相关样本判定为扫视样本，低于该阈值则被视为注视样本的一部分。
[0020]优选地，在步骤S3中，利用典型相关分析算法对脑电数据进行特征提取和分类，融合多通道信号数据，通过计算多通道脑电图信号和刺激频率之间的最大相关性系数来识别目标。
[0021]优选地，最大相关性系数的得到过程为：
[0022]周期性刺激表示为方波周期信号，分解为傅里叶谐波级数：
[0023][0024]其中N是谐波数，L是原始信号的采样点数，t是当前时间点，S是脑电的采样率；通过计算两个数据组(X,Y)的各变量线性组合(x＝X
T
W
x
，y＝Y
T
W
y
)的最大相关系数ρ来反映2组信号的相关性；ρ的计算公式如下：
[0025][0026]优选地，在步骤S4中，当时输出跟踪目标；其中{r1,r2
…
}为眼动结果，{s1}为脑电结果。
[0027]优选地，在步骤S2中，将不同频率、不同颜色、不同方向的闪烁刺激叠加在不同目标上。
[0028]优选地，不同频率分别为6.10Hz、8.18Hz、15.87Hz、12.85Hz、10.50Hz、8.97Hz、13.78Hz、9.98Hz、11.23Hz、7.08Hz、14.99Hz和11.88Hz。
[0029]优选地，在步骤S4之后，通过使用准确率和信号传输率来评估目标识别的性能。
[0030]本专利技术还公开了一种基于脑电与眼动协同的行车环境威胁目标识别系统，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序在被处理器运行时执行如上所述方法的步骤。
[0031]与现有技术相比，本专利技术的优点在于：
[0032]本专利技术融合稳态视觉诱发电位(SSVEP)与眼动轨迹两种模态信息来进行行车环境下潜在威胁行人目标的识别；通过基于深度学习的目标检测与跟踪方法获取行人目标的坐标和ID，为混合脑机接口(BCI)提供初始信息。在行人目标上随机叠加不同方向的箭头闪烁，被试依据箭头扫视威胁目标的同时，相应频率的刺激唤起SSVEP；以交通场景为背景，以动态行人为目标，将计算机视觉与混合BCI相结合，被试需要根据自己的主观经验判断与选择对行车安全构成威胁的行人，从而实现基于BCI的威胁行人目标的脑机融合识别。
[0033]本专利技术的识别方法通过眼动轨迹的加入，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脑电与眼动协同的行车环境威胁目标识别方法，其特征在于，包括步骤：S1、实时获取行车前景路况视频并进行多目标检测与跟踪；S2、将不同刺激的闪烁箭头呈现在目标上并跟随其移动，采集眼动数据和脑电数据；S3、对眼动数据进行处理得到眼动结果，对脑电数据进行处理得到脑电结果；S4、综合所述眼动结果和脑电结果，输出跟踪目标结果。2.根据权利要求1所述的基于脑电与眼动协同的行车环境威胁目标识别方法，其特征在于，在步骤S3中，通过I
‑
VT滤波器分析眼睛方向移动的速度来实现对眼睛运动的分类，以输出眼动结果；其中眼睛运动的分类包括注视和扫视。3.根据权利要求2所述的基于脑电与眼动协同的行车环境威胁目标识别方法，其特征在于，在步骤S3中，眼睛运动的分类的具体过程为：通过两个采样点的距离与对应的采样时间的比值获得眼动速度；当眼动速度高于设定的眼动阈值时，则与该速度相关样本判定为扫视样本，低于该阈值则被视为注视样本的一部分。4.根据权利要求1或2或3所述的基于脑电与眼动协同的行车环境威胁目标识别方法，其特征在于，在步骤S3中，利用典型相关分析算法对脑电数据进行特征提取和分类，融合多通道信号数据，通过计算多通道脑电图信号和刺激频率之间的最大相关性系数来识别目标。5.根据权利要求4所述的基于脑电与眼动协同的行车环境威胁目标识别方法，其特征在于，最大相关性系数的得到过程为：周期性刺激表示为方波周期信号，分解为傅里叶谐波级数：其中N是谐波数，L是原始信号的采样点数...

【专利技术属性】
技术研发人员：刘亚东，孙健翔，胡德文，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：