一种基于脑洞和眼动特征的图像三分类解码方法以及装置制造方法及图纸

本公开是关于一种基于脑洞和眼动特征的图像三分类解码方法、装置、电子设备以及存储介质。其中，该方法包括：基于解码模型训练的脑电样本数据构建脑电时

【技术实现步骤摘要】
一种基于脑洞和眼动特征的图像三分类解码方法以及装置


[0001]本公开涉及脑机接口、图像分类领域，具体而言，涉及一种基于脑洞和眼动特征的图像三分类解码方法、装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]基于快速序列视觉呈现(rapid serial visual presentation,RSVP)是脑机接口(brain computer interface,BCI)应用中重要的范式之一。它以每秒高速率在相同的空间使用视觉刺激器连续呈现刺激图像，当呈现的图像序列中出现被试者所感兴趣的目标图像是，会诱发出对应的事件相关电位成分。通过脑信号解码算法可以实现海量图片的快速检索。RSVP
‑
BCI系统利用了人类视觉系统的图像处理和理解能力，在图像检索领域，相比机器视觉和人工手动方法具有独特的优势。相比机器视觉，RSVP
‑
BCI不需要大样本支持，具有更强的适应能力与泛化处理能力，尤其对于新出现的或变种而来的新目标类型，也可以很好的适应；相比人工手动识别，RSVP
‑
BCI具有更快的速度，每秒最多可自动、快速、准确的识别处理15张图像。RSVP
‑
BCI在涉及海量图片中快速搜索、定位、分类出感兴趣的稀疏性目标对象领域具有广泛应用前景，尤其对于感兴趣的目标对象样本缺乏、变化多样等场景，比如应用在复杂背景下广域军事目标侦查、医疗靶向图像筛查、宗教色情图片识别和脑纹身份认证等领域。
[0003]然而，尽管现有的RSVP—BCI技术和方法，大多数都是集中于二分类问题，即区分非目标与目标，尚缺乏面向图像多分类的方法。然而，随着RSVP
‑
BCI系统应用需求的提升，基于RSVP
‑
BCI的图像二分类方法已经无法满足实际应用需求，不仅要辨别是否为目标，而且还要将目标类型进行区分，也就是多分类问题。当前对基于RSVP
‑
BCI的图像三分类方法中，解码识别精度较低，无法有效区分双目标所诱发的脑响应模式和关键成分。
[0004]因此，需要一种或多种方法解决上述问题。
[0005]需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本公开的目的在于提供一种基于脑洞和眼动特征的图像三分类解码方法、装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
[0007]根据本公开的一个方面，提供一种基于脑洞和眼动特征的图像三分类解码方法，包括：
[0008]将用于解码模型训练的第一样本数据，基于层次判别分析法，提取所述第一样本数据中各样本的时
‑
空特征，并将所述第一样本数据中各样本的时
‑
空特征与第一样本数据中各样本的类别标签建立对应关系，构建脑电时
‑
空特征提取模型；
[0009]将用于解码模型训练的第二样本数据，基于共空间模式法，提取所述第二样本数
据中各样本的脑电频域特征，并将所述第二样本数据中各样本的脑电频域特征与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型；
[0010]将用于解码模型训练的第三样本数据，通过时间滤波器，提取所述第三样本数据中各样本的指标数据的时域特征，并将所述第三样本数据中各样本的指标数据的时域特征与第三样本数据中各样本的类别标签建立对应关系，构建眼动时域特征提取模型；
[0011]将所述第一样本数据中各样本的时
‑
空特征、所述第二样本数据中各样本的脑电频域特征、所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加，生成脑电与眼动特征向量，并基于前向卷积神经网络模型，将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、第二样本、第三样本中对应的类别标签建立对应关系，完成脑电与眼动特征的分类模型的建立。
[0012]在本公开的一种示例性实施例中，所述方法还包括：
[0013]所述用于解码模型训练的第一样本数据、第二样本数据为脑电样本数据；
[0014]所述用于解码模型训练的第三样本数据为眼动信号样本数据。
[0015]在本公开的一种示例性实施例中，所述方法还包括：
[0016]在提取所述第一样本数据中各样本的时
‑
空特征、提取所述第二样本数据中各样本的脑电频域特征前，基于预设频率的带通滤波器对脑电数据进行滤波处理。
[0017]在本公开的一种示例性实施例中，所述方法还包括：
[0018]将用于解码模型训练的第一样本数据中的各样本数据基于预设数据点数量分解为4个时间窗，基于层次判别分析法，提取所述第一样本数据中各样本的4个时间窗的时
‑
空特征，将所述第一样本数据中各样本的4个时间窗的时
‑
空特征相加生成1*4的时
‑
空特征向量，将所述第一样本数据中各样本的时
‑
空特征向量与第一样本数据中各样本的类别标签建立对应关系，构建脑电时
‑
空特征提取模型。
[0019]在本公开的一种示例性实施例中，所述方法还包括：
[0020]将用于解码模型训练的第二样本数据中的各样本数据基于预设频率区间分解为3个频段，基于共空间模式法，提取所述第二样本数据中各样本的3个频段的脑电频域特征，将所述第二样本数据中各样本的3个频段的脑电频域特征相加生成1*3的脑电频域特征向量，将所述第二样本数据中各样本的脑电频域特征向量与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型。
[0021]在本公开的一种示例性实施例中，所述方法还包括：
[0022]将用于解码模型训练的第三样本数据中的各样本数据基于预设类别标签分解为3个指标数据组别，通过时间滤波器，提取所述第三样本数据中各样本的3个指标数据的时域特征，将所述第三样本数据中各样本的3个指标数据的时域特征相加生成1*3的时域特征向量，将所述第三样本数据中各样本的指标数据的时域特征向量与第三样本数据中各样本的类别标签建立对应关系，构建眼动时域特征提取模型。
[0023]在本公开的一种示例性实施例中，所述方法还包括：
[0024]将所述第一样本数据中各样本的时
‑
空特征、所述第二样本数据中各样本的脑电频域特征、所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加，生成1*10的脑电与眼动特征向量，并基于前向卷积神经网络模型，将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、第二样本、第三样本中对应的类别标签建立
对应关系，完成脑电与眼动特征的分类模型的建立。
[0025]在本公开的一种示例性实施例中，所述方法还包括：
[0026]将第四样本数据分别基于脑电时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脑洞和眼动特征的图像三分类解码方法，其特征在于，所述方法包括：将用于解码模型训练的第一样本数据，基于层次判别分析法，提取所述第一样本数据中各样本的时
‑
空特征，并将所述第一样本数据中各样本的时
‑
空特征与第一样本数据中各样本的类别标签建立对应关系，构建脑电时
‑
空特征提取模型；将用于解码模型训练的第二样本数据，基于共空间模式法，提取所述第二样本数据中各样本的脑电频域特征，并将所述第二样本数据中各样本的脑电频域特征与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型；将用于解码模型训练的第三样本数据，通过时间滤波器，提取所述第三样本数据中各样本的指标数据的时域特征，并将所述第三样本数据中各样本的指标数据的时域特征与第三样本数据中各样本的类别标签建立对应关系，构建眼动时域特征提取模型；将所述第一样本数据中各样本的时
‑
空特征、所述第二样本数据中各样本的脑电频域特征、所述第三样本数据中各样本的指标数据的时域特征对应的特征向量相加，生成脑电与眼动特征向量，并基于前向卷积神经网络模型，将所述脑电与眼动特征向量与所述脑电与眼动特征向量在所述第一样本、第二样本、第三样本中对应的类别标签建立对应关系，完成脑电与眼动特征的分类模型的建立。2.如权利要求1所述的方法，其特征在于，所述方法还包括：所述用于解码模型训练的第一样本数据、第二样本数据为脑电样本数据；所述用于解码模型训练的第三样本数据为眼动信号样本数据。3.如权利要求1所述的方法，其特征在于，所述方法还包括：在提取所述第一样本数据中各样本的时
‑
空特征、提取所述第二样本数据中各样本的脑电频域特征前，基于预设频率的带通滤波器对脑电数据进行滤波处理。4.如权利要求1所述的方法，其特征在于，所述方法还包括：将用于解码模型训练的第一样本数据中的各样本数据基于预设数据点数量分解为4个时间窗，基于层次判别分析法，提取所述第一样本数据中各样本的4个时间窗的时
‑
空特征，将所述第一样本数据中各样本的4个时间窗的时
‑
空特征相加生成1*4的时
‑
空特征向量，将所述第一样本数据中各样本的时
‑
空特征向量与第一样本数据中各样本的类别标签建立对应关系，构建脑电时
‑
空特征提取模型。5.如权利要求1所述的方法，其特征在于，所述方法还包括：将用于解码模型训练的第二样本数据中的各样本数据基于预设频率区间分解为3个频段，基于共空间模式法，提取所述第二样本数据中各样本的3个频段的脑电频域特征，将所述第二样本数据中各样本的3个频段的脑电频域特征相加生成1*3的脑电频域特征向量，将所述第二样本数据中各样本的脑电频域特征向量与第二样本数据中各样本的类别标签建立对应关系，构建脑电频域特征提取模型。6.如权利要求1所述的方法，其特征在于，所述方法还包括：将用于解码模型训练的第三样本数据中的各样本数据基于预设类别标签分解为3个指标数据组别，通过时间滤波器，提取所述第三样本数据中各样本的3个指标数据的时域特征，将所述第三样本数据中各样本的3个指标数据的时域特征相加生成1*3的时域特征向量，将所述第三...

【专利技术属性】
技术研发人员：陈远方，代峥，魏小倩，范新安，奕伟波，刘昊，张利剑，
申请(专利权)人：北京机械设备研究所，
类型：发明
国别省市：