一种自适应脑机信息融合分类方法及系统技术方案

本发明专利技术属于脑机接口技术应用技术领域，公开了一种自适应脑机信息融合分类方法及系统，所述自适应脑机信息融合分类方法包括：分别提取大脑响应特征与刺激图像特征；分别训练线性SVM，计算每一个特征的分类灵敏度指标，作为特征可靠性标签；利用特征可靠性标签，分别建立大脑响应和刺激图像的特征可靠性预测模型；根据可靠性标签加权级联大脑响应与图像特征，构建融合特征集；在融合特征集上建立线性SVM分类模型，使用线性SVM分类模型对输入的融合特征进行分类。本发明专利技术能够有效评估大脑响应特征和图像特征的可靠性，自适应融合大脑响应和图像特征，降低因特征可靠性引起的融合负增益的风险，有效提高图像分类任务的性能。有效提高图像分类任务的性能。有效提高图像分类任务的性能。

【技术实现步骤摘要】
一种自适应脑机信息融合分类方法及系统


[0001]本专利技术属于脑机接口技术应用
，尤其涉及一种自适应脑机信息融合分类方法及系统。

技术介绍

[0002]近年来，以深度学习为代表的人工智能技术快速发展，在图像分类任务上的性能已经超越人类。尽管深度学习技术的发展深受人类及其他灵长类动物大脑视觉处理机制的影响，两者具有一定程度的相似性，但是现有技术仅模拟了大脑腹侧视觉通路的前馈机制，导致目前的深度学习系统容易受到目标姿态、外部环境、对抗样本等因素的影响而急剧下降，还远未达到类人的强泛化能力。在许多开放的军事应用环境下，基于视觉识别专家的人工判读仍然是主要的图像分析与决策方式，但是人工判读难以满足长时间、高强度、实时性的工作需求。基于脑机接口技术的脑机混合智能计算方法协同处理大脑响应信息与图像表征信息，实现不同来源的信息交互，融合各自所长，为复杂开放环境下的图像分类任务提供了新的处理范式。
[0003]目前，业内用于脑机信息融合分类的技术主要有三类，现有技术一：基于大脑响应表征空间的图像分类技术；现有技术二：基于信息融合的图像分类技术；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应脑机信息融合分类方法，其特征在于，所述自适应脑机信息融合分类方法，包括训练与推理两个阶段；其中，所述训练阶段，包括：在配对的大脑响应和刺激图像数据集上，分别提取大脑响应和刺激图像特征集；针对大脑响应和刺激图像特征集，分别训练线性SVM，计算每一个特征的分类灵敏度指标，作为特征可靠性标签；根据特征可靠性标签，分别训练大脑响应和刺激图像的特征可靠性预测模型；根据特征可靠性标签加权级联大脑响应特征与图像特征构成融合特征集，并在融合特征集上训练线性SVM模型进行分类；所述推理阶段，包括：选取配对的大脑响应和刺激图像，分别提取对应的大脑响应特征和刺激图像特征；将大脑响应特征和图像特征分别输入对应的特征可靠性预测模型，估计特征的可靠性值；根据预测到的特征可靠性值加权级联大脑响应特征与图像特征，并将融合特征输入线性SVM模型输出分类结果。2.如权利要求1所述的自适应脑机信息融合分类方法，其特征在于，所述自适应脑机信息融合分类方法包括以下步骤：步骤一、训练阶段：(1)在配对的大脑响应与刺激图像数据集上，分别提取大脑响应特征集和刺激图像特征集；(2)在提取到的大脑响应与刺激图像特征集上，分别训练线性SVM，计算每一个特征的分类灵敏度指标，作为特征的可靠性标签；(3)以特征可靠性标签作为监督信息，分别在大脑响应和图像特征集各上训练一个特征可靠性预测模型；(4)以特征可靠性标签作为权值，加权级联大脑响应特征与图像特征，构成融合特征集；(5)将融合特征集作为输入，训练线性SVM模型实现分类；步骤二、推理阶段：(1)在配对的大脑响应与刺激图像测试数据集上，分别提取大脑响应特征集和刺激图像特征集；(2)将提取到的大脑响应特征与特征分别输入到对应的特征可靠性预测模型，估计大脑响应特征和图像特征的可靠性；(3)根据预测的特征可靠性值，加权级联大脑响应特征与图像特征，获取融合特征；(4)将融合特征输入线性SVM模型，输出融合特征的分类结果。3.如权利要求2所述自适应脑机信息融合分类方法，其特征在于，步骤一中，所述步骤(1)中在配对的大脑响应与刺激图像数据集上，分别提取大脑响应特征集和刺激图像特征集，包括：(1)大脑响应特征集的提取：1)加载大脑响应数据集，将同一刺激图像多次呈现时捕获的大脑响应求平均值；2)选择下颞叶区域IT放置的电极，提取出对应电极的大脑响应信号；3)在每一个电极的大脑响应信号上，沿时间维度求均值，去除时间维度的影响；4)将处理后的大脑响应翻转为1*168维特征，作为刺激图像在IT区域每一个电极上的平均大脑响应特征；
(2)图像特征集的提取：1)利用PyTorch深度学习框架加载ResNet34模型，去除网络的全连接层，并设置模型参数“pretrained＝True”，加载ImageNet预训练模型参数；2)加载刺激图像数据集，将刺激图像输入预训练的ResNet34模型，获取卷积层的输出特征，输出图像特征的维度为512；3)将步骤2)提取到的图像特征集，输入主成分分析模型，设置模型输出参数“n_components＝168”，将图像特征降维到与大脑响应特征相同的168维。4.如权利要求2所述自适应脑机信息融合分类方法，其特征在于，步骤一中，所述步骤(2)中在提取到的大脑响应与刺激图像特征集上，分别训练线性SVM并计算特征灵敏度指标，包括：(1)将提取到的大脑响应特征集按1∶1的比例随机划分为训练集和测试集；(2)将大脑响应的类别两两组合，依次提取训练集中对应两个类别的大脑响应特征，并输入线性SVM训练这两个类别的二分类器，保存模型参数，直至训练完成所有类别组合的二分类器；(3)对于测试集中的每一个大脑响应特征f，依次加载与其类别i相关的二分类器模型参数w(i，j)，输入f，记录f到二分类器w(i，j)决策边界的距离d，以及f在二分类器w(i，j)上对于其他类别j的二分类结果分类正确为1，分类错误为0；对于每一个二分类器w(i，j)，统计测试集中i，j两类大脑响应特征f的决策距离d，取极大值为d
max
，极小值为d
min
，计算f的分类置信度C，其中C＝(d
‑
d
min
)/(d
max
‑
d
min
)；(4)交换训练集与测试集，重复步骤(2)和步骤(3)，完成一次交叉验证的过程，获取到大脑响应特征集中所有特征f的所有二分类结果和分类置信度C；(5)根据以下公式计算每一个大脑响应特征f的分类真阳率(5)根据以下公式计算每一个大脑响应特征f的分类真阳率其中，N表示特征的类别总数；计算第i类大脑响应特征的平均假阳率FPR
i
：其中，mean表示求均值；(6)重复10次步骤(2)～步骤(6)，完成十次二折交叉验证，计算每一个大脑响应特征f的平均以及第i类大脑响应特征的平均假阳率(7)根据步骤(6)中计算的大脑...

【专利技术属性】
技术研发人员：任胜寒，闫健璞，梁继民，郭开泰，胡海虹，郑洋，王梓宇，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：