【技术实现步骤摘要】
一种基于脑
‑
机信号融合的目标检测方法
[0001]本专利技术涉及脑
‑
机接口技术与目标检测
,具体是一种基于脑
‑
机信号融合的目标检测方法。
技术介绍
[0002]自动目标检测是智能监控系统中的一项重要研究。近年来,基于计算机视觉的目标检测方法和基于事件相关电位(ERP)的目标检测方法在目标检测任务中取得了许多重要成就。然而,由于无人机航拍图像中的背景复杂,目标难以发现且具有先验信息模糊和不完整的特点,计算机视觉在该领域的检测精度和检测效率有待提升,因而限制了计算机视觉技术在该领域的应用。
[0003]较之于计算机,基于事件相关电位(ERP)的目标检测方法具有处理复杂以及不可预料场景的能力,能够有效识别部分难以检测的目标。然而,由于复杂场景下的目标较难发现,基于脑电的单模态目标检测方法易受到环境噪声干扰,信噪比较低,在实际场景下仅依靠脑电数据难以实现鲁棒精确的目标检测性能。
[0004]因此,通过结合计算机视觉强大的信息处理能力以及人脑对复杂情况和敏感信息的认知能力,有望解决从海量无人机航拍图像中快速、准确的进行目标检测的难题。但现有的结合计算机视觉和人类视觉的目标检测技术还处于探索阶段,在无人机航拍图像目标检测领域的相关研究较少。
技术实现思路
[0005]基于此,有必要针对上述技术问题,提出一种基于脑
‑
机信号融合的目标检测方法,通过融合脑电特征和图像特征进行目标检测,能够有效拓宽输入数据包含信息的覆盖 ...
【技术保护点】
【技术特征摘要】
1.一种基于脑
‑
机信号融合的目标检测方法,其特征在于,包括如下步骤:步骤1,构建样本集,所述样本集包括若干带标签的图像数据与脑电数据,且所述图像数据与所述脑电数据一一对应;步骤2,构建基于多头注意力机制和跨模态知识蒸馏的脑
‑
机信号融合模型;步骤3,基于所述样本集训练所述脑
‑
机信号融合模型,得到训练后的脑
‑
机信号融合模型;步骤4,将待测的脑电数据和图像数据同时输入训练后的脑
‑
机信号融合模型,通过对输入的脑电数据和图像数据进行特征提取、特征融合和特征分类,得到目标检测结果。2.根据权利要求1所述的基于脑
‑
机信号融合的目标检测方法,其特征在于,步骤1中,所述构建样本集的过程为:拍摄若干带有目标的目标图像以及若干无目标的非目标图像,并将各所述目标图像与所述非目标图像作为图像数据保存至所述样本集;将所述样本集中的所有图像数据随机排列,组成图像数据序列;通过RSVP实验范式向被试播放所述图像数据序列,并记录被试看到所述图像数据序列产生的脑电数据序列;对所述脑电数据序列预处理后,基于所述图像数据序列中各图像数据的播放时间对所述脑电数据序列进行分段,得到与各所述图像数据一一对应的脑电数据,并保存至所述样本集。3.根据权利要求2所述的基于脑
‑
机信号融合的目标检测方法,其特征在于,所述对所述脑电数据序列预处理,具体为:对所述脑电数据序列进行重参考、带通滤波、降采样操作,去除所述脑电数据序列中的高频噪声和低频漂移,并降低所述脑电数据序列的采样频率,以提高后续计算速度。4.根据权利要求1所述的基于脑
‑
机信号融合的目标检测方法,其特征在于,步骤2中,所述脑
‑
机信号融合模型包括:基于MCGRAM的脑电数据处理模块,用于利用频域、空域和时序特征编码模块提取脑电数据的频
‑
空
‑
时特征并得到对应分类结果;基于EfficientNet的图像数据处理模块,用于提取图像数据的图像特征;基于多头注意力机制和跨模态知识蒸馏的多模态特征融合模块,用于将脑电数据和图像数据中的有效特征进一步融合,实现最终高泛化、强鲁棒、高精度的目标识别。5.根据权利要求4所述的基于脑
‑
机信号融合的目标检测方法,其特征在于,所述脑电数据处理模块的工作过程为:对脑电数据Q进行时序滑窗处理,得到n个脑电数据片段Q
i
;对于每个脑电数据片段Q
i
,提取不同尺度变换下的频率特征并进行特征拼接,再对变换中相同尺度的不同卷积核提取的频率信息进行融合,得到每个脑电数据片段的频域特征B
i
;将频域特征B
i
上的通道特征与节点连接图G中通道节点一一对应,得到每个脑电数据片段的图表征Z
i
,其中,节点连接图G根据脑电数据采集时的脑电帽中电极的物理相邻关系设计得到;对图表征Z
i
中的脑电节点特征依次进行特征传播、线性变换和归一化,获得图表征Z
i
中
所有脑电节点的...
【专利技术属性】
技术研发人员:唐邓清,相晓嘉,李子杏,兰珍,周晗,赖俊,闫超,黄依新,杨帆,
申请(专利权)人:中国人民解放军国防科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。