面向遥感图像目标检测的脑电与眼动融合方法及装置制造方法及图纸

本发明专利技术提供一种面向遥感图像目标检测的脑电与眼动融合方法及装置。该方法包括：步骤1.同步采集被试在注视遥感图像时的眼动数据和脑电数据；步骤2.分别对所述眼动数据和脑电数据进行预处理；步骤3.根据预处理后的眼动数据，确定注视区域内的注视点特征样本集和瞳孔特征样本集；步骤4.根据预处理后的脑电数据，确定注视相关电位时空特征样本集和脑电频率特征样本集；步骤5.采用AdaBoost算法对所述注视点特征样本集、瞳孔特征样本集、注视相关电位时空特征样本集和脑电频率特征样本集中各特征进行分类，根据分类决策结果对所述各特征进行融合。本发明专利技术通过融合多模神经特征提高了遥感图像目标检测的准确率和稳定性。

EEG and Eye Movement Fusion Method and Device for Target Detection in Remote Sensing Images

The invention provides an electroencephalogram and eye movement fusion method and device for remote sensing image target detection. The method includes: step 1. synchronous acquisition of eye movement data and electroencephalogram data when subjects are gazing at remote sensing images; step 2. preprocessing the eye movement data and electroencephalogram data respectively; step 3. determining the sample set of eye movement characteristics and pupil characteristics in the gaze region based on the preprocessed eye movement data; step 4. determining the gaze phase according to the preprocessed electroencephalogram data The time-space feature sample set of turn-off potential and EEG frequency feature sample set; Step 5. The features of the gaze feature sample set, pupil feature sample set, gaze correlation potential spatio-temporal feature sample set and EEG frequency feature sample set are classified by using AdaBoost algorithm, and the features are fused according to the classification decision results. The method improves the accuracy and stability of remote sensing image target detection by fusing multi-mode neural features.

【技术实现步骤摘要】
面向遥感图像目标检测的脑电与眼动融合方法及装置
本专利技术涉及图像处理
，尤其涉及面向遥感图像目标检测的脑电与眼动融合方法及装置。
技术介绍
遥感图像目标检测旨在对遥感图像中的特定目标进行精确检测与定位，是从遥感图像中获取有用信息的关键技术，对于提升复杂遥感信息情报分析获取能力具有重要意义。遥感图像目标检测是遥感图像信息处理的重要组成部分，军事方面，可用于搜索和检测军事目标，例如机场、港口、军事基地等大型设施的检测，以及飞机、车辆、舰船等具体目标的检测和统计；民用方面，则可应用于气象、农业、地理等诸多行业。近年来，随着人工智能等机器识别算法的快速发展，基于机器智能的遥感图像目标检测技术在高分辨率遥感图像目标识别以及一些特定目标识别上得到了广泛的应用，并且获得了较高的目标检测精度。但这些方法严重依赖于图像信息和特定目标，只能针对特定目标进行训练，并且需要大量的训练样本库及训练时间，可移植性差。一方面，遥感图像的成像会受成像卫星、成像环境、成像条件以及成像物体本身等因素影响，成像卫星的成像条件会影响图像的分辨率，造成图像目标与真实目标形态发生较大变化；云层等外界物体的遮挡会严重降低目标区域的清晰度以及图像目标的完整性；目标的高速运动以及目标自动隐身与反探测能力提高会使目标形态产生极大的扭曲，给图像目标识别带来较大难度。另一方面由于任务本身的需要，对一些不确定目标以及特殊目标，无法事先获取大量的训练样本，难以通过机器视觉进行精确检测。人类视觉相对于机器视觉具备更加强大的认知功能，大脑会对眼睛看到刺激产生特定的神经信号，利用这些信号开发的新型“脑机交互技术”，将融合人类智能和机器智能的特点，能够作为机器视觉遥感图像目标识别的补充手段，通过人本身的经验以及认知能力提高对图像信息的识别率，突破传统基于机器智能的遥感图像目标检测中某些瓶颈问题。相对于传统的人工判别实时性差、人机交互效率低等问题，脑机交互技术的发展将减少人工判别的工作量，提高人机交互的效率。然而，需要指出的是，目前基于遥感图像目标检测技术均未将脑电和眼动信号融合。如何将脑电、眼动等多模神经信号相融合，从而将融合后的脑机交互技术应用于遥感图像目标检测以提高遥感目标检测精度，是非常有意义的。
技术实现思路
为解决现有技术中存在的上述问题，本专利技术提供一种面向遥感图像目标检测的脑电与眼动融合方法及装置。一方面，本专利技术提供一种面向遥感图像目标检测的脑电与眼动融合方法，该方法包括：步骤1.同步采集被试在注视遥感图像时的眼动数据和脑电数据；步骤2.分别对所述眼动数据和脑电数据进行预处理；步骤3.根据预处理后的眼动数据，确定注视区域内的注视点特征样本集和瞳孔特征样本集；步骤4.根据预处理后的脑电数据，确定注视相关电位时空特征样本集和脑电频率特征样本集；步骤5.采用AdaBoost算法对所述注视点特征样本集、瞳孔特征样本集、注视相关电位时空特征样本集和脑电频率特征样本集中各特征进行分类，根据分类决策结果对所述各特征进行融合。进一步地，所述步骤2具体包括：眼动数据预处理包括对眼动数据进行去噪，并重新生成注视区域；脑电数据预处理包括采用低通滤波器对脑电数据进行滤波，在将脑电数据降采样至预设频率后，对脑电数据进行分段得到注视脑电数据和基线脑电数据。进一步地，所述步骤4具体包括：采用全时程波幅分析方法对预处理后的脑电数据进行检测，确定所述脑电数据中的多种注视相关电位成分；分别构建与所述多种注视相关电位成分一一对应的多种xDAWN滤波器，并采用所述多种xDAWN滤波器对所述多种注视相关电位成分进行滤波，得到多个注视相关电位时空特征。进一步地，所述步骤4具体包括：采用短时傅里叶变换以预设频率间隔等间隔获取预设频率范围内的脑电数据的功率谱；根据所述功率谱，计算所述预设频率范围内各频率点处的脑电数据的能量值。另一方面，本专利技术提供一种面向遥感图像目标检测的脑电与眼动融合装置，该装置包括：数据采集模块，用于同步采集被试在注视遥感图像时的眼动数据和脑电数据；预处理模块，用于对所述眼动数据和脑电数据进行预处理；眼动特征提取模块，用于根据预处理后的眼动数据，确定注视区域内的注视点特征样本集和瞳孔特征样本集；脑电特征提取模块，用于根据预处理后的脑电数据，确定注视相关电位时空特征样本集和脑电频率特征样本集；特征融合模块，用于采用AdaBoost算法对所述注视点特征样本集、瞳孔特征样本集、注视相关电位时空特征样本集和脑电频率特征样本集中各特征进行分类，根据分类决策结果对所述各特征进行融合。进一步地，所述预处理模块具体包括：眼动数据预处理子模块，用于对眼动数据进行去噪，并重新生成注视区域；脑电数据预处理子模块，用于采用低通滤波器对脑电数据进行滤波，在将脑电数据降采样至预设频率后，对脑电数据进行分段得到注视脑电数据和基线脑电数据。进一步地，所述脑电特征提取模块具体包括：注视相关电位成分检测子模块，用于采用全时程波幅分析方法对预处理后的脑电数据进行检测，确定所述脑电数据中的多种注视相关电位成分；注视相关电位时空特征确定子模块，用于构建与所述多种注视相关电位成分一一对应的多种xDAWN滤波器，并采用所述多种xDAWN滤波器对所述多种注视相关电位成分进行滤波，得到多个注视相关电位时空特征。进一步地，所述脑电特征提取模块具体还包括：功率谱获取子模块，用于采用短时傅里叶变换以预设频率间隔等间隔获取所述注视脑电数据的功率谱；能量值计算子模块，用于根据所述功率谱，计算所述注视脑电数据在各频率点处的能量值。本专利技术的有益效果：本专利技术提供的面向遥感图像目标检测的脑电与眼动融合方法及装置，通过对自由视觉搜索过程中与视觉信息加工相关的脑电数据和眼动数据分析，针对眼动数据中包含的信息有限、无法准确判断人在注视过程中的认知活动，而脑电数据不能定位人眼注视的感兴趣区域的问题，一方面，利用基于眼动注视信息的感兴趣区域分析技术构建可能含目标的待选区域集合，另一方面，融合与目标识别相关的脑电和眼动多模神经信号特征，从可能含目标的待选区域集合中检测图像目标区域，实现遥感图像目标的识别和定位。并且实验结果表明，本专利技术通过融合多模神经特征提高了遥感图像目标检测的准确率和稳定性。附图说明图1为本专利技术实施例提供的基于模块权能的内核模块隔离方法的流程示意图；图2为本专利技术实施例提供的被试1频率维数与SVM分类准确率的曲线示意图；图3为本专利技术实施例提供的被试2频率维数与SVM分类准确率的曲线示意图；图4为本专利技术实施例提供的所有被试选择频率的频率分布示意图；图5为本专利技术实施例提供的四种特征的检测结果示意图；图6为本专利技术实施例提供的面向遥感图像目标检测的脑电与眼动融合装置的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的面向遥感图像目标检测的脑电与眼动融合方法的流程示意图。如图1所示，该方法包括以下步骤：S101、同步采集被试在注视遥感图像时的眼动数据和脑电数本文档来自技高网...

【技术保护点】
1.面向遥感图像目标检测的脑电与眼动融合方法，其特征在于，包括：步骤1.同步采集被试在注视遥感图像时的眼动数据和脑电数据；步骤2. 分别对所述眼动数据和脑电数据进行预处理；步骤3.根据预处理后的眼动数据，确定注视区域内的注视点特征样本集和瞳孔特征样本集；步骤4.根据预处理后的脑电数据，确定注视相关电位时空特征样本集和脑电频率特征样本集；步骤5.采用AdaBoost算法对所述注视点特征样本集、瞳孔特征样本集、注视相关电位时空特征样本集和脑电频率特征样本集中各特征进行分类，根据分类决策结果对所述各特征进行融合。

【技术特征摘要】
1.面向遥感图像目标检测的脑电与眼动融合方法，其特征在于，包括：步骤1.同步采集被试在注视遥感图像时的眼动数据和脑电数据；步骤2.分别对所述眼动数据和脑电数据进行预处理；步骤3.根据预处理后的眼动数据，确定注视区域内的注视点特征样本集和瞳孔特征样本集；步骤4.根据预处理后的脑电数据，确定注视相关电位时空特征样本集和脑电频率特征样本集；步骤5.采用AdaBoost算法对所述注视点特征样本集、瞳孔特征样本集、注视相关电位时空特征样本集和脑电频率特征样本集中各特征进行分类，根据分类决策结果对所述各特征进行融合。2.根据权利要求1所述的方法，其特征在于，所述步骤2具体包括：眼动数据预处理包括对眼动数据进行去噪，并重新生成注视区域；脑电数据预处理包括采用低通滤波器对脑电数据进行滤波，在将脑电数据降采样至预设频率后，对脑电数据进行分段得到注视脑电数据和基线脑电数据。3.根据权利要求1所述的方法，其特征在于，所述步骤4具体包括：采用全时程波幅分析方法对预处理后的脑电数据进行检测，确定所述脑电数据中的多种注视相关电位成分；分别构建与所述多种注视相关电位成分一一对应的多种xDAWN滤波器，并采用所述多种xDAWN滤波器对所述多种注视相关电位成分进行滤波，得到多个注视相关电位时空特征。4.根据权利要求2所述的方法，其特征在于，所述步骤4具体包括：采用短时傅里叶变换以预设频率间隔等间隔获取所述注视脑电数据的功率谱；根据所述功率谱，计算所述注视脑电数据在各频率点处的能量值。5.面向遥感图像目标检测的脑电与眼动融合装置，其特征在于，包括：数据采集模块，用于同步采集被试在注视...

【专利技术属性】
技术研发人员：曾颖，张驰，王晓娟，宋喜玉，舒君，童莉，闫镔，
申请(专利权)人：中国人民解放军战略支援部队信息工程大学，
类型：发明
国别省市：河南,41