一种基于RSVP范式的脑-机结合目标检测方法及系统技术方案

本发明专利技术涉及一种基于RSVP范式的脑‑机结合目标检测方法及系统，对无人机航拍图进行切割，得到刺激图片，并向被试者连续呈现刺激图片序列，获取被试者的脑电信号，结合FTRL在线算法和HDCA离线算法，提出了一种新型的目标在线识别算法，对被试者的脑电信号进行实时评分，从而实现目标识别。该目标检测方法及系统提高了算法的识别精度，减少了训练的时间，增强了系统的鲁棒性。

【技术实现步骤摘要】
一种基于RSVP范式的脑-机结合目标检测方法及系统
本专利技术涉及目标检测
，特别是涉及一种基于RSVP范式的脑-机结合目标检测方法及系统。
技术介绍
现有的无人机目标检测、搜救系统主要有两种：有信标的目标定位和基于图像的目标定位。某些人员在执行任务过程中佩戴专门研制的单兵信标机，与无人机进行数据传输。相比之下，基于图像的目标定位，应用面更广。而现有的基于图像的目标定位技术所采用的机器视觉相关算法，其目标检测往往需要大量的训练数据，还需要大量调参，才能增强系统对目标的识别能力，且只能检测指定的目标，若加入新的识别目标，还需要重新训练模型。图像的视觉属性对大脑感知影响的研究已成为学者们近年来感兴趣的研究方向。研究者利用图像快速呈现(RapidSeriesVisualPresentation，RSVP)的方法探索视觉属性对于大脑认知机制、行为学特性、神经信息加工的影响，并利用大脑对目标图像的神经响应特性差异，将其应用到了目标检测、人脸识别、字符拼写、医学图像分类等领域。现有的目标图像的筛选方法中，人工方法可以充分利用人脑的认知能力和视觉信息处理能力，目标图像识别准确率高，但其识别效率低。计算机人工智能方法具有庞大的信息存储能力和高速的处理速度，但其判别准确性低，目前只能识别某些低级特征信息大的信息。目前，还没有一种人-机融合的基于RSVP范式的用于无人机航拍图像中进行目标检测的系统及方法。
技术实现思路
本专利技术的目的是提供一种基于RSVP范式的脑-机结合目标检测方法及系统，将基于RSVP范式的脑-机接口运用在实际目标检测场景中，充分利用人脑的强大功能，给目标检测技术带来新的思路和方法。根据非目标图片和目标图片激发的脑电波可分性，结合无人机所拍摄图片之间的相关性，实现了在无人机的航拍图中确定目标准确位置的功能。为实现上述目的，本专利技术提供了如下方案：一种基于RSVP范式的脑-机结合目标检测方法，包括：接收无人机回传的航拍图；采用图片切割算法对所述航拍图进行切割，得到刺激图片，并存储；按存储顺序选取a张所述刺激图片，形成刺激图片序列；其中，a为常数；向被试者连续呈现所述刺激图片序列，获取被试者的脑电信号；利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进行评分，得到识别结果；所述识别结果为目标图片和非目标图片；根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号；利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，并将所述更新后的HDCA算法模型作为下一循环中的所述训练好的HDCA算法模型；利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进行评分，得到所述刺激图片序列的评分结果；所述评分结果中评分值越高表明所对应的所述刺激图片包含目标的概率越大；对剩余所述刺激图片执行步骤“按存储顺序选取a张所述刺激图片，形成刺激图片序列”，直至所述刺激图片的数量为0，选取所有所述评分结果中评分值大于预设的第一阈值的所述刺激图片，并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标。一种基于RSVP范式的脑-机结合目标检测系统，包括：航拍图接收单元，用于接收无人机回传的航拍图；刺激图片生成单元，用于采用图片切割算法对所述航拍图进行切割，得到刺激图片，并存储；刺激图片序列生成单元，用于按存储顺序选取a张所述刺激图片，形成刺激图片序列；其中，a为常数；脑电信号采集单元，用于向被试者连续呈现所述刺激图片序列，获取被试者的脑电信号；脑电信号识别单元，用于利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进行评分，得到识别结果；所述识别结果为目标图片和非目标图片；脑电信号选择单元，用于根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号；算法模型更新单元，用于利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，并将所述更新后的HDCA算法模型作为下一循环中的所述训练好的HDCA算法模型；评分单元，用于利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进行评分，得到所述刺激图片序列的评分结果；所述评分结果中评分值越高表明所对应的所述刺激图片包含目标的概率越大；目标识别单元，用于对剩余所述刺激图片执行步骤“按存储顺序选取a张所述刺激图片，形成刺激图片序列”，直至所述刺激图片的数量为0，选取所有所述评分结果中评分值大于预设的第一阈值的所述刺激图片，并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标。根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：(1)本专利技术提供的基于RSVP范式的脑-机结合目标检测方法及系统，与现有的基于图像的目标定位技术所采用的机器视觉相关算法相比，由于只需要被试者记住目标图片的内容，在多次呈现刺激图片后，分析其对应的脑电信号，以确定目标位置，因此训练简单。检测目标每次都可以随意选取，即可以对任意指定目标进行识别，从而大大增加可检测目标的种类。本专利技术采用异步脑机接口技术，具有实时性好、分辨准确率高、体积小、便携性好、便于操作等优势。(2)本专利技术提供的基于RSVP范式的脑-机结合目标检测方法及系统，在脑电信号离线分类算法HDCA的基础上，考虑到随着实验的进行，被试者对目标的熟悉程度提高，脑电信号的潜伏期可能发生改变，进而提出一种在线算法FTRL，将FTRL运用到HDCA算法的逻辑回归部分，采用在线学习的方式在线训练模型，实时更新模型参数，对每次接收的刺激图片实时评分，从而提高了算法的识别精度，减少了训练的时间，增强了系统的鲁棒性。相比以往在线脑电信号识别算法而言，由于以往在线算法的执行过程为每间隔一定的时间，将已识别信号进行标注，加入训练集，重新训练模型，即模型每隔一段时间更新一次，因此模型更新速度慢，并且每次需要重新训练，效率比较低。而本专利技术提出的在线算法在每次接收到一个在线更新的脑电信号时，均会进行模型更新，因此模型参数更新快，模型能够随着信号的改变做及时调整，识别准确率高。(3)本专利技术提供的基于RSVP范式的脑-机结合目标检测方法及系统，相对于传统的RSVP范式而言，由于传统的RSVP范式只是将图片随机呈现，而本专利技术在设计RSVP图片的呈现顺序时，利用无人机巡航过程中航拍图的相关性，根据上次的评分结果对当前刺激图片序列进行排序和重选，能够降低重复图片的数目，提高识别速度，还能避免视觉瞬脱导致的漏判。(4)本专利技术提供的基于RSVP范式的脑-机结合目标检测方法及系统，由于在RSVP范式中，非目标图片数量会大大超过目标图片，样本不平衡现象严重，会在很大程度上影响模型效果，故本专利技术在线本文档来自技高网...

【技术保护点】
1.一种基于RSVP范式的脑-机结合目标检测方法，其特征在于，包括：/n接收无人机回传的航拍图；/n采用图片切割算法对所述航拍图进行切割，得到刺激图片，并存储；/n按存储顺序选取a张所述刺激图片，形成刺激图片序列；其中，a为常数；/n向被试者连续呈现所述刺激图片序列，获取被试者的脑电信号；/n利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进行评分，得到识别结果；所述识别结果为目标图片和非目标图片；/n根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号；/n利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，并将所述更新后的HDCA算法模型作为下一循环中的所述训练好的HDCA算法模型；/n利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进行评分，得到所述刺激图片序列的评分结果；所述评分结果中评分值越高表明所对应的所述刺激图片包含目标的概率越大；/n对剩余所述刺激图片执行步骤“按存储顺序选取a张所述刺激图片，形成刺激图片序列”，直至所述刺激图片的数量为0，选取所有所述评分结果中评分值大于预设的第一阈值的所述刺激图片，并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标。/n...

【技术特征摘要】
1.一种基于RSVP范式的脑-机结合目标检测方法，其特征在于，包括：
接收无人机回传的航拍图；
采用图片切割算法对所述航拍图进行切割，得到刺激图片，并存储；
按存储顺序选取a张所述刺激图片，形成刺激图片序列；其中，a为常数；
向被试者连续呈现所述刺激图片序列，获取被试者的脑电信号；
利用训练好的HDCA算法模型分别对每张所述刺激图片所对应的所述脑电信号进行评分，得到识别结果；所述识别结果为目标图片和非目标图片；
根据所述识别结果，选取所述刺激图片序列中的部分所述刺激图片所对应的所述脑电信号作为在线更新的脑电信号；
利用所述在线更新的脑电信号和FTRL算法对所述训练好的HDCA算法模型进行在线更新，得到更新后的HDCA算法模型，并将所述更新后的HDCA算法模型作为下一循环中的所述训练好的HDCA算法模型；
利用所述更新后的HDCA算法模型对每张所述刺激图片所对应的所述脑电信号进行评分，得到所述刺激图片序列的评分结果；所述评分结果中评分值越高表明所对应的所述刺激图片包含目标的概率越大；
对剩余所述刺激图片执行步骤“按存储顺序选取a张所述刺激图片，形成刺激图片序列”，直至所述刺激图片的数量为0，选取所有所述评分结果中评分值大于预设的第一阈值的所述刺激图片，并确定所述评分值大于预设的第一阈值的所述刺激图片的经纬度，确定待识别的目标。


2.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，所述采用图片切割算法对所述航拍图进行切割，得到刺激图片具体包括：
采用网格法对所述航拍图进行切割，得到边长为设定长度的正方形的单位网格；每张子图包含四个所述单位网格，且相邻所述子图之间有重叠部分；一张所述子图即为一张刺激图片，得到所述刺激图片。


3.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，所述目标检测方法在形成所述刺激图片序列后，还包括依据上次评分结果对当前刺激图片序列进行位置调整，具体包括：
选取当前刺激图片序列中与上次刺激图片序列相重复的刺激图片，并获取重复刺激图片在上次的评分结果；所述重复刺激图片按照评分值由大到小进行排序；
按照设定删除比例删除所述评分值的排序位于末尾的所述重复刺激图片；
按设定选取比例选取所述评分值的排序位于首部的所述重复刺激图片，并均匀插入所述当前刺激图片序列中，其余所述重复刺激图片则保留原位，形成新的当前刺激图片序列，并向被试者连续呈现所述新的当前刺激图片序列。


4.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，所述刺激图片序列的呈现速度为每秒呈现10张所述刺激图片；所述刺激图片呈现在视野的中心，大小占整个视野的四分之一。


5.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，所述目标检测方法还包括对HDCA算法模型进行预训练，得到训练好的HDCA算法模型，具体包括：
选取原有的目标图片和非目标图片作为训练图片，得到训练图片序列；
向被试者连续呈现所述训练图片序列，得到被试者的脑电信号；
将每张所述训练图片所对应的所述脑电信号等间隔划分为n个时间窗，并将各个导联分别对应的第i个时间窗内的所述脑电信号取平均值，即每张所述训练图片所对应的所述脑电信号为K×n矩阵；其中，K为导联数；i＝1，2，......n；n为常数；
将所有所述训练图片所对应的所述脑电信号输入到FLD算法中，确定第第i个时间窗、第k个导联的投影系数wi,k；其中，k＝1，2，...K；
根据确定每张所述训练图片的第i个时间窗内的一维脑电信号yi；其中，xi,k为第i个时间窗、第k个导联的脑电信号；
将所有所述训练图片所对应的所述一维脑电信号yi输入到LR算法中，确定第i个时间窗的加权系数ci，得到训练好的HDCA算法模型：




其中，IS为评分值。


6.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在于，对所述刺激图片对应的所述脑电信号进行评分具体包括：
将所述刺激图片所对应的所述脑电信号等间隔分为n个时间窗，并将各个导联分别对应的第i个时间窗内的所述脑电信号取平均值，即所述刺激图片所对应的所述脑电信号为K×n矩阵；其中，K为导联数；i＝1，2，......n；n为常数；
根据确定所述刺激图片的第i个时间窗内的一维脑电信号yi；其中，k＝1，2，...K；wi,k为第i个时间窗、第k个导联的投影系数；xi,k为第i个时间窗、第k个导联的脑电信号；
根据确定所述刺激图片的评分值IS；其中，ci为第i个时间窗的加权系数。


7.如权利要求1所述的基于RSVP范式的脑-机结合目标检测方法，其特征在...

【专利技术属性】
技术研发人员：张洪欣，张舒玲，杨晨，叶晓晨，袁超，赵玉雪，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11