基于事件相关电位的行人重识别视频流复杂目标检测方法技术

本发明专利技术公开了基于事件相关电位的行人重识别视频流复杂目标检测方法

【技术实现步骤摘要】
基于事件相关电位的行人重识别视频流复杂目标检测方法


[0001]本专利技术属于脑机协同
，涉及行人重识别目标检测方法，具体涉及一种基于事件相关电位的行人重识别视频流复杂目标检测方法
。

技术介绍

[0002]近年来，随着监控摄像头的兴起与广泛应用，城市中每天都会产生大量的监控视频，以辅助城市的运行和市政管理
。
在图像大小相同的视频流中，包含信息更多信息的视频帧的数据量也更大，这增加了机器的计算量和时间
。
视频流的复杂目标识别在智慧城市
、
军事安全等领域有着广泛的迫切需求
。
复杂对象识别是在场景中除了待识别目标以外还具有其他干扰因素，同时目标出现的形式不确定并具有伪装的识别任务
。
复杂对象的特征表达存在稀疏性和不确定性，甚至存在一定的缺失
。
因此，如何针对这些海量的视频中隐藏的复杂信息进行处理和有效提取，是需要研究的一个关键课题
。
[0003]人脑具有自动联想
、
推导和内在抽象的能力，能够快速
、
准确地识别目标，与视频帧图像相比，脑电信号的数据量相对较小，但其耦合信息量更大
。
同时脑机接口已被证实可以用于扩展瘫痪等疾病患者的运动能力，以及军事目标识别等不同场景，例如从大量图像中找到目标图像或识别情感
。
[0004]脑电信号
(Electroencephalogram,EEG)
具有高时间分辨率<br/>、
低成本和便携性等优点，是脑机接口
(brain
‑
computer interface,BCI)
中最常用的神经成像技术之一
。P300
是发生在大脑认知过程中的事件相关电位
(event
‑
related potential,ERP)
，主要与期望
、
动机
、
唤醒
、
注意等心理因素有关
。Sutton
等发现小概率相关事件刺激人脑时，脑电信号中会出现一个潜伏期为
300ms
的正峰值，命名为
P300。
在基于
P300
的脑机接口系统中，最经典的应用是通过定向刺激来拼写字符
。P300
作为
ERP
的基本特征，在脑电信号研究中有着广泛的应用，特别是在快速串行视觉呈现
(RSVP)
实验中
。
目前脑电目标检测主要针对静止图像的快速视觉呈现
(RSVP)
和刺激与癫痫标记同步实验，基于视频流的短视觉表示范式还很少
。
视频范式中目标可以在任何时间出现，但是缺乏精确的目标出现时间，同时由于检测时间抖动的延迟，无法在后期有效地进行数据提取和处理，使得传统的图像目标检测方法不能直接应用于视频流目标检测任务中
。
[0005]此外，由于
P300
是一个由小概率事件引发的一个脑电
ERP
特征，所以在实验的过程中，目标出现的概率较低，导致数据采集的过程中，正样本与负样本的比例失衡，存在样本数量不均衡的问题
。
同时，由于
P300
的特性，在视频范式中会导致目标刚出现时
P300
特性的消失，使得在目标出现的视频后期无法将
P300
作为目标是否出现的依据，需要找出其他的特征来作为判断依据
。
学习脑电特征中潜在的不变量仍然具有很大的挑战
。

技术实现思路

[0006]针对现有技术的不足，本专利技术提出了一种基于事件相关电位的行人重识别视频流复杂目标检测方法，利用另一个可靠的事件相关电位辅助识别视频流中复杂目标的出现与
消失，解决类不平衡问题，同时提高目标识别的准确度
。
[0007]基于事件相关电位的行人重识别视频流复杂目标检测方法，具体包括以下步骤：
[0008]步骤
1、
实验素材采集
[0009]在同一个地点以不同角度拍摄多个时长相等的视频流作为实验范式，部分实验范式中无待识别的复杂目标出现
。
其余实验范式中，待识别的复杂目标出现的时长相同，其余条件各不相同
。
[0010]步骤
2、
脑电数据采集
[0011]采用脑机接口
(BCI)
中的快速序列视觉呈现
(RSVP)
范式，采集被试观看步骤1采集的实验范式时的脑电数据
。
[0012]步骤
3、
数据预处理和脑电分析
[0013]针对步骤2采集的脑电，进行滤波和独立成分分析，去除与主成分无关的明显噪声信号，然后进行脑电地形图分析，标记
ERP
特征，包括
P300
和
P300
‑
D。
所述
P300
‑
D
是指目标消失后持续
300ms
的正峰值
。
[0014]步骤
4、
样本配对
[0015]针对步骤3处理后的脑电数据，分别截取无目标
、
目标出现
、
目标消失时的脑电数据，得到无目标样本
、
目标出现样本和目标消失样本三类样本
。
然后将样本两两组合，其中同类别样本两两组合形成3种正样本对，不同类样本两两组合形成3种负样本对
。
[0016]步骤
5、
特征提取
[0017]首先将样本输入
ECANet
中，提取时间注意力权重与空间注意力权重，对样本进行校准
。
然后将校准后的样本输入多个结构相同的
ECANet
中，重复校准操作，最后对多个
ECANet
输出的特征进行融合，得到样本的特征向量
。
[0018]步骤
6、
对比学习
[0019]将步骤5得到的样本的特征向量映射到低纬度的向量空间中，计算一个样本对内两个样本的特征向量在同一个向量空间上的距离，使用
circle loss
进行反向传播，更新模型参数，使正样本对中两个样本的距离更近，而负样本对中两个样本的距离更远
。
[0020]步骤
7、
视频流复杂目标检测
[0021]采集观察视频流时的脑电信号，输入步骤6训练后的模型中，检测复杂目标是否出现，以及出现和消失的时间
。
[0022]本专利技术具有以下有益效果：
[0023]本方法在复杂目标的检测中使用一个在目标消失后持续
300ms
的正峰值作为辅助
P300...

【技术保护点】

【技术特征摘要】
1.
基于事件相关电位的行人重识别视频流复杂目标检测方法，在同一个地点以不同角度拍摄多个时长相等的视频流作为实验范式，设置部分实验范式中无待识别的复杂目标出现，另一部分实验范式中待识别的复杂目标出现的时长相同；其特征在于：还包括以下步骤：步骤
1、
使用脑机接口中的快速序列视觉呈现实验范式，采集被试观看所述实验范式时的脑电数据；步骤
2、
对步骤1采集的脑电数据进行滤波和独立成分分析，然后标记
ERP
特征，包括
P300
和
P300
‑
D
；所述
P300
‑
D
是指目标消失后持续
300ms
的正峰值；步骤
3、
对步骤2处理标记后的脑电数据，分别截取无目标
、
目标出现
、
目标消失时的信号，得到无目标样本
、
目标出现样本和目标消失样本三类样本；然后将同类别样本两两组合形成正样本对，不同类样本两两组合形成负样本对；步骤
4、
首先将样本输入一个
ECANet
中，提取时间注意力权重与空间注意力权重，对样本进行校准；然后将校准后的样本输入多个结构相同的
ECANet
中，重复校准操作，最后对多个
ECANet
输出的特征进行融合，得到样本的特征向量；步骤
5、
计算一个样本对内两个样本的特征向量在同一个向量空间上的距离，使用
circle loss
进行反向传播，更新模型参数；步骤
6、
采集被试观察视频流时的脑电信号，输入步骤5训练后的模型中，检测复杂目标是否出现，以及出现和消失的时间
。2.
如权利要求1所述基于事件相关电位的行人重识别视频流复杂目标检测方法，其特征在于：在同一个地点以不同角度拍摄多个视频流，部分视频流中无待识别的复杂目标出现；在其余视频流中，待识别的复杂目标出现的时长均为
4s
，而复杂目标的位置
、
出现时间点
、
消失时间则各不相同，复杂目标穿着的衣服
、
使用的交通工具等也会随机变化；对拍摄的视频流进行剪辑，使时长均为
10s
，且目标出现的时间点为视频的第
1s、
第
2s、
第
3s、
第
4s
或第
5s
，并对应在视频的第
5s、
第
6s、
第
7s、...

【专利技术属性】
技术研发人员：孔万增，洪晨益，朱佳斌，马龙杰，朱莉，张建海，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：