【技术实现步骤摘要】
本专利技术属于计算机视觉，尤其涉及超图、利用事件相机输出的事件数据进行步态识别的方法，具体为一种基于超图模型的事件相机步态识别方法。
技术介绍
1、步态识别是计算机视觉中一个重要的课题，其是指通过行人步态运动的方式进行身份的辨别。因其具有难以伪装性和非接触性，在银行、机场、地铁等公共场所的安全监控中具有得天独厚的优势。基于卷积神经网络(cnns)的方法在这个领域表现出了优异的性能，大多数的方法都依赖于传统的帧图像(rgb图像或灰度图像)来完成步态识别，但是基于帧图像的步态识别算法在恶劣的条件下(例如，低光照，快速运动情况等)识别效果会急剧下降。
2、事件相机是一种新颖的仿生视觉传感器，其异步捕捉场景中的光强度变化进而输出事件。因此，它提供非常高的时间分辨率(高达1mhz)，且功耗非常小。由于光强变化是在对数尺度中计算，因此其能够在非常高的动态范围下进行工作(140db)。当对数尺度的像素光强变化高于或低于阈值时，事件相机触发形成“on”和“off”事件。目前大多数处理事件数据的方法首先将事件数据累积堆叠成帧图像，然后使用cnn进行处理。然而，基于事件帧图像的表示方法堆叠时间窗口内的事件流，在提取事件数据空间信息时未完全捕捉事件流的时序信息和全局信息，而事件流的时空信息和全局信息对于基于事件流的步态识别是非常关键的，因此为充分挖掘事件流的全局信息和事件点之间的高阶相关性，例如事件流内含的时空关系以及运动关系等，本专利技术基于超图模型处理事件流数据，用于提取步态识别的关键特征，为提高基于事件相机的步态识别精度提供了可能。
3、(1)基于卷积神经网络的步态识别
4、一种经典的基于轮廓的步态识别方法是基于背景减法提取轮廓，对步态的结构和转移特征进行建模。han等人(individual recognition using gait energy image)进一步改进了基于轮廓的方法，从步态模板中提取了尺度不变特征，虽然模板和特征的方法得到了广泛的研究，但设计良好的特征表示仍然是困难的任务。amir等人(a low power,fully event-based gesture recognition system)将事件数据的切片作为步态识别的运动特征图，并结合运动边界直方图，探讨了基于事件帧图像处理的方法应用于步态识别的可行性。park等人(computationally efficient,real-time motion recognition basedon bio-inspired visual and cognitive processing)使用浅层神经网络提取空间金字塔核特征来进行基于事件相机的步态识别任务。
5、(2)基于图神经网络的步态识别
6、bin等人(graph-based spatio-temporal feature learning for neuromorphicvision sensing)首次引入基于图的事件流表示来解决步态识别问题，从短时间间隔内的事件流构建二维图结构，并采用图卷积网络进行特征提取来完成任务。后续有研究人员从离散的事件流切片中产生一系列二维图，利用图卷积从中来提取空间特征，并使用三维卷积神经网络从图网络中提取时间特征。zhang等人(event-stream representation forhuman gaits identification using deep neural networks)提出了基于三维图的事件流表示方法，并基于三维图卷积网络提取特征，以实现基于事件的步态识别。但是基于图的事件流表示方法未能充分挖掘事件数据的时空关系及全局信息，这对于提高步态识别任务的识别精度是非常重要的。
技术实现思路
1、为解决上述问题，本专利技术提供一种基于超图模型的事件相机步态识别方法。该方法能够从嘈杂的事件流中挖掘事件数据的时空关系和全局信息来构建具有高阶相关性的超图，并以此为输入设计融合超图卷积、注意力机制和注意力机制的超图神经网络提取用于步态识别的特征，从而实现根据步态精确地推断出身份。
2、本专利技术的技术方案：
3、一种基于超图模型的事件相机步态识别方法，在给定恶劣条件下的步态识别场景，利用事件相机捕捉的行人步态异步离散事件流，步骤如下：
4、(1)在保留原始步态事件流结构的前提下，对原始的步态事件流序列进行降采样处理，将处理后的每个事件点(xi,yi,ti)视为超图的一个节点，该节点包含步态事件数据的时空信息，利用knn方法寻找每个节点的最近k个节点组成一条超边，遍历所有节点，构建成步态事件流序列对应的超图；
5、具体步骤如下：
6、基于步态事件数据的超图构建
7、事件数据ε用以下公式进行表达：
8、
9、其中，(xi,yi)是事件的像素坐标，ti是事件的时间戳，pi＝±1是事件的极性，i表示事件数据中的第i个事件点；将(xi,yi,ti)视为事件点的三维坐标，pi为每个事件点的节点特征；
10、超图数据的主要元素有两个：节点和超边；将降采样后的事件点的节点特征看作超图中的节点，以此构造节点之间的超边；给定超图中的节点特征表示f＝f1,f2,…,fn，其中fi表示某样本中第i个事件点的特征，根据两个特征之间的距离构建超图；以顶点v表示超图中的样本事件点，超边e表示包含灵活数量事件点的集合，超图公式化为h＝{v,e}，其中表示超图中n个节点集合，表示超图中的m条超边集合；超图的顶点集和超边集定义如下：
11、con(e)＝{v1,v2,…,vn}(2)
12、adj(v)＝{e1,e2,…,em}(3)
13、其中，con(e)表示超边e的顶点集，adj(v)表示包含顶点v的所有超边组成的超边集，n和m是超边e中的顶点数和包含顶点v的超边数；计算两个顶点vi＝(xi,yi,ti,pi)和vj＝(xj,yj,tj,pj)欧氏距离，如果两个顶点在时空距离r内，即d(vi,vj)≤r，则生成对应的边，否则两个节点之间不存在边；欧氏距离表示如下：
14、
15、其中，表示节点vi的第k个特征；
16、(2)针对步骤1)中生成的包含步态事件数据时空信息的超图，构建出一个融合超图卷积、注意力机制和残差模块的超图神经网络模型，基于超图神经网络模型挖掘步态事件数据的特征，包括步态事件数据的自身属性和时空特征；
17、具体步骤如下：
18、基于超图神经网络模型的步态识别
19、提出一个融合超图卷积、注意力机制和残差模块的超图神经网络模型；
20、1)超图卷积
21、超图结构中定义卷积操作的关键是衡量两个顶点之间的转移概率，通过转移概率在图神经网络中传播每个顶点的嵌入特征；超图卷积的概率转移被如下定义：
22、
23、其中，表本文档来自技高网...
【技术保护点】
1.一种基于超图模型的事件相机步态识别方法，其特征在于，在给定恶劣条件下的步态识别场景，利用事件相机捕捉的行人步态异步离散事件流，步骤如下：
2.根据权利要求1所述的事件相机步态识别方法，其特征在于，具体步骤如下：
3.根据权利要求1所述的基于超图模型的事件相机步态识别方法，其特征在于，所述的恶劣条件为低光照、快速运动。
【技术特征摘要】
1.一种基于超图模型的事件相机步态识别方法，其特征在于，在给定恶劣条件下的步态识别场景，利用事件相机捕捉的行人步态异步离散事件流，步骤如下：
2.根据权利要求1所...
【专利技术属性】
技术研发人员：杨鑫，张强，于男男，王超毅，魏小鹏，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。