基于动态视觉传感器的步态身份识别方法及系统技术方案

本发明专利技术提供了一种基于动态视觉传感器的步态身份识别方法及系统，包括：步骤S1：基于标注身份的步态序列图以及相应的步态特征构建训练集；步骤S2：基于构建的训练集对步态识别网络模型进行训练，得到训练后的步态识别网络模型；步骤S3：通过动态视觉传感器采集待分析数据并对采集到的待分析数据进行预处理，得到预处理后的待分析数据；步骤S4：基于预处理后的待分析数据得到待分析数据相对应的步态序列图；步骤S5：待分析数据相对应的步态序列图通过训练后的步态识别网络模型提取相应的步态特征；步骤S6：提取的步态特征基于建立的步态样本库进行匹配实现身份识别。态样本库进行匹配实现身份识别。态样本库进行匹配实现身份识别。

Gait identification method and system based on dynamic vision sensor

【技术实现步骤摘要】
基于动态视觉传感器的步态身份识别方法及系统


[0001]本专利技术涉及计算机视觉领域，具体地，涉及基于动态视觉传感器的步态身份识别方法及系统。

技术介绍

[0002]随着深度学习的快速发展，生物特征识别技术在各个领域得到了大量的普及与应用。以人脸识别为代表的生物识别技术大大简化了身份识别的流程，催生了诸如人脸解锁、刷脸支付等应用。但是，诸如人脸、指纹、虹膜等生物特征均需要待测对象配合才能进行识别，限制了其在一些场景下的应用。步态是人在行走中的姿态特征，易于捕捉同时难以伪造，以其为基础的步态识别以有着非接触、远距离、无需配合的特征，是唯一能够在无感知非受控情况下远程进行身份识别的生物识别方法，有着广泛的应用前景。
[0003]动态视觉传感器是一种新型的类视网膜的视觉传感器。在动态视觉传感器中，每个像素点通过产生异步的事件独立地对亮度变化进行响应和编码，其产生的事件流消除了传统摄像机输出的连续重复图像中的冗余，所以它的带宽远远低于标准视频的带宽；而且它具有极高的时间分辨率，可以捕获到超快速运动；另外，它具有非常高的动态范围，即在白天和黑夜都可以很好地工作。所以，动态视觉传感器适合被应用在监控系统中。
[0004]时空图卷积网络(ST
‑
GCN)在行为识别任务中被提出，用于处理骨骼序列并提取特征。相对于传统的图卷积网络，其针对于人体骨骼序列进行了针对性的卷积操作设计，借鉴了残差网络搭建了网络结构，对于人体动作特征有着极高的建模能力。
[0005]专利文献CN107403154B(申请号：201710596920.8)公开了一种基于动态视觉传感器的步态识别方法。其使用动态视觉传感器采集行人步态事件流，将其分割并编码为脉冲流，训练一个脉冲神经网络进行步态识别，并输出固定类别的身份。与该方法相比，我们的方法选择将事件流处理后提取步态骨骼序列，使用了基于时空图卷积设计的网络提取特征，并且使用特征匹配而非输出固定类别的方法进行识别。
[0006]专利文献CN112949440A(申请号：202110198651.6)公开了一种提取行人的步态特征的方法、步态识别方法及系统该方法同样使用动态视觉传感器作为数据源，其将事件流处理为姿态轮廓图序列并使用卷积神经网络进行特征提取，进行身份识别。与该方法相比，我们的方法选择将事件流处理为步态骨骼序列，并且使用基于时空图卷积设计的网络结构对骨骼序列图进行特征提取。
[0007]专利文献CN112989889A(申请号：201911302215.8)公开了一种基于姿态指导的步态识别方法，其包括：步骤1：进行步态数据的采集以及预处理；步骤2：提取静态外观信息和姿态信息进行模型训练；步骤3：利用训练好的模型进行身份的识别与认证。
[0008]针对于此前工作与现有方法中存在的问题，我们提出了一个新的基于动态视觉传感器的步态身份识别方法。本专利技术采用动态视觉传感器作为数据源，能在高动态范围下采集到低带宽的数据；为了使模型能够更有效地提取步态特征，有别于此前方法，我们采用了步态骨骼图作为模型输入，并且基于时空卷积网络设计了特征提取网络；同时，为了从DVS
数据中得到步态骨骼图，我们首次提出了对事件流数据进行处理并提取得到骨骼序列的方法流程。

技术实现思路

[0009]针对现有技术中的缺陷，本专利技术的目的是提供一种基于动态视觉传感器的步态身份识别方法及系统。
[0010]根据本专利技术提供的一种基于动态视觉传感器的步态身份识别方法，包括：
[0011]步骤S1：基于标注身份的步态序列图以及相应的步态特征构建训练集；
[0012]步骤S2：基于构建的训练集对步态识别网络模型进行训练，得到训练后的步态识别网络模型；
[0013]步骤S3：通过动态视觉传感器采集待分析数据并对采集到的待分析数据进行预处理，得到预处理后的待分析数据；
[0014]步骤S4：基于预处理后的待分析数据得到待分析数据相对应的步态序列图；
[0015]步骤S5：待分析数据相对应的步态序列图通过训练后的步态识别网络模型提取相应的步态特征；
[0016]步骤S6：提取的步态特征基于建立的步态样本库进行匹配实现身份识别；
[0017]所述步态识别网络模型是基于时空图卷积网络搭建的，以步态序列图作为输入从而得到步态特征，以用于特征匹配进行身份识别。
[0018]优选地，所述步态识别网络模型包括：利用十层时空卷积层以及归一层提取特征；每一层包括时域部分和空域部分，分别从步态序列图的时间结构和空间结构进行卷积，每一个时空卷积层都有残差网络，确保特征不会偏移。
[0019]优选地，所述步骤S2采用：采用Triplet Loss的方式将步态序列图构建成三元组训练方式对步态识别网络模型进行训练。
[0020]优选地，所述步骤S3采用：使用迭代条件模式采用去噪算法对采集到的待分析数据进行去噪处理。
[0021]优选地，所述步骤S4采用：
[0022]步骤S4.1：预处理后的待分析数据使用openpose估计人体姿态，提取骨骼点；
[0023]步骤S4.2：基于提取的骨骼点生成待分析数据相对应的步态序列图。
[0024]优选地，所述步骤S4.1采用：预处理后的待分析数据利用神经网络预测得到热力图，从热力图中提取关节的具体位置。
[0025]优选地，所述步骤S4.2采用：对提取的骨骼点进行包括去噪与归一化操作，并连接生成待分析数据相对应的步态序列图。
[0026]根据本专利技术提供的一种基于动态视觉传感器的步态身份识别系统，包括：
[0027]模块M1：基于标注身份的步态序列图以及相应的步态特征构建训练集；
[0028]模块M2：基于构建的训练集对步态识别网络模型进行训练，得到训练后的步态识别网络模型；
[0029]模块M3：通过动态视觉传感器采集待分析数据并对采集到的待分析数据进行预处理，得到预处理后的待分析数据；
[0030]模块M4：基于预处理后的待分析数据得到待分析数据相对应的步态序列图；
[0031]模块M5：待分析数据相对应的步态序列图通过训练后的步态识别网络模型提取相应的步态特征；
[0032]模块M6：提取的步态特征基于建立的步态样本库进行匹配实现身份识别；
[0033]所述步态识别网络模型是基于时空图卷积网络搭建的，以步态序列图作为输入从而得到步态特征，以用于特征匹配进行身份识别。
[0034]优选地，所述步态识别网络模型包括：利用十层时空卷积层以及归一层提取特征；每一层包括时域部分和空域部分，分别从步态序列图的时间结构和空间结构进行卷积，每一个时空卷积层都有残差网络，确保特征不会偏移；
[0035]所述模块M2采用：采用Triplet Loss的方式将步态序列图构建成三元组训练方式对步态识别网络模型进行训练；
[0036]所述模块M3采用：使用迭代条件模式采用去噪算法对采集到的待分析数据进行去噪本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态视觉传感器的步态身份识别方法，其特征在于，包括：步骤S1：基于标注身份的步态序列图以及相应的步态特征构建训练集；步骤S2：基于构建的训练集对步态识别网络模型进行训练，得到训练后的步态识别网络模型；步骤S3：通过动态视觉传感器采集待分析数据并对采集到的待分析数据进行预处理，得到预处理后的待分析数据；步骤S4：基于预处理后的待分析数据得到待分析数据相对应的步态序列图；步骤S5：待分析数据相对应的步态序列图通过训练后的步态识别网络模型提取相应的步态特征；步骤S6：提取的步态特征基于建立的步态样本库进行匹配实现身份识别；所述步态识别网络模型是基于时空图卷积网络搭建的，以步态序列图作为输入从而得到步态特征，以用于特征匹配进行身份识别。2.根据权利要求1所述的基于动态视觉传感器的步态身份识别方法，其特征在于，所述步态识别网络模型包括：利用十层时空卷积层以及归一层提取特征；每一层包括时域部分和空域部分，分别从步态序列图的时间结构和空间结构进行卷积，每一个时空卷积层都有残差网络，确保特征不会偏移。3.根据权利要求1所述的基于动态视觉传感器的步态身份识别方法，其特征在于，所述步骤S2采用：采用Triplet Loss的方式将步态序列图构建成三元组训练方式对步态识别网络模型进行训练。4.根据权利要求1所述的基于动态视觉传感器的步态身份识别方法，其特征在于，所述步骤S3采用：使用迭代条件模式采用去噪算法对采集到的待分析数据进行去噪处理。5.根据权利要求1所述的基于动态视觉传感器的步态身份识别方法，其特征在于，所述步骤S4采用：步骤S4.1：预处理后的待分析数据使用openpose估计人体姿态，提取骨骼点；步骤S4.2：基于提取的骨骼点生成待分析数据相对应的步态序列图。6.根据权利要求5所述的基于动态视觉传感器的步态身份识别方法，其特征在于，所述步骤S4.1采用：预处理后的待分析数据利用神经网络预测得到热力图，从热力图中提取关节的具体位置。7.根据权利要求5所述的基于动态视觉传感器...

【专利技术属性】
技术研发人员：许可，李锡瑞，郑幸锴，张泽挥，孙锬锋，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：