一种基于无线和视频特征融合的步态识别方法技术

本发明专利技术公开了一种基于的无线和视频特征融合的步态识别方法，该方法包括：使用视频采集设备获取行人步态识别视频数据，对视频帧利用分割网络获得高质量的行人轮廓图序列，对轮廓图进行标准化裁剪操作处理成统一格式，然后使用基于时间空间的深度神经网络获取行人的视频特征；使用普通商用无线信号设备，一端发送物理层信道状态信息CSI数据，另外一端接收，对CSI数据进行去噪以及归一化预处理，用多尺度卷积神经网络对预处理之后的CSI数据进行行人的无线特征提取；最后将提取到的无线和视频的特征进行融合，进行身份预测。该方法结合了无线和视频两个模态的数据进行步态识别，相对于现有的相关技术，具有更好的鲁棒性，更加适合多变的复杂场景。合多变的复杂场景。合多变的复杂场景。

A gait recognition method based on wireless and video feature fusion

【技术实现步骤摘要】
一种基于无线和视频特征融合的步态识别方法


[0001]本专利技术属于计算机应用
，涉及模式识别、图像和信号处理以及深度学习方法，具体涉及一种基于无线和视频特征融合的步态识别方法。

技术介绍

[0002]近年来，身份识别被应用到越来越多的场景，而传统的身份识别技术，比如人脸识别，虹膜识别，指纹识别等识别方式因其限制性和隐私安全性等原因远远不能满足实际的需要。步态作为一种独特的行为生物特征，因其容易识别，难以伪装，更少的侵入性限制条件等优势，被人们广泛关注，已经应用于安防，犯罪调查等多个领域。相对于其他的生物识别技术，步态识别在未来具有更大的发展潜力。
[0003]目前已经有多种技术及方法可以进行步态识别。大多数方法是基于摄像头，红外传感器，可穿戴设备以及无线设备。最常用的方法就是利用高清摄像头，高清摄像头录制的视频中包含一个人行走时的多个步态周期。但是视频步态识别依赖于高清摄像头采集的数据质量，存在一些难以避免的问题，诸如，光照条件差则采集到的视频质量差，障碍物遮挡则无法获取行人的完整轮廓以及完整的步态周期，以及不同角度下采集到的行人视频差异较大等。这些因素都极大的影响了识别准确率和方法的实用性。随着近年来无线感知领域的发展，利用无线信号进行步态识别也逐步成为了可能。另外无线设备应用广泛，价格比较低廉，实际环境中部署也很简单。目前无线设备已在家居，办公场所，以及公共场合普遍使用，因此无线信号的覆盖范围相当广泛。这些条件使得无线信号的实际获取更加容易，更加现实。但是基于无线信号的步态识别也有自己的缺陷，无线信号对外界环境比较敏感，无线设备过热，外界温度变化幅度较大，这些因素都会导致无线设备收集到的信号丢失或者不稳定，从而最终影响无线步态识别的识别精度。因此，现有的步态识别方法无论哪一种步态识别技术都有自己的受限条件。
[0004]在此背景下，运用信号处理，图像处理以及深度学习等领域的相关理论知识，研发一种基于无线和视频特征融合的步态识别方法具有十分现实的意义。

技术实现思路

[0005]基于现有的步态识别方法中只关注单模态分析的不足，本专利技术的目的在于，提供一种基于无线和视频特征融合的步态识别方法，该方法尝试探索利用深度神经网络同时对无线和视频两种模态下采集的数据进行预处理，特征提取，并接着进行特征融合操作，来解决单模态下因多变的环境等因素造成的噪声过大，步态身份信息缺失，最终导致识别准确率低下等问题，进一步提高步态识别方法的准确率，从而验证使用无线和视频数据进行多模步态识别的有效性。
[0006]为了实现上述任务，本专利技术采取如下的技术解决方案：
[0007]一种基于无线和视频特征融合的步态识别方法，其特征在于，包括如下步骤：
[0008]步骤S1：首先使用高分辨率的摄像头采集行人行走的视频数据；
[0009]步骤S2：对视频进行等间隔的分帧处理，采用语义分割网络Mask
‑
RCNN对上述步态视频分离得到的视频帧图像进行语义分割，分离图像的前景与背景，得到高质量的行人行走的步态轮廓图；
[0010]步骤S3：对分割得到的步态轮廓图进行数据预处理，具体的指冗余帧和无效帧去除，以及裁剪尺寸大小进行对齐标准化处理；
[0011]步骤S4：采用步态识别公开数据集对深度神经网络GaitPart进行预训练，利用预训练好的网络提取对方法采集的行人视频数据进行特征提取，得到基于视频的步态序列时空步态特征；
[0012]步骤S5：利用商用无线路由器采集无线数据，从接收到的无线信号中获取随时间和行人行走而变化的信道状态信息流(CSI)；
[0013]步骤S6：对采集到的信道状态信息流(CSI)规格化处理，得到幅值序列，对幅值序列进行均值填充和去噪；
[0014]步骤S7：对去噪之后的无线数据进行采样或者零值填充。数据通过处理之后得到统一的维度，并进行归一化处理；
[0015]步骤S8：将预处理之后的无线数据输入到多尺度卷积神经网络进行预训练，利用预训练完成的网络提取基于无线的行人步态特征，此时的特征是对无线数据在多个尺度上进行提取的结果；
[0016]步骤S9：将提取到的基于视频的行人步态特征和基于无线的行人步态特征拼接进行维度上的扩增之后作为融合模块的输入，融合模块在进一步增强了两个模态下语义表达的同时，又使得视频和无线两个维度的特征共享语义子空间；
[0017]步骤S10：对融合后得到的步态特征进行身份预测得出识别结果。
[0018]根据本专利技术，所述步骤S2具体实现步骤包括：
[0019]步骤S21：对行人行走的视频段，根据采集视频等间隔进行分帧，方法设置为每秒提取30帧，在所有采集的视频段分帧结束之后，随机选取一部分图像，作为语义分割网络Mask
‑
RCNN的训练数据，这部分图像涵盖了实际情况中的不同光照条件和不同场景，并且行人的外在穿衣状态也各不相同。
[0020]步骤S22：使用数据标注工具对这一部分图像数据中的行人轮廓进行精细标注，旨在使得语义分割网络能够得到高质量的行人轮廓。
[0021]步骤S23：将标注后的用于训练分割网络的数据馈入语义分割网络Mask
‑
RCNN，通过反向传播，更新网络参数，直到网络收敛，最终完成语义分割网络Mask
‑
RCNN的预训练。
[0022]步骤S24：在视频数据预处理阶段中，利用预训练收敛的语义分割网络Mask
‑
RCNN提取精细的行人步态轮廓图，这将有助于提取到更准确的视频步态特征。
[0023]进一步地，所述步骤S4具体实现步骤包括：
[0024]步骤S41：将通过语义分割网络Mask
‑
RCNN分割得到的图像接着进行裁剪对齐预处理之后，每张步态轮廓图的分辨率最终为66X64，每个行人行走一次的视频下的包含多张步态轮廓图。本专利技术方法称这些步态轮廓图的集合称为步态集，该集合至少包含行人的一个完整的步态周期，将其作为视频数据集中的一个最小样本。选择行人的身份ID作为该样本的标签。
[0025]步骤S42：考虑到行人身体不同的部分在行走时呈现不同的运动规律，且连续的帧
与帧之间具有时间信息的关联，故采用深度神经网络GaitPart作为视频步态特征提取器，提取步态时间特征和空间特征的表达。
[0026]步骤S43：在预训练阶段，选取步态识别公开数据集CASIA
‑
B作为数据训练深度神经网络GaitPart；该神经网络GaitPart网络采用三元组损失函数作为损失函数，不同样本之间的特征向量来计算网络训练阶段的损失。神经网络GaitPart网络针对人体各个部分在视觉上的运动模式不同，对各个部分分别进行时空建模。最后训练直到网络收敛，最终得到的预训练网络可以有效提取视频模态下的步态深度特征。
[0027]步骤S44：将预训练网络作为视频步态特征提取器，利用预训练的深度神经网络GaitPart的主干本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的无线和视频融合步态识别方法，其特征在于，包括如下步骤：步骤S1：首先使用高分辨率的摄像头采集行人行走的视频；步骤S2：对视频进行等间隔的分帧处理，采用语义分割网络Mask
‑
RCNN对视频分离得到的视频帧图像进行语义分割，分离视频帧图像的前景与背景，得到高质量的行人行走的步态轮廓图；步骤S3：对分割得到的步态轮廓图进行数据预处理，将冗余帧和无效帧去除，以及裁剪尺寸大小进行对齐标准化处理；步骤S4：采用步态识别公开数据集对深度神经网络GaitPart进行预训练，利用预训练好的网络提取对所采集的行人视频进行特征提取，得到基于视频的步态序列时空步态特征；步骤S5：利用商用无线路由器采集无线数据，从接收到的无线信号中获取随时间和行人行走而变化的信道状态信息流CSI；步骤S6：对采集到的信道状态信息流CSI规格化处理，得到幅值序列，对幅值序列进行均值填充和去噪；步骤S7：对去噪之后的无线数据进行采样或者零值填充，得到统一的维度，并进行归一化处理；步骤S8：将归一化处理之后的无线数据输入到多尺度卷积神经网络进行预训练，利用预训练完成的网络提取基于无线的行人步态特征，该行人步态特征是对无线数据在多个尺度上进行提取的结果；步骤S9：将提取到的基于视频的行人步态特征和基于无线的行人步态特征拼接进行维度上的扩增之后作为融合模块的输入，融合模块在进一步增强了两个模态下语义表达的同时，又使得视频和无线两个维度的特征共享语义子空间；步骤S10：对融合后得到的步态特征进行身份预测，得出识别结果。2.如权利要求1所述的方法，其特征在于，所述步骤S2具体实现步骤包括：步骤S21：对行人行走的视频段，根据采集视频等间隔进行分帧，方法设置为每秒提取30帧，在所有采集的视频段分帧结束之后，随机选取一部分图像，作为语义分割网络Mask
‑
RCNN的训练数据，这部分图像涵盖了实际情况中的不同光照条件和不同场景，并且行人的外在穿衣状态也各不相同；步骤S22：使用数据标注工具对这一部分图像数据中的行人轮廓进行精细标注，旨在使得语义分割网络能够得到高质量的行人轮廓；步骤S23：将精细标注后的用于训练分割网络的数据馈入语义分割网络Mask
‑
RCNN，通过反向传播，更新网络参数，直到网络收敛，最终完成语义分割网络Mask
‑
RCNN的预训练；步骤S24：在视频数据预处理阶段中，利用预训练收敛的语义分割网络Mask
‑
RCNN提取精细的行人步态轮廓图，这将有助于提取到更准确的视频步态特征。3.如权利要求1所述的方法，其特征在于，所述步骤S4的具体实现步骤包括：步骤S41：将通过语义分割网络Mask
‑
RCNN分割得到的图像接着进行裁剪对齐预处理之后，每张步态轮廓图的分辨率最终为...

【专利技术属性】
技术研发人员：韩枫，郭竞，梁颖，刘征奇，梁伟，朱文娟，张添祥，许鹏飞，
申请(专利权)人：西北大学，
类型：发明
国别省市：