基于制造技术

本发明专利技术公开一种基于

【技术实现步骤摘要】
基于WiFi
‑
视频跨模态融合的多路径步态识别系统及方法


[0001]本专利技术涉及无线感知
，尤其涉及一种基于
WiFi
‑
视频跨模态融合的多路径步态识别系统及方法
。

技术介绍

[0002]目前，步态识别系统可以用不同的传感器来实现其中，基于
WiFi
的系统已成为研究热点
。
具有无需定制设备
、
对环境亮度不敏感
、
优雅地保护用户隐私等优点
。
现有的基于
WiFi
的步态识别系统的研究根据其应用场景可分为基于单路径
、
基于多路径和基于多模态融合的三种类型
。
[0003]现有的基于单路径的系统是从
CSI(Channel State Information
，信道状态信息
)
中提取可靠的步态特征
。
由于不同路径上的步态特征多样性，这些系统通常适用于单路径场景
。
如参考文献
[2]公开的
WiWho
是第一个基于
WiFi
的步态识别系统，用于以无设备方式从一小群人中识别一个人
。
参考文献
[1]公开的
WifiU
使用主成分分析
(PCA)
和频谱增强技术生成
CSI
频谱图，并分别估计躯干和腿部的速度以进行用户识别
。
参考文献
[3]公开的
WiFi
‑
ID
中，采用连续小波变换
(CWT)
和相关特征选择算法提取时域和频域的步态特征，并选择基于稀疏近似的分类
(SAC)
作为分类器
。WiAU[4]使用具有两个损失函数的残差网络
(ResNet)
技术来验证合法用户并识别非法用户
。
这些步态识别系统每人需要少于
60
个样本
。
对于5‑
10m
的步行路径长度，采样时间在十分钟以内，在实际使用中是可以接受的
。
用于识别的典型路径与
WiFi
发射器
(TX)
和接收器
(RX)
之间的视线
(LoS)
平行或垂直，因此只需要一对收发器
。
然而，上述这些系统要求受试者在特定的直线路径上行走
。
这样的要求阻碍了系统在存在多条步行路径的一般室内环境中的实际使用
。
[0004]针对现有基于单路径系统的不足，为了支持一般的室内场景，现有的基于多路径的系统能够识别走在多条路径上的人
。
目前，已经提出了一些解决方案来解决该问题
。
如参考文献
[5]公开的
AGait
方法，采用基于注意力的循环神经网络
(RNN)
编码器
‑
解码器框架来实现八方向步态识别
。
但是，这种方法需要大量的步态样本，即每个人必须在监控区域内行走长达
60
分钟
(
平均每人
966
个样本
)
才能训练模型
。
此外，它还采用了两个分开的
、
专门放置的
RX
来分别监控躯干和腿部
。
参考文献
[6]公开的
WiDIGR
通过放置一个
TX
和两个
RX
形成正交菲涅耳区域，实现了与方向无关的步态识别
。
受试者从同一起点不同方向在该区域内行走，将两个
RX
的信号组合成一个关于行走方向的统一频谱图
。
之后，使用手动和
Gabor
过滤器提取特征进行分类
。
对于每个行走方向，
WiDIGR
需要与基于单路径的系统相似数量的样本
。
参考文献
[7]公开的
Wi
‑
PIGR
，是基于
WiDIGR
的频谱图集成技术，使用卷积神经网络
(CNN)
和长短期记忆
(LSTM)
进行特征提取，以实现更高的识别精度
。
但这种方案需要更多的样本，是基于单路径的系统的四到五倍
。
[0005]总之，当前基于多路径的解决方案目前至少存在两个问题：第一个是大量样本，第二个是多个
RX
的专门放置
。
[0006]现有基于多模态融合的系统，
Interactive,Mobile,Wearable and Ubiquitous Technologies,vol.4,no.4,pp.1
–
22,2020.
[0019]参考文献
[11]K.Qian,C.Wu,Y.Zhang,G.Zhang,Z.Yang,and Y.Liu,“Widar2.0:Passive human tracking with a single wi
‑
fi link,”in Proceedings of the16th Annual International Conference on Mobile Systems,Applications,and Services,2018,pp.350
–
361.
[0020]有鉴于此，特提出本专利技术
。

技术实现思路

[0021]本专利技术的目的是提供了一种基于
WiFi
‑
视频跨模态融合的多路径步态识别系统及方法，能将
WiFi
与视频结合实现无线多路径步态的准确识别，进而解决现有技术中存在的上述技术问题
。
[0022]本专利技术的目的是通过以下技术方案实现的：
[0023]一种基于
WiFi
‑
视频跨模态融合的多路径步态识别系统，包括：
[0024]基于视频的步态特征提取单元
、
步态特征存储匹配单元
、
基于
WiFi
的信息提取单元和步态识别单元；其中，
[0025]所述基于视频的步态特征提取单元，与所述步态特征存储匹配单元通信连接，能从获取的包含至少一个步行主体的视频中生成路径相关的理想信道状态信息，从路径相关的理想信道状态信息中提取路径相关的理想步态特征，并将提取的路径相关的理想步态特征存储至所述步态特征存储匹配单元；
[0026]所述步态特征存储匹配单元，与所述步态识别单元通信连接，能对所述基于视频的步态特征提取单元输入的路径相关的理想步态特征进行匹配得出路径相关的理想信道本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
WiFi
‑
视频跨模态融合的多路径步态识别系统，其特征在于，包括：基于视频的步态特征提取单元
、
步态特征存储匹配单元
、
基于
WiFi
的信息提取单元和步态识别单元；其中，所述基于视频的步态特征提取单元，与所述步态特征存储匹配单元通信连接，能从获取的包含至少一个步行主体的视频中生成路径相关的理想信道状态信息，从路径相关的理想信道状态信息中提取路径相关的理想步态特征，并将提取的路径相关的理想步态特征存储至所述步态特征存储匹配单元；所述步态特征存储匹配单元，与所述步态识别单元通信连接，能对所述基于视频的步态特征提取单元输入的路径相关的理想步态特征进行匹配得出路径相关的理想信道状态信息步态特征，并将匹配得出的路径相关的理想信道状态信息步态特征输出至所述步态识别单元；所述基于
WiFi
的信息提取单元，与所述步态识别单元通信连接，能从在监控区域获取的包含至少一个步行主体的环境
WiFi
信号中测量出实际信道状态信息，并从实际信道状态信息中提取实际信道状态信息步态特征以及估计出步行路径，并将得出的实际信道状态信息步态特征和步行路径分别输出至所述步态识别单元；所述步态识别单元，能基于神经网络匹配方式通过所述步态特征存储匹配单元输出的路径相关的理想信道状态信息步态特征
、
所述基于
WiFi
的信息提取单元输出的实际信道状态信息步态特征和步行路径，识别出对应的步行主体
。2.
根据权利要求1所述的基于
WiFi
‑
视频跨模态融合的多路径步态识别系统，其特征在于，所述基于视频的步态特征提取单元包括：行人检测模块
、3D Mesh
生成模块
、
信道状态信息模拟模块
、
频谱图生成模块和原始特征提取模块；其中，所述行人检测模块，与所述
3D Mesh
生成模块通信连接，能通过
Mask
‑
RCNN
算法检测获取的包含至少一个步行主体视频的视频帧中行人的边界，并捕获该视频帧的对应图片；所述
3D Mesh
生成模块，与所述信道状态信息模拟模块通信连接，能通过人体网格恢复算法从所述行人检测模块捕获的视频帧对应图片中生成人体表面的
3D
网格，并利用捕获的所有视频帧对应图片生成的
3D
网格组成一个描述主体行走时体表运动的
3D
运动模型；所述信道状态信息模拟模块，与所述频谱图生成模块通信连接，能从所述
3D Mesh
生成模块组成的
3D
运动模型获得该
3D
运动模型相对
WiFi
设备的可视点，根据可视点通过模拟
WiFi
信号的传播来模拟生成理想信道状态信息；所述频谱图生成模块，与所述原始特征提取模块通信连接，能利用短时傅里叶变换将所述信道状态信息模拟模块生成的理想信道状态信息转换为不同路径的理想频谱图；所述原始特征提取模块，能从所述频谱图生成模块得出的不同路径的理想频谱图中，分别获取最小步态周期
、
最小步幅
、
最小平均能量
、
最小躯干频率点
、
最小腿速和最小躯干速度
、
最大步态周期
、
最大步幅
、
最大平均能量
、
最大躯干频率点
、
最大腿速和最大躯干速度
、
平均步态周期
、
平均步幅
、
平均平均能量
、
平均躯干频率点
、
平均腿速和平均躯干速度和
FD
特征并组成
21
维的特征向量，将相应的主体
、
路径信息和特征向量相结合，并存储在特征图中作为理想步态特征
。3.
根据权利要求2所述的基于
WiFi
‑
视频跨模态融合的多路径步态识别系统，其特征在
于，所述信道状态信息模拟模块按以下方式根据视点通过模拟
WiFi
信号的传播来模拟生成理想信道状态信息，包括：通过隐藏点去除算法从
3D
网格中提取将电磁信号反射到接收机的点；利用
XModal
‑
ID
中的方法通过模拟放在...

【专利技术属性】
技术研发人员：周颢，樊金猛，李向阳，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：