联合红外和制造技术

本申请涉及一种联合红外和

【技术实现步骤摘要】
联合红外和WiFi的人体动作识别方法


[0001]本申请涉及动作识别
，具体地，涉及一种联合红外和
WiFi
的人体动作识别方法
。

技术介绍

[0002]人体动作识别
(HAR)
是智能交通
、
智能交互系统
、
医疗监测等领域的一个重要研究课题
。
大多数
HAR
方法都集中于在可见光环境下的应用
。
然而，在一些现实场景中，如夜间视频监控系统和公共安全应用程序，很难在昏暗或黑暗的场景中收集可见光图像或视频
。
[0003]基于热成像的红外
(IR)
视频被广泛认为是在没有光的情况下实现
HAR
任务的有效候选者
。
然而，红外视频通常提供低分辨率的图像，没有颜色和纹理信息，这可能导致
HAR
性能不佳
。
因此，无光环境下的
HAR
仍然是如今所面临的一个巨大的挑战
。
同时，
WiFi
信号被认为是光照条件不好的环境中实现
HAR
的另一个可靠选择，近年来引起了广泛关注
。
对于
HAR
任务，
WiFi
比其他无线信号有以下优势：
1)
目标不需要可穿戴设备；
2)
智能家居无线通信服务的普及意味着
WiFi
信号可以很容易地以非常便宜的价格收集
。
然而实际上，由于
WiFi
信号粗糙且非常依赖于周围环境，目前仅使用单一
WiFi
信号的
HAR
性能一直令人不满意
。

技术实现思路

[0004]为了克服现有技术中的至少一个不足，本申请提供一种联合红外和
WiFi
的人体动作识别方法
。
[0005]第一方面，提供一种联合红外和
WiFi
的人体动作识别方法，包括：
[0006]获取待识别人体动作的红外视频信号和
WiFi
信号：
[0007]采用双流卷积残差网络提取红外视频信号的红外特征，采用双向长短期记忆网络提取
WiFi
信号的
WiFi
特征；
[0008]采用深度神经网络分别提取红外特征和
WiFi
特征的非线性特征，记为第一模态特征和第二模态特征；
[0009]将第一模态特征和第二模态特征输入深度典型相关分析网络中，深度典型相关分析网络中的重构网络对第一模态特征和第二模态特征进行重构，并确定两个模态的重构误差之和最小时的重构后的第一模态特征和重构后的第二模态特征；
[0010]计算重构后的第一模态特征和重构后的第二模态特征之间的相关性，并确定相关性最大时的第一模态特征对应的深度典型相关分析网络的参数向量，以及相关性最大时的第二模态特征对应的深度典型相关分析网络的参数向量；
[0011]将相关性最大时的第一模态特征对应的深度典型相关分析网络的参数向量，以及相关性最大时的第二模态特征对应的深度典型相关分析网络的参数向量映射到公共空间上，得到映射矩阵；
[0012]将映射矩阵输入到线性的机器学习分类器
SVM
中，得到待识别人体动作的识别结果
。
[0013]在一个实施例中，采用双流卷积残差网络提取红外视频信号的红外特征，采用双向长短期记忆网络提取
WiFi
信号的
WiFi
特征，包括：
[0014]将红外视频信号的多张单帧图像与叠加光流帧输入到双流卷积残差网络，得到红外视频信号的红外特征；
[0015]将
WiFi
信号的
CSI
信息进行预处理，并将预处理后
CSI
信息输入到双向长短期记忆网络，得到
WiFi
信号的
WiFi
特征
。
[0016]在一个实施例中，深度典型相关分析网络的具体实现功能采用以下公式：
[0017][0018]约束条件：
[0019][0020][0021][0022]其中，
N
为样本个数，
i
为样本标号，
f(X)
为第一模态特征，
X
为红外特征，
g(Y)
为第二模态特征，
Y
为
WiFi
特征，
U
为深度神经网络的所有输出单元的
CCA
方向，
U
＝
[u1，
...u
l
...
，
u
L
]，
u
l
为深度神经网络的第
l
个输出单元的
CCA
方向，
L
为深度神经网络中输出单元的个数，
V
为深度神经网络的所有输出单元的
CCA
方向，
V
＝
[v1，
...v
m
…
，
v
L
]，
v
m
为深度神经网络的第
m
个输出单元的
CCA
方向，
U
和
V
的方向不同，
λ
为权衡参数，
f(x
i
)
为第
i
个样本对应的红外特征
x
i
对应的第一模态特征，
p
为第一重构非线性函数，
g(y
i
)
为第
i
个样本对应的
WiFi
特征
y
i
对应的第二模态特征，
q
为第二重构非线性函数；
I
为单元矩阵，
r
x
和
r
y
为正则化参数
。
[0023]在一个实施例中，将相关性最大时的第一模态特征对应的深度典型相关分析网络的参数向量，以及相关性最大时的第二模态特征对应的深度典型相关分析网络的参数向量映射到公共空间上，得到映射矩阵，采用以下公式：
[0024][0025]其中，
d
为映射矩阵，为相关性最大时的第
j
个模态特征对应的深度典型相关分析网络的参数向量，
z
jk
为第
j
个模态的第
k
个样本，
n
j
为第
j
个模态的样本个数，
D
jk
为第
j
个模态的第
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种联合红外和
WiFi
的人体动作识别方法，其特征在于，包括：获取待识别人体动作的红外视频信号和
WiFi
信号：采用双流卷积残差网络提取所述红外视频信号的红外特征，采用双向长短期记忆网络提取所述
WiFi
信号的
WiFi
特征；采用深度神经网络分别提取所述红外特征和所述
WiFi
特征的非线性特征，记为第一模态特征和第二模态特征；将所述第一模态特征和所述第二模态特征输入深度典型相关分析网络中，所述深度典型相关分析网络中的重构网络对所述第一模态特征和所述第二模态特征进行重构，并确定两个模态的重构误差之和最小时的重构后的第一模态特征和重构后的第二模态特征；计算所述重构后的第一模态特征和所述重构后的第二模态特征之间的相关性，并确定所述相关性最大时的第一模态特征对应的所述深度典型相关分析网络的参数向量，以及所述相关性最大时的第二模态特征对应的所述深度典型相关分析网络的参数向量；将所述相关性最大时的第一模态特征对应的所述深度典型相关分析网络的参数向量，以及所述相关性最大时的所述第二模态特征对应的所述深度典型相关分析网络的参数向量映射到公共空间上，得到映射矩阵；将所述映射矩阵输入到线性的机器学习分类器
SVM
中，得到所述待识别人体动作的识别结果
。2.
如权利要求1所述的方法，其特征在于，其中，采用双流卷积残差网络提取所述红外视频信号的红外特征，采用双向长短期记忆网络提取所述
WiFi
信号的
WiFi
特征，包括：将所述红外视频信号的多张单帧图像与叠加光流帧输入到所述双流卷积残差网络，得到所述红外视频信号的红外特征；将所述
WiFi
信号的
CSI
信息进行预处理，并将预处理后
CSI
信息输入到所述双向长短期记忆网络，得到所述
WiFi
信号的
WiFi
特征
。3.
如权利要求1所述的方法，其特征在于，所述深度典型相关分析网络的具体实现功能采用以下公式：约束条件：约束条件：约束条件：其中，
N
为样本个数，
i
为样本标号，
f(X)
为第一模态特征，
X
为红外特征，
g(Y)
为第二模态特征，
Y
为
WiFi
特征，
U
为深度神经网络的所有输出单元的
CCA
方向，
U
＝
[u1,
…
u
l
…
,u
L
]
，
u
l
为深度神经网络的第
l
个输出单元的
CCA
方向，
L
为深度神经网络中输出单元的个数，
V
为深度神经网络的所有输出单元的
CCA
方向，
V
＝
[v1,
…
v
m
…
,v
L
]
，
v
m
为深度神经网络的第
m
个输出单元的
CCA
方向，
U
和
V
的方向不同，
λ
为权衡参数，
f(x
i
)
为第
i
个样本对应的红外特征
x
i
对
应的第一模态特征，
p
为第一重构非线性函数，
g(y
i
)
为第
i
个样本对应的
WiFi
特征
y
i
对应的第二模态特征，
q
为第二重构非线性函数；
I
为单元矩阵，
r
x
和
r
y
为正则化参数
。4.
如权利要求1所述的方法，其特征在于，其中，将所述相关性最大时的第一模态特征对应的所述深度典型相关分析网络的参数向量，以及所述相关性最大时的所述第二模态特征对应的所述深度典型相关分析网络的参数向量映射到公共空间上，得到映射矩阵，采用以下公式：其中，
d
为映射矩阵，为相关性最大时的第
j
个模态特征对应的所述深度典型相关分析网络的参数向量，
z
jk
为第
j
个模态的第
k
个样本，
n
j
为第
j
个模态的样本个数，
D
jk
为第
j
个模态的第
k
个样本的映射值
。5.
一种联合红外和
WiFi
的人体动作识别装置，其特征在于，包括：信号获取模块，用于获取待识别人体动作的红外视频信号和
W...

【专利技术属性】
技术研发人员：郭军，孙敏娟，石梅，张益姣，李洪民，谢林睿，
申请(专利权)人：西北大学，
类型：发明
国别省市：