一种基于样本生成和模态融合的跨域无线动作识别方法技术

本发明专利技术提供了一种基于样本生成和模态融合的跨域无线动作识别方法，为了以少量数据实现高精度跨域动作识别，将源域和目标域的同动作类别数据进行线性变换得到包含源域和目标域环境信息的新数据，然后利用生成编码器和生成解码器去除源域的环境信息并增强目标域的环境信息，通过不断训练，生成大量目标域的虚拟幅值数据和虚拟相位数据。为了进一步提升跨域动作识别精度，对虚拟幅值和虚拟相位进行特征融合。通过融合编码器从幅值和相位中提取出动作特征，并通过相似度损失使不同模态的动作特征一致，然后利用融合解码器增强动作特征提取能力。最后对不同模态的动作特征进行通道拼接，采用动作分类器对拼接的动作特征进行分类，得到动作识别结果。得到动作识别结果。得到动作识别结果。

【技术实现步骤摘要】
一种基于样本生成和模态融合的跨域无线动作识别方法


[0001]本专利技术涉及动作识别技术，特别涉及基于WiFi的采用样本的动作识别技术。

技术介绍

[0002]动作识别对保障人们的健康和安全具有重要意义，可以广泛应用于跌倒检测、智能家居、公共安全等日常应用中。随着老龄化社会的到来，空巢老人现象开始普遍存在，保障独居老人的居家健康和安全变得日益重要。
[0003]WiFi设备的信道状态信息CSI(Channel State Information)用于描述信号在每条传输路径上的衰弱因子，能够反映信号散射、环境衰弱、距离衰减等信息，当人在覆盖 WiFi的空间内进行不同动作时，会对WiFi信号的传播造成不同影响，使得采集到的 CSI幅值和相位发生不同变化。根据此原理，我们就可以通过分析CSI数据来进行动作识别。基于WiFi的动作识别可以实现跌倒检测和异常行为监测，在老人发生意外时及时报警，以便获得及时救助。基于WiFi的动作识别也可以应用于智能家居，通过识别用户动作实现对家居的智能操控，提升智能化体验；通过检测入侵行为，实现智能安防，保障居家安全。基于WiFi的动作识别还可以应用于公共安全，如针对发生在非监控区域的校园暴力，通过动作识别可以及时发现并制止暴力行为，保障学生在校内的安全。类似应用不胜枚举。现有的动作识别技术一般基于视频监控或可穿戴设备。视频监控可以实现高精度动作识别，但需要在有光条件下工作，且存在隐私泄露风险。可穿戴设备不存在隐私泄露风险，无需光照条件，但要求用户一直佩戴设备，给用户带来不便。
>[0004]现有基于WiFi的动作识别方案大多只能解决单一场景下的动作识别。其基本思路是在监督学习框架下，采集大量带标签的动作数据，通过这些数据训练分类器，从而实现对动作的分类识别。
[0005]申请人在2019年11月与2020年9月分别提出了两种动作识别方法201911148775.2 和202010950803.9，均是为了减少打标的工作量，将采集的CSI样本中一部分打标为源域数据，另一部分未打标作为目标域数据，再对目标域数据打伪标，最后将源域数据和打伪标的目标域数据一起作为训练数据。但是这两种方式只能减少打标的工作量，还是需要采集各种场景下大量动作样本数据，并标注相应的动作标签或伪标，通过这些大量的带标签或伪标的样本数据训练分类器来对不同动作进行分类识别。这类方法的缺点是，当发生域变化时，动作识别效果会急剧下降。这里的域变化包括用户变化、用户位置变化或场景变化。为了适应域变化保持识别精度，就需要采集大量动作数据重新训练模型。但是采集各种域下的动作数据难度太大，因此无法适合实际应用。

技术实现思路

[0006]本专利技术为了解决现有基于WiFi的动作识别方法中的依赖大量采样数据和环境变化导致的识别精度降低的问题，提供了一种小样本跨域动作识别的方法。
[0007]本专利技术为解决上述技术问题所采用的技术方案是，一种基于样本生成和模态融合
的跨域无线动作识别方法，包括步骤：
[0008]1)感知环境部署步骤：在感知区域内部署一对WiFi发射器与WiFi接收器，需要 WiFi信号覆盖整个感知区域；
[0009]2)CSI数据采集步骤：在感知区域内划分位置，设置动作种类，共有c个动作；选取指定用户与指定位置，每个指定用户在每个指定位置重复执行c个动作，每个动作 N次；其余未指定用户在每个未指定位置针对每个动作采集K次，K＜＜N；在动作执行期间，采集动作对应的信道状态信息CSI数据并为其打标；
[0010]3)数据划分步骤：将指定用户在指定位置采样得到的CSI数据作为源域数据集对未指定用户在未指定位置采样得到的CSI数据作为目标域支持集其中，表示动作分类为c
i
的源域CSI数据，表示动作分类为c
i
的类别标签；表示动作分类为c
i
的目标域数据；
[0011]4)虚拟样本生成步骤：基于源域数据集X
S
与目标域支持集X
T
生成目标域虚拟样本：
[0012]4‑
1)选取同一类别标签的源域CSI数据与目标域CSI数据通过线性变换生成目标域近似虚拟数据将遍历类别标签的源域数据与目标域数据构，对于动作分类c
i
会生成N
×
K个目标域近似虚拟数据；其中，源域CSI数据的权重α是由编码器训练得到的趋近于0的值，目标域CSI数据的权重β是由编码器训练得到的趋近于1的值，取值范围大约为α∈[
‑
0.1,0.15]，β∈[0.85,1.1]；
[0013]4‑
2)使用生成编码器对目标域近似虚拟数据进行动作特征提取得到动作特征再利用生成解码器对动作特征进行重构，得到重构的虚拟数据
[0014]其中，生成编码器与生成解码器在训练时，设置重构损失以使得重构的虚拟数据近似于目标域数据为目标；
[0015]4‑
3)分别重构数据的幅值和相位，得到虚拟幅值x
a
与虚拟相位x
p
；
[0016]5)模态融合步骤：使用融合编码器分别对虚拟幅值x
a
和虚拟相位x
p
进行特征提取得到虚拟幅值x
a
的动作特征和虚拟相位x
p
的动作特征然后对和进行通道融合，得到融合的模态动作特征
[0017]其中，融合编码器的训练过程为：利用与融合编码器相连的融合解码器分别对和进行重构，得到重构的虚拟幅值x
a
′
和重构的虚拟相位x
′
p
，设置重构损失以使得重构的虚拟幅值x
a
′
和重构的虚拟相位x
′
p
近似于虚拟幅值x
a
与虚拟相位x
p
为目标；以及设置相似度损失，相似度损失以和最大程度相似为目标；
[0018]6)将融合的动作特征f作为训练集数据输入至动作分类器，进行动作分类器的训练；
[0019]7)将待分类的CSI数据的幅值和相位输入至训练好的融合编码器中，融合编码器提取幅值的动作特征和相位的动作特征后进行通道融合，最后将融合的模态动作特征输入至训练好的动作分类器完成动作识别。
[0020]本专利技术根据实验者在感知区域内做不同动作对WiFi信号的影响，从CSI数据中提取幅值和相位信息对动作进行识别。为了以少量数据实现高精度跨域动作识别，将源域和目标域的同动作类别数据进行线性变换得到包含源域和目标域环境信息的新数据，然后利用生成编码器和生成解码器去除源域的环境信息并增强目标域的环境信息，通过不断训练，生成大量目标域的虚拟幅值数据和虚拟相位数据。为了进一步提升跨域动作识别精度，对虚拟幅值和虚拟相位进行特征融合。通过融合编码器从幅值和相位中提取出动作特征，并通过相似度损失使不同模态的动作特征一致，然后利用融合解码器增强动作特征提取能力。最后对不同模态的动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于样本生成和模态融合的跨域无线动作识别方法，其特征在于，包括以下步骤：1)感知环境部署步骤：在感知区域内部署一对WiFi发射器与WiFi接收器，需要WiFi信号覆盖整个感知区域；2)CSI数据采集步骤：在感知区域内划分位置，设置动作种类，共有c个动作；选取指定用户与指定位置，每个指定用户在每个指定位置重复执行c个动作，每个动作N次；其余未指定用户在每个未指定位置针对每个动作采集K次，K＜＜N，＜＜表示相差一个数量级及以上的小于关系；在动作执行期间，采集动作对应的信道状态信息CSI数据并为其打标；3)数据划分步骤：将指定用户在指定位置采样得到的CSI数据作为源域数据集对未指定用户在未指定位置采样得到的CSI数据作为目标域支持集其中，表示动作分类为c
i
的源域CSI数据，表示动作分类为c
i
的类别标签；表示动作分类为c
i
的目标域CSI数据；4)虚拟样本生成步骤：基于源域数据集X
S
与目标域支持集X
T
生成目标域虚拟样本：4
‑
1)选取同一类别标签的源域CSI数据与目标域CSI数据通过线性变换得到目标域近似虚拟数据将遍历类别标签的源域数据与目标域数据构成，对于每一个动作分类会生成N
×
K个目标域近似虚拟数据；其中，源域CSI数据的权重α是由生成编码器训练得到的趋近于0的值，目标域CSI数据的权重β是由生成编码器训练得到的趋近于1的值；4
‑
2)使用生成编码器对目标域近似虚拟数据进行动作特征提取得到动作特征再利用训练好的生成解码器对动作特征进行重构，得到重构的虚拟数据其中，生成编码器与生成解码器在...

【专利技术属性】
技术研发人员：周保，周瑞，罗悦，程宇，林建旋，胡思林，方剑平，王佳昊，
申请(专利权)人：厦门智小金智能科技有限公司，
类型：发明
国别省市：