一种基于wifi和视觉的多模态感知方法技术

本发明专利技术涉及环境感知技术，其公开了一种基于wifi和视觉的多模态感知方法，实现在不同光照/可视条件下对环境的精确感知。本发明专利技术中，在训练多模态感知模型时，同时获取被感知空间的图像数据和CSI数据，并对数据进行预处理和时间对齐；接着，提取图像数据的图像特征，并进行动作识别，获得视觉感知结果；以视觉感知结果作为CSI数据的先验知识，与CSI数据一并输入至CSI数据处理模块，提取CSI特征；然后，对图像特征和CSI特征进行特征融合，获得融合特征；并根据融合特征行分类，获得预测的环境感知结果；最后通过预测的环境感知结果和预先标注的环境感知结果计算损失，并采用反向传播方法训练多模态感知模型。本发明专利技术适用于环境中用户动作状态感知。

【技术实现步骤摘要】

本专利技术涉及环境感知技术，具体涉及一种基于wifi和视觉的多模态感知方法。

技术介绍

1、环境感知是指通过一系列传感器（如温度传感器、湿度传感器、视觉传感器等）收集环境中的数据，并进行分析和有效信息提取，以了解环境中的状况。目前环境感知中最主流的仍是视觉感知，而随着深度学习、计算机图形学等技术的不断发展，视觉感知的处理能力、识别精度和速度都得到了大幅提升。但视觉传感器对于光照条件和可视条件有着高度依赖，此外还存在着视觉盲区，因此，仅仅采用视觉传感器进行环境感知具有一定的局限性。

2、另一方面，无线感知可以利用射频信号在空间中传播时的信道特征信息结合一些算法（如飞行时间tof、到达角/离去角aoa/aod等）来进行物体感知和识别，其感知范围大，对光照条件和可视条件不敏感，可以作为在视觉感知条件受限时的补充，但目前基于无线感知的各种感知模型由于优质数据集的缺乏、标准不规范，导致实际感知结果的准确性不够高。

技术实现思路

1、本专利技术所要解决的技术问题是：提出一种基于wifi和视觉的多模态感知方法，本文档来自技高网...

【技术保护点】

1.一种基于wifi和视觉的多模态感知方法，应用于被感知空间，所述被感知空间中部署有视觉传感器和多个AP设备；所述多个AP设备之间进行组网；其特征在于，

2.如权利要求1所述的一种基于wifi和视觉的多模态感知方法，其特征在于，

3.如权利要求1所述的一种基于wifi和视觉的多模态感知方法，其特征在于，

4.如权利要求2所述的一种基于wifi和视觉的多模态感知方法，其特征在于，

5.如权利要求4所述的一种基于wifi和视觉的多模态感知方法，其特征在于，

6.如权利要求1所述的一种基于wifi和视觉的多模态感知方法，其特征在于，<...

【技术特征摘要】

1.一种基于wifi和视觉的多模态感知方法，应用于被感知空间，所述被感知空间中部署有视觉传感器和多个ap设备；所述多个ap设备之间进行组网；其特征在于，

2.如权利要求1所述的一种基于wifi和视觉的多模态感知方法，其特征在于，

3.如权利要求1所述的一种基于wifi和视觉的多模态感知方法，其特征在于，

4.如权利要求2所述的一种基于wifi和视觉的多...

【专利技术属性】
技术研发人员：刘锐锋，李铭聪，周旭成，钱良，邹书强，
申请(专利权)人：成都长虹网络科技有限责任公司，
类型：发明
国别省市：