基于毫米波雷达信号的人体活动成像的训练方法及系统技术方案

本发明专利技术公开了一种基于毫米波雷达信号的人体活动成像的训练方法，包括：获取训练样本，训练样本包括源视频图像样本和射频信号样本；构建生成对抗网络并初始化生成对抗网络参数，生成对抗网络包括生成部和判别部；获得第一水平特征图和第一垂直特征图；获得第一射频融合表征；获取生成图像；获得第二水平特征图和第二垂直特征图；获得第二射频融合表征；获取第一判别结果；获取第一拼接图像；获取第二拼接图像；获取第二判别结果；利用第一判别结果和第二判别结果对生成部和判别部的参数进行优化；当第一判别结果和第二判别结果的准确率稳定在预设范围内时，获得优化后的生成部。本发明专利技术还公开了一种基于毫米波雷达信号的人体活动成像方法及系统。动成像方法及系统。动成像方法及系统。

【技术实现步骤摘要】
基于毫米波雷达信号的人体活动成像的训练方法及系统


[0001]本专利技术属于无线感知与计算机视觉的交叉领域，具体涉及一种基于毫米波雷达信号的人体活动成像的训练方法，同时还涉及一种基于毫米波雷达信号的人体活动成像方法及系统。

技术介绍

[0002]在智能家居场景中，近年来已有多项工作使用无线传感设备来感知和理解人体活动，即通过分析从人体反射的无线信号，目前已设计出多种无线感知系统来追踪人体的位置，动作和生命体征等。然而，现有的这类系统大多只能粗略的感知人体，相比于摄像机捕捉的画面，其缺少了更丰富的视觉信息。对于摄像机而言，由于其依赖可见光，导致往往无法拍摄到被遮挡的或黑暗环境下的物体或人。即使有少数基于Wi
‑
Fi信号的人体姿势成像系统，但由于Wi
‑
Fi信号的不稳定性，导致其无法广泛使用。

技术实现思路

[0003]有鉴于此，本专利技术提供了一种基于毫米波雷达信号的人体活动成像的训练方法，同时还提供了一种基于毫米波雷达信号的人体活动成像方法及系统，以期至少部分地解决上述提及的技术问题中的至少之本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达信号的人体活动成像的训练方法，包括：获取训练样本，所述训练样本包括源视频图像样本和射频信号样本；其中，所述源视频图像样本包括初始图像和真实图像，所述初始图像和真实图像对应所述源图像样本的不同帧；所述射频信号样本包括通过毫米波雷达获得的携带有目标人体射频图像信息的水平方向射频信号和垂直方向射频信号；构建生成对抗网络并初始化所述生成对抗网络参数，其中，所述生成对抗网络包括生成部和判别部，所述生成部包括第一射频提取网络和生成器，所述判别部包括第二射频提取网络、活动判别器和外观判别器；将所述水平方向射频信号和所述垂直方向射频信号输入到所述生成部中，利用所述第一射频提取网络处理所述水平方向射频信号和所述垂直方向射频信号，获得第一水平特征图和第一垂直特征图；通过射频融合操作并结合所述第一水平特征图和所述第一垂直特征图，获得第一射频融合表征；将所述初始图像和所述第一射频融合表征输入到所述生成器中，利用所述生成器获取生成图像；将所述水平方向射频信号和所述垂直方向射频信号输入到所述判别部中，利用所述第二射频提取网络处理所述水平方向射频信号和所述垂直方向射频信号，获得第二水平特征图和第二垂直特征图；通过射频融合操作并结合所述第二水平特征图和所述第二垂直特征图，获得第二射频融合表征；将所述真实图像、所述生成图像和所述第二射频融合表征输入到所述活动判别器中，由所述活动判别器以所述第二射频融合表征作为判别条件，获取第一判别结果；将所述初始图像和所述真实图像进行拼接，获取第一拼接图像；将所述初始图像和所述生成图像进行拼接，获取第二拼接图像；将所述第一拼接图像和所述第二拼接图像输入到所述外观判别器中，获取第二判别结果；利用所述第一判别结果和所述第二判别结果对所述生成部和所述判别部的参数进行优化；当所述第一判别结果和所述第二判别结果的准确率稳定在预设范围内时，则停止对所述生成部参数和所述判别部参数的迭代优化，获得优化后的生成部。2.根据权利要求1所述的训练方法，其中，所述第一射频提取网络包括第一卷积神经网络、第二卷积神经网络和第一融合器，其中，所述第一卷积神经网络用于处理所述水平射频信号，获取所述第一水平特征图；所述第二卷积神经网络用于处理所述垂直射频信号，获取所述第一垂直特征图；所述第一融合器，用于通过射频融合操作并结合所述第一水平特征图和所述第一垂直特征图，获取所述第一射频融合表征。3.根据权利要求1所述的训练方法，其中，所述第二射频提取网络包括第三卷积神经网络、第四卷积神经网络和第二融合器，其中，所述第三卷积神经网络用于处理所述水平射频信号，获取所述第二水平特征图；
所述第四卷积神经网络用于处理所述垂直射频信号，获取所述第二垂直特征图；所述第二融合器，用于通过射频融合操作并结合所述第二水平特征图和所述第二垂直特征图，获取所述第二射频融合表征。4.根据权利要求1所述的训练方法，其中，所述获取训练样本包括：利用光学成像设备获取源视频图像样本；通过毫米波雷达发射探测信号，用于探测目标人体，并通过毫米波雷达采集携带有所述目标人体射频图像信息的射频信号样本；通过对所述水平方向射频信号和所述垂直方向射频信号进行时间维度上的差分运算对所述射频信号样本进行预处理，得到处理后的射频信号样本；其中，所述构建生成对抗网络并初始化所述生成对抗网络参数进一步包括：获取所述生成器的特征；获取所述活动判别器的特征。5.根据权利要求1所述的训练方法，其中，所述第一射频融合表征由式(1)表示：其中，R1(i，j)为所述第一射频融合表征中点(i，j)处的值，H1(i)表示所述第一水平特征图中第i个特征向量，V1(j)
T
表示所述第一垂直特征图中第j个特征向量的转置，用于调节值的大小；其中，所述第二射频融合表征由式(2)表示：其中，R2(i，j)为所述第二射频融合表征中点(i，j)处的值，H2(i)表示所述第二水平特征图中第i个特征向量，V2(j)
T
表示所述第二垂直特征图中第j个特征向量的转置，用于调节值的大小。6.根据权利要求4所述的训练方法，其中，对所述生成器的特征进行基于所述预处理后的射频信号的条件归一化操作；对所述活动判别器的特征进行基于所述预处理后的射频信号的条件归一化操作；其中，所述条件归一化操作由式(3)表示：其中，f
n...

【专利技术属性】
技术研发人员：陈彦，俞聪，张东恒，张冬，孙启彬，吴曼青，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：