一种基于毫米波雷达的人体姿态追踪方法技术

一种基于毫米波雷达的人体姿态追踪方法，将射频信息处理为水平加垂直热图作为神经网络的输入，使用自下而上的方法输出人体姿态；同步获取场景中视觉和射频信息；以HRNet作为教师网络，使用N

【技术实现步骤摘要】
一种基于毫米波雷达的人体姿态追踪方法


[0001]本专利技术属于无线感知与计算机视觉交叉领域，具体涉及一种基于毫米波雷达的人体姿态追踪方法。

技术介绍

[0002]基于视觉的人体姿态追踪是估计多人姿态(Human Pose Estimation，HPE)并为帧中的每个对象分配唯一实例ID的任务。系统通常包括图像采集设备和后台处理设备，通常使用一个或多个摄像头采集人体日常活动的视频，通过网络通信传送到后台处理系统，系统从视频帧中分离出前景，提取目标人体的特征信息包括静态特征和动态特征，根据这些特征值的变化，结合深度学习的方法进行姿态估计并追踪。
[0003]目前基于视觉的HPE性能上已经取得了一定的进步，但是在应用领域上仍然存在着局限性。在场景光线昏暗的情况下，摄像头将会面临光线昏暗的问题，再加上人体之间相互遮挡，会大幅度的降低检测的准确率和轨迹跟踪的性能。并且摄像头是入侵性的，在某些方面，存在隐私侵犯问题。比如，某些场景下，对于基于姿态的方法做跌倒检测，以及在敏感环境中的行为识别，视觉的方法会涉及到严重的隐私问题。

技术实现思路

[0004]本专利技术主要解决的技术问题是提出一种基于毫米波雷达的人体姿态追踪实现。能够在环境光线昏暗，电磁波，摄像头视距等限制因素都被革除的同时保证数据隐私性，并实现高效的人体姿态追踪。
[0005]在姿态估计工作上，为了表示从输入数据中提取的关键点和特征，本专利技术选择采用的人体动力学模型(骨骼模型)，能够有效的展现人体在二维像素平面中的姿态数据和运动行为，并且计算成本开模型构建成本较低。本专利技术提出使用跨监督学习方法，使用视觉信息辅助雷达学习射频信息中的人体信息，并使用自下而上的方法实现人体姿态估计。在训练完成以后，后期雷达射频网络能够仅仅以射频信息作为输入，估计人体姿态。本专利技术使用卡尔曼滤波器进行运动预测和补偿，能够有效地在人体在被遮挡的情况下，预测被遮挡对象的关键点数据。在卡尔曼滤波器的预测信息以及网络输出的姿态信息与新到达的度量信息之间的关联问题解决方案上，本专利技术建立一个分配问题，使用匈牙利算法计算。
[0006]一种基于跨监督学习的毫米波雷达的人员人体姿态追踪方法，包含以下步骤：
[0007]步骤1，获取数据。本专利技术使用单目摄像头和三发射四接收天线的RWX6843毫米波雷达同步采集图像数据I和雷达原始射频数据R。图像采集帧率和雷达数据采集帧率设置为20。
[0008]步骤2，选取教师网络。本专利技术使用HRNet作为教师网络，HRNet从高分辨率子网作为第一阶段始，逐步增加高分辨率到低分辨率的子网，形成更多的阶段，并将多分辨率子网并行连接，所以能在网络中随时保持高分辨率表示。网络最终从图像数据I中提取14个人体骨骼关键点，得到每个关键点的像素坐标，实现人体姿态估计，教师网络的数据输出是一个
形式为(N,C,F,V,M)的五维张量信息。N表示网络输入图片的数量，C表示通道，代表像素坐标系下的横纵坐标以及置信分数；F表示帧数，V表示关键点个数，M表示人数。
[0009]步骤3，雷达数据处理。采集到的雷达数据的形式为(S，L，X，F)，S为采样点samples，L表示每秒发射chirp的数量，X表示通道数channel，对应雷达的发射和接收天线，F表示射频数据获取的帧数。对采集到的数据做维度变换以及傅里叶变换，得到水平H和垂直热图V。
[0010]步骤4，训练学生网络S。将水平垂直热图(H,V)输入学生网络的两个分支编码网络(E
v
,E
h
)。(E
v
,E
h
)射频编码网络的构建，编码网络为共计10层的9
×5×
5的卷积网络，随后对结果做批处理归一化，并在每一层的最后使用RELU激活函数。图像数据I输入教师监督网络T完成实现基于视觉的人体姿态估计，得到14个人体关键点的像素坐标，并将结果T(I)作为标签训练学生网络S。学生网络的学习目的是最小化和教师网络预测关键点像素坐标之间的差异。最终输出人体的姿态信息，每一帧都包含不同人员对应的姿态数据，数据输出形式同教师网络的输出。
[0011]步骤5，人员追踪。本专利技术使用卡尔曼滤波器实现运动预测，对于上一步骤产生的姿态数据，预测下一帧中目标可能出现的位置。本专利技术创建并维护每一帧对象检测的轨迹(Tracks)，既为每一个对象创建一个轨迹集。当帧中的对象出现在第一帧中时，或者出现不能与现有对象匹配的对象时，会被建立新的轨迹(Tracks)。
[0012]步骤6，姿态匹配。本专利技术使用匈牙利算法实现预测对象和检测对象之间的关联问题。将当前帧预测的下一帧对象可能存在的位置和下一帧学生网络S检测出的人体位置进行匹配关联。
[0013]然而在配对过程中可能会发生失败的现象，具体分为以下几种情况，并阐述应对方法：
[0014](1)新目标出现。出现新目标以后，新检测到的目标(Detections)不能和原有轨迹集(Tracks)中目标关联，因为卡尔曼滤波器并没有该新对象的历史信息，不能做出预测。既出现匹配失败的情况。这时建立新的轨迹集，并将出现的新目标添加进轨迹集中。
[0015](2)已存在目标消失。场景中存在的目标，在离开场景以后，其对应的轨迹集会被标记为不激活状态，在连续多帧内仍然不被添加对象以后，删除轨迹集。
[0016](3)噪声。可能因为场景中存在的噪声或者是检测算法的误检测，导致检测结果不能和卡尔曼滤波器的预测结果对应。该情况可以在连续多帧内将检测和轨迹集匹配过滤。
[0017]本专利技术的有益效果：
[0018](1)相比传统的基于视觉的人体姿态追踪算法在场景光线昏暗的情况下，摄像头采集的数据就会面临很大的问题，模糊的人体再加上遮挡情况，会大幅度的降低检测的准确率和轨迹跟踪的性能。在某些方面，摄像头存在隐私侵犯问题。比如，在检测老年人浴室是否摔倒的问题上，摄像头就存在严重的隐私侵犯问题。本专利技术基于毫米波雷达不受视距，光线强度不利因素的影响，并且雷达数据不能被直接读取出有效的信息，能够保护用户的隐私性。
[0019](2)本专利技术采用的方法使用射频数据作为输入，由于射频信息无法直接打标签，使用跨监督模式学习，解决射频信息无法被标注人体姿态的问题。
[0020](3)本专利技术使用卡尔曼滤波器有效的解决人体之间相互遮挡，检测模型不能正常
预测的情况，并使用匈牙利算法有效的实现姿态数据之间的关联。
附图说明
[0021]图1是本专利技术实施例中的教师学生网络神经网络图。
[0022]图2是本专利技术实施例中的卡尔曼滤波器工作流程图。
[0023]图3是本专利技术实施例中的教师学生网络工作流程图。
具体实施方式
[0024]下面结合说明书附图对本专利技术的技术方案做进一步的详细说明。
[0025]本专利技术是一种基于跨监督学习的毫米波雷达人体姿态追踪方法。首先获取RGB图像数据I，毫米波雷达同步的获取雷达回波信息R。使用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达的人体姿态追踪方法，其特征在于：所述方法包括如下步骤：步骤1，数据采集；获取图像数据I和雷达原始射频数据R；步骤2，教师网络选取；选择使用HRNet网络为教师网络，将图像数据I输入教师网络HRNet网络得到的人体姿态估计结果T
i
，T
i
是一个形式为(N,C,F,V,M)的五维张量信息，N表示网络输入的batch
‑
size，C表示通道，代表像素坐标系下的横纵坐标以及置信分数，F表示帧数，V表示关键点个数，M表示人数；将T
i
作为标签信息，监督学生射频网络学习得到结果S(R)；步骤3，雷达数据处理；采集到的雷达数据的形式为(S,L,X,F)，S为采样点sample，L表示每秒发射chirp的数量，X表示雷达数据的通道数channel，代表雷达的发射和接收天线，F表示数据获取的帧数；对采集到的数据进行维度变换以及傅里叶变换，得到水平热图H和垂直热图V；步骤4，学生网络训练；将水平垂直热图并行输入射频编码网络E，分别做编码处理，经过编码以后再将二者信息按通道维度拼接，将聚合后的信息再次输入编码网络D；将教师网络输出的人体姿态估计结果作为标签训练学生网络；步骤5，姿态追踪；使用卡尔曼滤波器实现运动的预测和更新；步骤6，数据关联；使用匈牙利算法，在每个人员检测和保持跟踪的目标之间创建关联，使组合的距离损失最小化，输出最终跟踪结果。2.根据权利要求1所述的一种基于毫米波雷达的人体姿态追踪方法，其特征在于：步骤1中，使用单目摄像头和三发射四接收天线的RWX6843毫米波雷达配合同步采集图像数据I和雷达原始射频数据R。3.根据权利要求2所述的一种基于毫米波雷达的人体姿态追踪方法，其特征在于：图像采集帧率和雷达数据采集帧率设置为20FPS。4.根据权利要求1所述的一种基于毫米波雷达的人体姿态追踪方法，其特征在于：步骤2中，HRNet从高分辨率子网作为第一阶段始，逐步增加高分辨率到低分辨率的子网，形成更多的阶段，并将多分辨率子网并行连接，所以能在网络中随时保持高分辨率表示。5.根据权利要求1所述的一种基于毫米波雷达的人体姿态追踪方法，其特征在于：步骤4中，射频编码网络E为共计10层的9
×5×
5的卷积网络，随后对结果做批处理归一化，并在每一层的最后使用RELU激活函数。6.根据权利要求5所述的一种基于毫米波雷达的人体姿态追踪方法，其特征在于：步骤4中，对于射频编码网络E，每次输入500帧的热图信息，...

【专利技术属性】
技术研发人员：韩崇，郭澳，孙力娟，郭剑，王娟，薛景，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：