一种基于联合学习的动态毫米波雷达点云人体解析方法技术

本发明专利技术其所属技术领域为物联网感知，设计了一种基于联合学习的动态毫米波雷达点云人体解析方法，尤其是基于毫米波感知的人体解析。当前以人为中心的毫米波感知大多集中于动作识别、姿势估计等场景，但它们通常无法获取毫米波点云的语义信息，即无法分辨每个雷达点对应的身体部位信息，因此需要一种动态毫米波雷达点云人体解析方案。本方法的内容包括：对于毫米波点云数据，首先进行聚类，之后使用多任务学习模型联合执行人体解析和姿态估计任务进行特征提取，再通过非局部网络进行多任务特征融合，最终输出结果为是带注释语义标签的点云。点云。点云。

【技术实现步骤摘要】
一种基于联合学习的动态毫米波雷达点云人体解析方法


[0001]本专利技术涉及于物联网感知
，尤其涉及一种基于联合学习的动态毫米波雷达点云人体解析方法。

技术介绍

[0002]感知和理解人类活动在以人为中心的智能应用中扮演着越来越重要的角色。传统方法采用摄像头或身体接触式传感器，易受恶劣环境影响，存在隐私问题。在人类感知方面，近年来出现了使用毫米波雷达的研究热潮，并证明了其在手势和活动识别、姿势估计、身份识别等方面的有效性。但这些任务通常无法明确获取毫米波点云的语义信息，即难以分辨每个雷达点对应的身体部位信息，实现人体解析。
[0003]在人体感知应用中，不断需要细粒度的身体部位信息，而这种语义信息的缺乏极大地限制了毫米波雷达在日常生活中成为人本计算的使能技术。同时，将语义信息作为额外的信息输入通道可以使人类感知任务更具鲁棒性。各种计算机视觉任务已经证实，包含语义信息输入可以显著提高姿势估计、活动识别和人物识别的准确性，这种优势对于毫米波雷达来说更为突出，因为毫米波点云本质上比视觉传感器的图像质量更低。因此需要一种技术方案，实现动态毫米波雷达点云人体解析任务，得到带有身体部位语义信息标签的点云。
[0004]毫米波点云的稀疏特性使得特征提取面临挑战：受限于单芯片和天线尺寸，毫米波点云极其稀疏，这种稀疏性使得即使用人类肉眼也很难从点云中感知到人体的详细结构。采用现有深度神经网络模型提取包含人体结构信息(如姿势)的特征具有挑战性，这将直接影响人体解析任务。
[0005]镜面反射造成毫米波点云数据中身体部位缺失：受限于低成本毫米波雷达较小的天线孔径，大部分人体反射信号没有返回到传感器，出现镜面反射，导致点云中身体部位缺失，最终导致错误的解析结果。

技术实现思路

[0006]为解决上述问题，本专利技术公开了一种基于联合学习的动态毫米波雷达点云人体解析方法；本专利技术对于毫米波点云数据，首先进行聚类，之后通过多任务学习模型联合执行人体解析和姿态估计任务进行特征提取，再通过非局部网络进行多任务特征融合，最终输出结果为是带注释语义标签的点云。
[0007]具体的技术方案如下：
[0008]步骤1：通过多任务特征提取模块解决毫米波点云的稀疏性；采用多任务学习模型联合执行人体解析的主要任务和姿态估计的辅助任务；辅助任务可以有效引导人类解析网络提取代表受试者姿势的高级结构特征；由于人体姿势和人体解析之间具有强相关性，人体姿势相关特征有助于提高解析网络在预测语义标签时的准确性和鲁棒性；对于人类解析和姿态估计任务，多任务学习模型并行提取相应的特征；步骤2；通多任务特征融合模块解
决镜面反射造成点云数据中身体部位缺失问题；从非局部网络(NLN)中获得灵感，设计了一种多任务特征融合方法，结合了任务内注意和任务间注意机制，实现了从全局角度聚合主体的时空特征；
[0009]步骤3：多任务监督，在系统离线训练阶段，本专利技术采用Kinect系统，用来得到人体解析标签和姿态估计标签的真实值。
[0010]进一步的，所述步骤1具体来说，多任务学习模型可分为包括点模块、帧模块和特征聚合模块，模型的输入为长度为s的帧序列，每一帧包含n个点，每个点包含d个特征维度；
[0011]步骤1.1:人体解析特征提取；
[0012]在点模块，对于t时刻对应帧的点集合C
t
中的任一雷达点p
i,t
，采用多呈感知机(MLP)得到点的高维特征表示，即点特征其公式为：
[0013][0014]其中θ
e
表示MLP的可学习参数，H表示人体解析任务。
[0015]在帧模块，对于每个雷达点p
i,t
的点特征首先编码为更高维度的特征表示形式其公式为：
[0016][0017]其中θ
h
表示MLP的可学习参数；
[0018]步骤1.2：人体姿态特征提取；
[0019]对于人体姿态特征的提取，使用与人体解析特征提取略微不同的网络架构；具体来说，对于任一帧的帧特征使用长短期记忆网络(LSTM)进行处理；其公式为：
[0020][0021]其中θ
r
表示LSTM的参数。
[0022]最后，将与人体姿态任务的点特征连接，得到姿态估计任务下该帧中每个点的特征向量其公式为：
[0023][0024]进一步的，所述步骤1.1中，将帧中所有点的点特征聚合为帧特征以提取帧的全局信息；其公式为：
[0025][0026]其中N为t时刻对应帧包含点的个数，A()代表注意力函数，为θ
a
表示注意力函数的可学习参数；
[0027]最后，将帧特征连接到点特征获得人体解析任务下该帧中每个点的特征
向量其公式为：
[0028][0029]进一步的，所述步骤2分别使用两个并行的NLN执行人体解析和姿态估计任务；具体如下：
[0030]步骤2.1：任务内注意力机制，对于人体解析任务，解析NLN将一系列解析特征作为输入，并执行任务自我关注，以聚合不同帧的特征；这将生成一个全局上下文，用于对每个帧中的身体部位进行分类，以解决由于局部帧中的镜面反射而丢失身体部位的问题；
[0031]步骤2.2：任务间注意力机制；为了融合人体解析和姿态估计任务中的特征，需找出解析特征和姿态特征之间的相关性，采用任务间注意力机制，以计算解析特征与姿态特征的时空相关性；对于解析任务，本方法将姿态估计特征输入解析NLN，首先对解析特征矩阵Z
H
和姿态特征矩阵Z
P
进行线性变换，之后对结果进行点积和归一化，最终得到人体解析任务的任务间注意力矩阵a
H
→
P
；
[0032]步骤2.3特征聚合：利用任务内和任务间注意力矩阵，本专利技术融合所有帧中的人体解析特征和姿势估计特征，以预测特定帧中点的身体部分。
[0033]步骤2.4：模型输出；人体解析特征Y
H
和姿态估计特征Y
P
分别由多层感知机和全连接神经网络处理，最终的输出为人体部位分类信息和人体骨骼关键点位置信息。
[0034]进一步的，所述步骤2.1：对于解析任务，首先将所有时间序列内所有点的点特征堆叠为特征矩阵Z
H
，之后，将Z
H
经线性变换转换得到嵌入向量和进一步，为了估计每组帧中点之间的时空相关性，通过非线性函数对嵌入向量进行点积和归一化处理，得到人体解析任务下的任务内注意力矩阵a
H
。公式如下：
[0035][0036]其中σ表示非线性函数，和代表线性变换的参数。
[0037]类似地，在姿态估计任务中，结果同样的处理过程，得到相应任务内注意力矩阵a
P
；公式如下：
[0038][0039]其中σ表示非线性函数，和代表线性变换的参数，Z
P
表示姿态估计任务下所有时间序列内所有点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联合学习的动态毫米波雷达点云人体解析方法，其特征在于：包括以下步骤：步骤1：通过多任务特征提取模块解决毫米波点云的稀疏性；采用多任务学习模型联合执行人体解析的主要任务和姿态估计的辅助任务；辅助任务可以有效引导人类解析网络提取代表受试者姿势的高级结构特征；由于人体姿势和人体解析之间具有强相关性，人体姿势相关特征有助于提高解析网络在预测语义标签时的准确性和鲁棒性；对于人类解析和姿态估计任务，多任务学习模型并行提取相应的特征；步骤2；通多任务特征融合模块解决镜面反射造成点云数据中身体部位缺失问题；从非局部网络中获得灵感，设计了一种多任务特征融合方法，结合了任务内注意和任务间注意机制，实现了从全局角度聚合主体的时空特征；步骤3：多任务监督，在系统离线训练阶段，本发明采用Kinect系统，用来得到人体解析标签和姿态估计标签的真实值。2.根据一种基于联合学习的动态毫米波雷达点云人体解析方法，其特征在于：所述步骤1具体来说，多任务学习模型可分为包括点模块、帧模块和特征聚合模块，模型的输入为长度为s的帧序列，每一帧包含n个点，每个点包含d个特征维度；步骤1.1:人体解析特征提取；在点模块，对于t时刻对应帧的点集合C
t
中的任一雷达点p
i,t
，采用多呈感知机得到点的高维特征表示，即点特征其公式为：其中θ
e
表示MLP的可学习参数，H表示人体解析任务；在帧模块，对于每个雷达点p
i,t
的点特征首先编码为更高维度的特征表示形式其公式为：其中θ
h
表示MLP的可学习参数；步骤1.2：人体姿态特征提取；对于人体姿态特征的提取，使用与人体解析特征提取略微不同的网络架构；具体来说，对于任一帧的帧特征使用长短期记忆网络进行处理；其公式为：其中θ
r
表示LSTM的参数；最后，将与人体姿态任务的点特征连接，得到姿态估计任务下该帧中每个点的特征向量其公式为：3.根据一种基于联合学习的动态毫米波雷达点云人体解析方法，其特征在于：所述步骤1.1中进一步，将帧中所有点的点特征聚合为帧特征以提取帧的全局信息；其公
式为：其中N为t时刻对应帧包含点的个数，A()代表注意力函数，为θ
a
表示注意力函数的可学习参数；最后，将帧特征连接到点特征获得人体解析任务下该帧中每个点的特征向量其公式为：4.根据权利要求1所述的一种基于联合学习的动态毫米波雷达点云人体解析方法，其特征在于：所述步骤2分别使用两个并行的NLN执行人体解析和姿态估计任务；具体如下：步骤2.1：任务内注意力机制，对于人体解析任务，解析NLN将一系列解析特征作为输入，并执行任务自我关注，以聚合不同帧的特征；这将生成一个全局上下文，用于对每个帧中的身体部位进行分类，以解决由于局部帧中的镜面反射而丢失身体部位的问题；步骤2.2：任务间注意力机制；为了融合人体解析和姿态估计任务中的特征，需找出解析特征和姿态特征之间的相关性，采用任务间注意力机制，以计算解析特征与姿态特征的时空相关性；对于解析任务，本方法将姿态估计特征输入解析NLN，首先对解析特征矩阵Z
H
和姿态特征矩阵Z
P
进行线性变换，之后对结果进行点积和归一化，最终得到人体解析任务的任务间注意力矩阵a
H
→
P
；步骤2.3特征聚...

【专利技术属性】
技术研发人员：王帅，梅洛瑜，曹东江，史瑞签，
申请(专利权)人：东南大学，
类型：发明
国别省市：