基于头戴式毫米波雷达的第一人称姿态估计方法及系统技术方案

本发明专利技术公开了一种基于头戴式毫米波雷达的第一人称姿态估计方法及系统，首先通过与雷达集成的

【技术实现步骤摘要】
基于头戴式毫米波雷达的第一人称姿态估计方法及系统


[0001]本专利技术属于无线感知
，主要涉及了一种基于头戴式毫米波雷达的第一人称姿态估计方法及系统
。

技术介绍

[0002]人体姿态估计旨在重建三维身体动作，在许多应用领域中起着重要作用，如运动分析
、
人机交互
、
增强现实
(AR)、
虚拟现实
(VR)
和医疗康复
。
传统的人体姿态是通过安装在场景周围的运动捕捉设备
(
如摄像头
)
或大量穿戴在身体上的惯性测量单元
(IMU)
来捕捉的
。
然而，固定的运动捕捉设备基础设施受限于有限的感知范围，限制了人体运动的空间，因此无法满足涉及大范围移动的日常活动
。
另一方面，佩戴在身体上的
IMU
需要繁琐的设置和复杂的校准操作，给用户带来不便，并且阻碍了正常活动和社交互动
。
[0003]近年来，头戴设备
(
如
VR
眼镜和智能头盔
)
的普及启发了一种第一人称姿态估计的新方向
。
具体来说，它通过由用户佩戴的单个头戴设备来估计姿势，为用户提供了移动性和便利性
。
例如，
Apple Vision Pro
配备了多个摄像头，用于替代传统的手柄
。
然而，基于视觉的方法对光照条件
、
>烟雾
、
灰尘以及人体外观非常敏感，并经常引起隐私方面的问题
。
[0004]新兴的集成毫米波雷达具有低成本和小型化
(
约
10
厘米
)
，因此很容易嵌入到头戴设备
(
如
AR
头盔
)
中
。
此外，最近的应用展示了雷达在提供各种人体感知能力方面的潜力，同时对恶劣的光照或天气具有鲁棒性，保护隐私，对用户不具侵入性
。
基于雷达的第一人称姿态估计可以实现广泛的应用，如沉浸式虚拟现实
、
运动辅助分析
、
用于急救人员的
AR
视觉增强以及用于驾驶员的安全行为检测
。
[0005]尽管雷达在各种人体感知任务中取得了最近的成功，但第一人称视角对姿势估计提出了两个独特的挑战
。
首先，头戴设备是非静止的，因此雷达信号不仅包含姿势的变化，还包括由头部运动引起的随机设备移动
。
现有最先进的姿态估计方法无法捕捉稳定的时空特征，导致关节定位误差显著
(
最大可达
16
厘米
)。
其次，由于自上而下的视角，雷达信号在下半身受到镜面反射和上肢自遮挡的严重影响，导致雷达仅能感知到极少量的下肢运动，因此准确的估计下半身具有一定的挑战性
。

技术实现思路

[0006]本专利技术正是针对现有技术中姿态估计方法误差较大且下半身信息缺失的问题，提供一种基于头戴式毫米波雷达的第一人称姿态估计方法及系统，首先进行基于头部运动特征的雷达轨迹追踪，通过与雷达集成的
IMU
中获得雷达的运动数据，将运动数据送入神经网络学习后，获得雷达的相对
6D
轨迹；再将毫米波点云从雷达坐标系全部转换为
H
坐标系，解耦雷达运动的影响，通过神经网络学习上半身准确的关节位置；最后利用上半身和下半身之间的关联，通过神经网络分别对上半身骨架和下半身点云进行特征提取，并进行特征融合，学习人体运动先验，从而得到人体下半身准确的关节位置，最终完成全身的人体姿态估计
。
本方法利用人体运动先验成实现人体下半身的姿态估计，克服了下半身信息缺失的挑
战，实现了在各种环境下进行稳健的人体姿态估计并避免隐私泄露，更加的精准安全
。
[0007]为了实现上述目的，本专利技术采取的技术方案是：基于头戴式毫米波雷达的第一人称姿态估计方法，包括如下步骤
:
[0008]S1
，基于头部运动特征的雷达轨迹追踪：通过与雷达集成的
IMU
中获得雷达的运动数据，将运动数据送入神经网络学习后，获得雷达相对于
H
点的
6D
轨迹；所述
H
点为人体锁骨的中间位置；
[0009]S2
，基于雷达运动解耦的上半身姿态估计：将毫米波点云从雷达坐标系全部转换为
H
坐标系，解耦雷达运动的影响，通过神经网络学习上半身准确的关节位置；
[0010]S3
，基于人体运动先验的下半身姿态估计：利用上半身和下半身之间的关联，通过神经网络分别对上半身骨架和下半身点云进行特征提取，并进行特征融合，学习人体运动先验，从而得到人体下半身准确的关节位置
。
[0011]作为本专利技术的一种改进，所述步骤
S1
具体包括：
[0012]S11
：利用和雷达集成的
IMU
测量得到雷达的运动数据
,
其中第
t
帧包括3维加速度
α
t
、3
维角速度
ω
t
作为输入，经过一个
(6
，
512)
的全连接层
(FC)
将其映射为
512
维的特征向量；
[0013]S12
：在
20
帧特征序列上使用双向两层的长短期记忆神经网络
(LSTM)
提取微小运动特征，输出特征维度为
1024
维；
[0014]S13:
经过大小为
(1024
，
1)
的自注意力机制层
(self
‑
attention)
聚合每个时间步的特征，得到该
20
帧序列的特征表示；
[0015]S14:
多个聚合后的特征输入同样参数的
LSTM
提取剧烈运动特征，输出特征维度同样为
1024
维；
[0016]S15:
通过一个
(1024
，
9)
的全连接层将特征映射到雷达相对于
H
点的运动轨迹，即六维向量表示的朝向和三维向量表示的位置
H
点表示人体锁骨中间位置；
[0017]S16
：使用如下损失函数计算预测出的朝向和位置误差，计算梯度并进行反向传播，更新网络参数直至网络收敛：
[0018][0019]其中
α
,
β
为权重系数，
R
t
为真实的雷达朝向，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于头戴式毫米波雷达的第一人称姿态估计方法，其特征在于，包括如下步骤
:S1
，基于头部运动特征的雷达轨迹追踪：通过与雷达集成的
IMU
中获得雷达的运动数据，将运动数据送入神经网络学习后，获得雷达相对于
H
点的
6D
轨迹；所述
H
点为人体锁骨的中间位置；
S2
，基于雷达运动解耦的上半身姿态估计：将毫米波点云从雷达坐标系全部转换为
H
坐标系，解耦雷达运动的影响，通过神经网络学习上半身准确的关节位置；
S3
，基于人体运动先验的下半身姿态估计：利用上半身和下半身之间的关联，通过神经网络分别对上半身骨架和下半身点云进行特征提取，并进行特征融合，学习人体运动先验，从而得到人体下半身准确的关节位置
。2.
如权利要求1所述的基于头戴式毫米波雷达的第一人称姿态估计方法，其特征在于：所述步骤
S1
具体包括：
S11
：利用和雷达集成的
IMU
测量得到雷达的运动数据
,
其中第
t
帧包括3维加速度
α
t
、3
维角速度
ω
t
作为输入，经过一个
(6
，
512)
的全连接层
(FC)
将其映射为
512
维的特征向量；
S12
：在
20
帧特征序列上使用双向两层的长短期记忆神经网络
(LSTM)
提取微小运动特征，输出特征维度为
1024
维；
S13:
经过大小为
(1024
，
1)
的自注意力机制层
(self
‑
attention)
聚合每个时间步的特征，得到该
20
帧序列的特征表示；
S14:
多个聚合后的特征输入同样参数的
LSTM
提取剧烈运动特征，输出特征维度同样为
1024
维；
S15:
通过一个
(1024
，
9)
的全连接层将特征映射到雷达相对于
H
点的
6D
运动轨迹，即六维向量表示的相对朝向和三维向量表示的相对位置
H
点表示人体锁骨中间位置；
S16
：使用如下损失函数计算预测出的朝向和位置误差，计算梯度并进行反向传播，更新网络参数直至网络收敛：其中
α
,
β
为权重系数，
R
t
为真实的雷达朝向，
p
t
为雷达真实的位置，
T1为点云帧序列长度
。3.
如权利要求2所述的基于头戴式毫米波雷达的第一人称姿态估计方法，其特征在于：所述步骤
S2
具体包括：
S21
：基于步骤
S1
得到的雷达相对朝向
R
和位置
t
，将毫米波雷达反射人体得到的点云坐标转换到
H
坐标系，其中每个点由六维向量表示，包括
xyz
三维坐标
、
距离
r、
速度
v
以及强度
s
；
S22
：将点云输入到共享参数的多层感知机
(shared
‑
MLP)
中进行特征提取，其大小为
(6
，
16
，
32
，
64)
，每一层之后使用批归一化
(BN)
和
ReLU
激活函数；
S23
：使用
(64
，
1)
的自注意力机制自适应学习每个点的权重，对不同点的特征进行聚合，得到帧级的高维特征表示；
S24
：帧级的特征表示输入三层双向的
LSTM
中提取时间序列特征，输出特征为
128
维；
S25
：大小为
(128
，
64
，
42)
的多层感知机
(MLP)
将时间序列特征映射到上半身关节相对于其父关节的旋转角度
RJ
i
，其中
i
＝
1,2,
…
,14
，
RJ
i
用六维向量表示；
S26
：将六维旋转表示使用
Schmidt
正交化转换为旋转矩阵表示，应用人体正向运动学
(forwa...

【专利技术属性】
技术研发人员：王帅，梅洛瑜，李文炜，
申请(专利权)人：东南大学，
类型：发明
国别省市：