基于多模态特征融合的毫米波雷达手语识别方法和系统技术方案

本发明专利技术提供了一种基于多模态特征融合的毫米波雷达手语识别方法和系统，本发明专利技术一方面利用同一人体关键点时间上紧密相关，不同人体关键点空间上紧密相关的特点，构建Transformer‑Pose网络，并利用跨模态监督的方式训练网络，将距离‑多普勒‑角度序列处理成精细的人体骨架信息，避免了低分辨率雷达图像产生信息冗余，造成手语识别网络准确率下降的问题；另一方面充分考虑了人体姿态信息和手部运动信息对手语识别的作用，将雷达回波数据处理为表征人体姿态信息的人体骨架数据，以及表征手部运动信息的多普勒数据，并将这些多模态数据的特征进行融合，得到手语识别的结果，减弱了姿势相近或运动趋势相近的手语之间的混淆，提升了手语识别准确率。

【技术实现步骤摘要】

本专利技术涉及毫米波雷达的，具体涉及一种基于多模态特征融合的毫米波雷达手语识别方法和系统。

技术介绍

1、手语是利用姿势和姿势的变化模拟语言的一种工具。手语识别技术可以自动地将手语翻译成文本或语音等信息，可应用于残疾人出行、居家生活、就业创业，方便残疾人获取信息和服务，充分参与社会生活。相比于其他手语识别设备，毫米波雷达具有体积小、非接触、不依赖光线、保护隐私等优点，受到广泛关注。

2、目前，基于毫米波雷达的手语识别方法，先将采集的雷达数据利用傅里叶变换、短时傅里叶变换等信号处理方法得到雷达距离-多普勒图、距离－角度图、微多普勒图等；然后，将这些信号处理结果图输入到深度神经网络中，进行特征提取和特征融合，最终输出手语识别的结果。

3、现有的基于雷达的手语识别方法中，大部分方法只利用了雷达数据中可以反映姿势变化的多普勒特征进行手语识别，这类手语识别网络架构简单，易训练，但忽略了人体姿态信息，对手部运动趋势相近的手语易产生混淆。随后，研究人员开始将能反映目标位置和运动信息的雷达数据，包括距离－角度图、距离-多普勒图等，同时输入到手语识别本文档来自技高网...

【技术保护点】

1.一种基于多模态特征融合的毫米波雷达手语识别方法，其特征在于，包括：

2.如权利要求1所述的基于多模态特征融合的毫米波雷达手语识别方法，其特征在于，所述并对所述雷达回波数据进行处理，分别得到垂直向和水平向的距离-多普勒-角度序列、距离-多普勒序列和微多普勒图，包括：

3.如权利要求1所述的基于多模态特征融合的毫米波雷达手语识别方法，其特征在于，所述将所述垂直向和水平向的距离-多普勒-角度序列输入至Transformer-Pose网络模型处理，输出得到人体关键点置信图，包括：

4.如权利要求3所述的基于多模态特征融合的毫米波雷达手语识别方法，其特征在于...

【技术特征摘要】

1.一种基于多模态特征融合的毫米波雷达手语识别方法，其特征在于，包括：

2.如权利要求1所述的基于多模态特征融合的毫米波雷达手语识别方法，其特征在于，所述并对所述雷达回波数据进行处理，分别得到垂直向和水平向的距离-多普勒-角度序列、距离-多普勒序列和微多普勒图，包括：

3.如权利要求1所述的基于多模态特征融合的毫米波雷达手语识别方法，其特征在于，所述将所述垂直向和水平向的距离-多普勒-角度序列输入至transformer-pose网络模型处理，输出得到人体关键点置信图，包括：

4.如权利要求3所述的基于多模态特征融合的毫米波雷达手语识别方法，其特征在于，所述编码器和解码器，包括：

【专利技术属性】
技术研发人员：董锡超，崔畅，魏贵延，胡程，鲁俊，
申请(专利权)人：北京理工大学重庆创新中心，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人