【技术实现步骤摘要】
本专利技术属于无线感知和人机交互领域，尤其涉及雷达人体姿态感知。
技术介绍
1、随着人类社会进步与科技发展，人体姿态感知在社会公共安全、反恐救援、智慧医疗、人机交互等领域扮演着越来越重要的角色。在反恐救援领域，人体姿态感知能够监测墙后不法分子的姿态，从而提供精确的位置和行为信息。在灾后救援行动中，对废墟后受难者的姿态检测和感知可以节约宝贵的救援时间，助力救援行动。在智慧医疗方面，人体姿态感知能够对老年人的日常姿态进行监测和分析，可以在发病初期感知肢体表现出的异常姿态并及时进行防治，节省人工监测成本的同时也保障了病人安全。
2、目前，针对人体姿态感知常见的实现方式主要包括：基于可穿戴设备，基于视觉设备，基于射频设备。此外，也有一些学者利用超声模块、激光雷达等设备进行感知，但是由于超声波穿透力差，激光雷达成本高昂，且无法穿透障碍物等缺点，限制了其在现实场景中的应用。
3、基于可穿戴设备的人体姿态感知在手腕，脚踝，胸口等身体部位佩戴小型传感器，通过检测分析人体动作所产生的加速度、速度、角速度、压力等物理参数的明显变化来实现人体姿态的实时感知。但可穿戴设备容易遗失，束缚了人体的行动，对用户生活造成许多不便的影响，不适于长期监测。
4、虽然基于视觉的人体姿态感知方法能够实现对多目标的姿态进行高精度感知，然而相机等视觉设备容易受到光照条件和遮挡物的影响。对于室内某些特定的感知场景，例如在卧室内对病人进行睡眠监测，视觉设备会极大地侵犯患者的隐私。
5、基于射频信号的人体姿态感知使用位于周围环境中
6、基于射频信号的人体姿态感知主要利用wifi、雷达等设备。wifi信号带宽较低，容易受到多径效应和路径衰减的影响，只能感知较为简单的情况，不能用于细粒度的感知任务。与wifi相比，雷达具有更宽的带宽和更窄的波束，能够分辨出距离较近的小目标，并能更清楚地看到目标的细节。此外，雷达多天线的设计可以直接用于检测接收信号的到达方向，而wifi很难做到这一点。与可穿戴设备和视觉设备相比，雷达具有更强的穿透性和隐私性，并且易于部署，不需要受试者佩戴大量的传感器，更不会使受试者感到不适，从而适合长时间的监测。其中调频连续波(fmcw)雷达具有同时测速和测距的能力，已被广泛应用于人体行为感知、手势感知等领域。
7、目前基于雷达设备的人体姿态感知任务，大部分均局限于粗粒度的人体姿态感知，即对当前的人体姿态进行简单分类。然而，现实生活中不仅需要处理真实环境下连续人体姿态的感知，同时希望能够细粒度地进行感知，并展示被检测人体连续顺畅的姿态。主流的人体姿态感知方法基本可以分为基于传统机器学习的方法和基于深度学习的方法两种类型。基于传统机器学习的雷达姿态感知从原始雷达回波信号中提取信息，之后根据提取出来的信息手工制作特征。基于深度学习的雷达姿态感知用神经网络模型从雷达信号中提取有用的特征，并利用这些特征自动进行人体姿态感知，有效避免了人工干预。
8、现存在的基于雷达设备的人体姿态感知缺点归纳如下：
9、(1)粗粒度的人体姿态感知只能实现人体姿态的简单分类，无法实现复杂的姿态估计并展示被检测人体连续顺畅的姿态，限制了其应用场景；
10、(2)基于机器学习的人体姿态感知严重依赖于均值、方差、最大值等手工提取的特征，感知结果很容易受到主观因素的干扰；
11、(3)现有的基于深度学习的人体姿态感知的研究集中在将雷达信号映射成距离-多普勒图或时间-多普勒图进行特征提取。一方面，雷达设备能够探测到整个空间的三维信息，传统方法使用的二维多普勒特征图并不全面，容易丢失关键姿态信息。另一方面，没有考虑到多维雷达数据不同视角之间的关联性，导致多维特征学习不充分，难以实现高精度的姿态感知。
12、需要说明的是，上述内容仅用于帮助理解本申请的技术方案，并不作为评价本申请的现有技术的依据。
技术实现思路
1、因此，本专利技术的目的在于克服上述现有技术的缺陷，提供深度监督的多视角融合雷达人体姿态感知模型和训练方法。
2、根据本专利技术的第一方面，提供一种神经网络模型，用于根据雷达人体活动数据识别人体活动，包括：
3、特征变换网络，用于根据所述雷达人体活动数据生成多视角融合特征图；
4、特征提取网络，用于从多视角融合特征图中提取人体姿态特征；
5、姿态回归网络，用于根据人体姿态特征识别出人体姿态类别。
6、根据本专利技术的一个实施例，所述特征变换网络包括三个分支通道，分别对根据雷达人体活动数据映射生成的三个不同视角的特征图进行卷积，并拼接生成多视角融合特征图。
7、根据本专利技术的一个实施例，所述特征提取网络为resnet，在全连接层中共享参数以减少参数数量，并在resnet末端对特征图进行上采样，用于将低维特征图还原为高维特征图。
8、根据本专利技术的一个实施例，所述姿态回归网络包括特征提取模块和姿态回归模块，其中特征提取模块为改进的googlenet模型，用于提取图像中的特征，姿态回归模块用于根据所述提取的图像中的特征预测人体的关键点坐标。
9、根据本专利技术的一个实施例，对所述googlenet模型所做的改进包括：
10、增加残差网络连接以减少模型的误差；
11、用仿射回归器替换所有softmax分类器；
12、在最终回归函数之前插入一个全连接层，形成一个定位特征向量用于姿态回归。
13、根据本专利技术的一个实施例，所述姿态回归网络还包括两个辅助特征通道以对特征提取模块进行特征正则化。
14、根据本专利技术的第二方面，提供一种神经网络模型的训练方法，用于根据雷达感知的人体姿态三维特征图和深度摄像机获取的人体深度图和关键骨骼点图对本专利技术第一方面所述神经网络模型之一进行训练，包括：
15、s1:将雷达感知的人体姿态三维特征图输入特征变换网络以生成多视角融合特征图；
16、s2：将多视角融合特征图输入特征提取网络，用深度摄像机获取的与输入的人体姿态三维特征图对应的人体深度图对特征提取网络输出的姿态特征图进行深度监督以提取人体姿态特征；
17、s3:将人体姿态特征输入姿态回归网络得到人体姿态，用反向传播算法更新各个网络模块的参数；
18、s4:重复执行步骤s1至s3预定次数。
19、根据本专利技术第二方面的一个实施例，所述雷达感知的人体姿态三维特征图和深度摄像机获取的人体深度图和关键骨骼点图通过下面的步骤被预处理：
20、ss1:用后向投影算法将本文档来自技高网...
【技术保护点】
1.一种神经网络模型，用于根据雷达人体活动数据识别人体活动，包括：
2.根据权利要求1所述的神经网络模型，所述特征变换网络包括三个分支通道，分别对根据雷达人体活动数据映射生成的三个不同视角的特征图进行卷积，并拼接生成多视角融合特征图。
3.根据权利要求1所述的神经网络模型，所述特征提取网络为ResNet，在全连接层中共享参数以减少参数数量，并在ResNet末端对特征图进行上采样，用于将低维特征图还原为高维特征图。
4.根据权利要求1所述的神经网络模型，所述姿态回归网络包括特征提取模块和姿态回归模块，其中特征提取模块为改进的GoogleNet模型，用于提取图像中的特征，姿态回归模块用于根据所述提取的图像中的特征预测人体的关键点坐标。
5.根据权利要求4所述的神经网络模型，对所述GoogleNet模型所做的改进包括：
6.根据权利要求4所述的神经网络模型，所述姿态回归网络还包括两个辅助特征通道以对特征提取模块进行特征正则化。
7.一种神经网络模型的训练方法，用于根据雷达感知的人体姿态三维特征图和深度摄像机获取的人
8.根据权利要求7所述的训练方法，所述雷达感知的人体姿态三维特征图和深度摄像机获取的人体深度图和关键骨骼点图通过下面的步骤被预处理：
9.根据权利要求7所述的训练方法，所述S1包括：
10.根据权利要求7所述的训练方法，所述S2包括：
11.一种基于权利要求7-10任一所述方法所生成的神经网络模型的人体活动识别方法，包括：
...【技术特征摘要】
1.一种神经网络模型，用于根据雷达人体活动数据识别人体活动，包括：
2.根据权利要求1所述的神经网络模型，所述特征变换网络包括三个分支通道，分别对根据雷达人体活动数据映射生成的三个不同视角的特征图进行卷积，并拼接生成多视角融合特征图。
3.根据权利要求1所述的神经网络模型，所述特征提取网络为resnet，在全连接层中共享参数以减少参数数量，并在resnet末端对特征图进行上采样，用于将低维特征图还原为高维特征图。
4.根据权利要求1所述的神经网络模型，所述姿态回归网络包括特征提取模块和姿态回归模块，其中特征提取模块为改进的googlenet模型，用于提取图像中的特征，姿态回归模块用于根据所述提取的图像中的特征预测人体的关键点坐标。
5.根据权利要求4所述的神经网络...
【专利技术属性】
技术研发人员：沈建飞，叶旭东，陈益强，范非易，谷洋，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。