基于毫米波雷达多域数据融合的行为检测方法及装置制造方法及图纸

本申请的实施例提供了一种基于毫米波雷达多域数据融合的行为检测方法及装置。该方法包括：根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离

【技术实现步骤摘要】
基于毫米波雷达多域数据融合的行为检测方法及装置


[0001]本申请涉及毫米波雷达
，具体而言，涉及一种基于毫米波雷达多域数据融合的行为检测方法及装置。

技术介绍

[0002]当前我国人口老龄化趋势逐渐加剧，因此越来越多的老人存在照护的需求。常采用的行为检测技术有基于视觉与基于佩戴式传感器的行为监护系统，但以上两个主流技术在实际部署的过程中需要考虑室内居家监护的特殊应用背景。例如，为保护隐私，采用视觉进行行为检测的方案无法部署在诸如卧室、卫生间等私密场所；采用佩戴式设备在某些场景下不便携带与设备需要频繁充电的问题。而毫米波雷达在这类隐私敏感场景上有着特殊的优势，并且得益于毫米波的穿透性，可以做到在遮蔽情况下正常识别，但是基于毫米波雷达常出现系统误识别的问题。因此，如何降低行为检测的误报率，保证其检测效果成为了亟待解决的技术问题。

技术实现思路

[0003]本申请的实施例提供了一种基于毫米波雷达多域数据融合的行为检测方法、装置，进而至少在一定程度上可以降低行为检测的误报率，保证其检测效果。
[0004]本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
[0005]根据本申请实施例的一个方面，提供了一种基于毫米波雷达多域数据融合的行为检测方法，该方法包括：
[0006]根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离
‑
速度谱；
[0007]根据所述距离
‑
速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号；
[0008]基于多根天线对应的所述距离
‑
速度谱，确定所述待检测空间对应的点云数据，所述点云数据帧与所述微多普勒信号在时间上相对应；
[0009]根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据；
[0010]分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征；
[0011]将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。
[0012]根据本申请实施例的一个方面，提供了一种基于毫米波雷达多域数据融合的行为检测装置，该装置包括：
[0013]第一确定模块，用于根据由毫米波雷达向待检测空间进行探测得到的回波信号，
确定其对应的距离
‑
速度谱；
[0014]第二确定模块，用于根据所述距离
‑
速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号；
[0015]第三确定模块，用于基于多根天线对应的所述距离
‑
速度谱，确定所述待检测空间对应的点云数据，所述点云数据与所述微多普勒信号在时间上相对应；
[0016]获取模块，用于根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据；
[0017]提取模块，用于分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征；
[0018]处理模块，用于将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。
[0019]根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的基于毫米波雷达多域数据融合的行为检测方法。
[0020]根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的基于毫米波雷达多域数据融合的行为检测方法。
[0021]根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中提供的基于毫米波雷达多域数据融合的行为检测方法。
[0022]在本申请的一些实施例所提供的技术方案中，通过根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离
‑
速度谱，并根据该距离
‑
速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号，基于多根天线对应的距离
‑
速度谱，确定待检测空间对应的点云数据，该点云数据与微多普勒信号在时间上相对应，再根据该微多普勒信号确定是否有动作发生，若确定动作发生，则获取与该动作相对应的待检测数据，该待检测数据包括若干帧微多普勒信号及其对应的点云数据，分别对待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，以确定其对应的微多普勒特征和点云特征，再将微多普勒特征和点云特征输入至预先训练完成的帧特征融合网络，使其输出对应的动作分类结果。由此，通过提取待检测空间中人体的运动速度特征与空间位置特征，将两种特征相结合从而输出对应的行为检测结果，降低了行为检测的误报率，保证了其检测效果。
[0023]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0024]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0025]图1示出了根据本申请的一个实施例的基于毫米波雷达多域数据融合的行为检测方法的流程示意图；
[0026]图2示出了根据本申请的一个实施例的生成微多普勒信号的流程示意图；
[0027]图3示出了根据本申请的一个实施例的基于毫米波雷达多域数据融合的行为检测方法中动作检测的流程示意图；
[0028]图4示出了根据本申请的一个实施例的时间点云特征提取网络的架构示意图；
[0029]图5示出了根据本申请的一个实施例的帧特征融合网络的架构示意图；
[0030]图6示出了可以应用本申请实施例的技术方案的应用场景示意图；
[0031]图7示出了根据本申请的一个实施例的基于毫米波雷达多域数据融合的行为检测装置的框图；
[0032]图8示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0033]现在将参考附图更全本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达多域数据融合的行为检测方法，其特征在于，包括：根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离
‑
速度谱；根据所述距离
‑
速度谱，将各距离上的每一个相同速度格点相加，得到单帧的微多普勒信号；基于多根天线对应的所述距离
‑
速度谱，确定所述待检测空间对应的点云数据，所述点云数据与所述微多普勒信号在时间上相对应；根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，所述待检测数据包括若干帧微多普勒信号及其对应的点云数据；分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征；将所述微多普勒特征和所述点云特征输入至预先训练完成的帧特征融合网络，以使所述帧特征融合网络输出对应的动作分类结果。2.根据权利要求1所述的方法，其特征在于，根据所述微多普勒信号确定是否有动作发生，若确定动作发生，则获取与所述动作相对应的待检测数据，包括：当满足预定条件时，获取预定时间长度对应的多帧微多普勒信号，通过掩码卷积算法确定多帧微多普勒信号中动作相关性最高的位置，并将其中有速度能量格点和无速度能量格点进行切分；采用动作检测算法对切分后的所述微多普勒信号进行动作相关性计算，以确定是否有动作发生；若确定有动作发生，则复制所述动作的相关性峰值点前后预定范围内的微多普勒信号与点云数据以作为待检测数据。3.根据权利要求2所述的方法，其特征在于，分别对所述待检测数据中包含的若干帧微多普勒信号及其对应的点云数据进行特征提取，确定其对应的微多普勒特征和点云特征，包括：针对所述待检测数据中包含的若干帧微多普勒信号，采用预先训练的CNN网络或者RNN网络对其进行特征提取；将所述待检测数据中包含的若干帧点云数据及其对应的时间维度信息输入至预先训练的点云特征提取网络，以使所述点云特征提取网络输出对应的点云特征。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述帧特征提取网络包括相连接的循环神经网络以及多层感知器。5.一种基于毫米波雷达多域数据融合的行为检测装置，其特征在于，包括：第一确定模块，用于根据由毫米波雷达向待检测空间进行探测得到的回波信号，确定其对应的距离
‑<...

【专利技术属性】
技术研发人员：黄联芬，邓培伟，朱晨亮，林和志，杨杰，高志斌，陈学林，赵毅峰，
申请(专利权)人：厦门大学，
类型：发明
国别省市：