一种室内人体空间定位及姿态轮廓识别方法技术

一种室内人体空间定位及姿态轮廓识别方法，对室内设置识别系统，包括顶面的热点毫米波雷达及探测毫米波雷达，以及不同墙面上的探测器组，探测器组包括一探测毫米波雷达和一视觉摄像头，根据探测毫米波雷达和视觉摄像头的可信度对两者得到的6自由度检测值加权求和平均，获得探测器组的6自由度结果，再将探测器组和顶面的探测毫米波雷达的探测结果求和平均，最终获得目标人在世界坐标系中的6自由度结果。本发明专利技术采用较低成本的探测器，将多角度、不同类型的传感器进行融合，实现室内定位和人体姿态识别的精确性，避免遮挡等问题造成的错误，实时探测有利于预测人体姿态的趋势，可用于行为特征的监控，还适用于对有行为特征表现的疾病的信息采集。的疾病的信息采集。的疾病的信息采集。

【技术实现步骤摘要】
一种室内人体空间定位及姿态轮廓识别方法


[0001]本专利技术属于传感检测
，涉及通过毫米波雷达及视觉对室内人体姿态的检测，为一种室内人体空间定位及姿态轮廓识别方法

技术介绍

[0002]当前关于毫米波的空间定位技术，大多是聚焦在人的室内的轨迹方面，如利用毫米波的TDOA算法以及卡尔曼滤波进行室内人体静态和动态定位[1]，对室内行人的定位轨迹研究[2]，基于FMCW雷达的人体运动轨迹检测系统[3]，但是目前主要是利用毫米波雷达对人的轨迹进行定位，还无法定位人体的姿态。另一方面，也存在毫米波雷达的人体三维成像技术，如在安全检查时，利用毫米波技术对于人体进行三维成像建模[4]，但是该方法三维重建需要在固定点中完成，无法在人体的行动中实时完成。本申请提出一种为了实时定位和实时计算目标人在室内的实时姿态轮廓的建模方法。
[0003]本申请是以室内空间为主要的场景，采用多个异种传感器融合的方式，利用视觉摄像头和毫米波雷达传感器。多个异种传感器联合从多角度对目标人探测，以较低的成本，实现定位相对准确的人体的三维轮廓姿态的建模模型，以本申请为模型的毫米波雷达人体姿态识别系统，最终能够实现实时人体姿态轮廓的识别。
[0004]参考文献
[0005][1]李芳馨,涂锐,韩军强,张垠,洪菊.基于5G毫米波到达时间差的室内定位算法[J].全球定位系统,2021,46(02):1
‑
6.
[0006][2]于邓波.基于室内行人定位轨迹的行为模式识别与分析[D].武汉大学,2019.r/>[0007][3]尹辉斌,许志猛.基于FMCW雷达的人体运动轨迹检测系统[J].传感器与微系统,2020,39(09):116
‑
118.
[0008][4]谢朋飞.毫米波人体三维成像及目标检测[D].西安电子科技大学,2019.

技术实现思路

[0009]本专利技术要解决的问题是：如何实时检测室内人体空间位置及姿态，兼顾检测精度及检测成本。
[0010]本专利技术的技术方案为：一种室内人体空间定位及姿态轮廓识别方法，对室内设置识别系统，识别系统由探测器组成，包括设置在顶面的热点毫米波雷达及探测毫米波雷达、以及设置在不同墙面上的探测器组，所述探测器组包括一探测毫米波雷达和一视觉摄像头；
[0011]首先由室内顶面设置的热点毫米波雷达实时检测室内是否有人，以及人所位于的空间范围，将检测到的人体作为目标人，并根据检测的空间范围启动设置在不同墙面的探测器组以及设置在顶面的探测毫米波雷达，实时探测目标人的空间位置和姿态，其中，从视觉摄像头获取目标人关键点的空间6自由度检测值以及对应的视觉可信度，从探测毫米波雷达获得目标人空间6自由度检测值以及对应的雷达可信度，对于每一个探测器组，根据探
测毫米波雷达和视觉摄像头的可信度对两者得到的6自由度检测值进行加权求和平均，获得探测器组的6自由度结果，再将不同墙面的探测器组和顶面的探测毫米波雷达的探测结果结合，对各自检测的6自由度结果求和平均，最终获得目标人在世界坐标系中包含位置和姿态角度的6自由度数据结果，其中所述6自由度指由目标人头部及双肩的三个关键点的三维坐标确定的人体空间位置及姿态，包括三维位置(x,y,z)以及空间位置的旋转角度(α,β,γ)。
[0012]本专利技术通过对室内人体的实时空间定位，识别人体的行动轨迹和轮廓姿态。在实时定位的基础上，通过毫米波雷达和摄像头面向热点区域，获取的人体姿态，并生产识别模型，为后续室内人体的实时空间定位和姿态定位打好基础。本专利技术方案可以用于识别目标人的行为特征，以及在运动期间和停留期间目标人的姿态变化，在此基础上有利于判别是否存在与行为相关疾病的早期症状，或可以用于通过行为识别相关疾病的特征。
[0013]本专利技术的有益效果如下：
[0014]1，本专利技术能够采用较低成本的探测器，实现室内目标人的实时和精确定位，并进行实时的人体姿态轮廓探测和计算。目前高精度人体动作捕捉的平均精度在0.02度，时延小于20ms，要达到这类高精度的人体动作捕捉，通常需要在目标人身上佩戴相应的传感器，本专利技术不需要目标人佩戴相应的传感器，同时精度可以接近佩戴传感器情况下人体动作捕捉的精度。在室内人体检测上，现有的毫米波雷达或摄像头检测精度远低于前述的高精度水平，虽然也能够检测人体角度位置，但不能满足行为特征检测所要求的准确性和实时性，本专利技术精度可达0.1度，时延小于25ms，能够满足人体行为特征的检测需求，目前高精度动作捕捉系统平均在10
‑
20万人民币一套，本专利技术的系统成本约为4万
‑
6万元一套，本专利技术能够兼顾检测精度和检测成本。本专利技术可用于行为特征的监控，例如防摔倒等，还适用于对有行为表现特征的疾病的信息采集，如阿尔兹海默病等，通过本专利技术方法实现对目标人的行为表现信息采集，有利于根据相关疾病的早期行为症状进行早筛。
[0015]2，本专利技术以多角度，不同类型的传感器进行融合，解决室内定位和人体姿态识别的精确性，避免遮挡等问题造成的错误。
[0016]3，本专利技术系统实施布置相对简单和高效，人员在室内活动，不同组的探测器实现全面识别检测，优选在新布置的房间中做一次静态校准，后续识别系统可动态更新定位及识别参数，保持对人体动态活动的自适应准确识别。
[0017]4、本专利技术的识别方法能实施对人体空间位置及姿态进行快速准确识别，有利于预测人体姿态的趋势，例如根据姿态轮廓的识别的结果达到设定的摔倒阈值，判断被识别人体即将摔倒，可及时发出报警提示。
附图说明
[0018]图1为本专利技术的室内传感器布置示意图，包括低频毫米波雷达传感器、毫米波雷达传感器和视觉摄像头组。
[0019]图2为本专利技术方法初始校准的流程示意图。
[0020]图3为本专利技术方法实时检测的流程示意图。
[0021]图4为本专利技术方法的检测示意图。
具体实施方式
[0022]下面具体介绍本专利技术的实施。
[0023]如图1所示，本专利技术的识别系统由一系列探测器组成，房间顶部设置2.4Ghz和60GHz毫米波雷达探测器，2.4GHz雷达作为热点毫米波雷达用于初始的大范围检测，60GHz雷达为探测毫米波雷达，用于面向热点去的距离和角度探测。2.4GHz雷达频率低，穿透力强，探测范围广，用于初步探测。60GHz雷达频率高，探测范围相对小，但精确度更高，用于后续对目标人的更精确的探测。室内不同墙壁上设置探测器组，探测器组包括一探测毫米波雷达和一视觉摄像头，探测毫米波雷达也未60Ghz雷达。根据2.4Ghz雷达的探测结果，启动顶部的60Ghz雷达和不同墙面的探测器组，对热点区域进行定向探测。
[0024]如图2所示，本专利技术在一个室内场合实施时，优选首先进行校准。布置好不同平面中的探测器后，采用标有特殊二维码的标记立方体放置在房间地面中心，启动顶面2.4GHz和60GHz雷达，以及垂直于地平面的四面墙中的60GHz毫米波雷达探测器和视觉摄像头探测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种室内人体空间定位及姿态轮廓识别方法，其特征是对室内设置识别系统，识别系统由探测器组成，包括设置在顶面的热点毫米波雷达及探测毫米波雷达、以及设置在不同墙面上的探测器组，所述探测器组包括一探测毫米波雷达和一视觉摄像头；首先由室内顶面设置的热点毫米波雷达实时检测室内是否有人，以及人所位于的空间范围，将检测到的人体作为目标人，并根据检测的空间范围启动设置在不同墙面的探测器组以及设置在顶面的探测毫米波雷达，实时探测目标人的空间位置和姿态，其中，从视觉摄像头获取目标人关键点的空间6自由度检测值以及对应的视觉可信度，从探测毫米波雷达获得目标人空间6自由度检测值以及对应的雷达可信度，对于每一个探测器组，根据探测毫米波雷达和视觉摄像头的可信度对两者得到的6自由度检测值进行加权求和平均，获得探测器组的6自由度结果，再将不同墙面的探测器组和顶面的探测毫米波雷达的探测结果结合，对各自检测的6自由度结果求和平均，最终获得目标人在世界坐标系中包含位置和姿态角度的6自由度数据结果，其中所述6自由度指由目标人头部及双肩的三个关键点的三维坐标确定的人体空间位置及姿态，包括三维位置(x,y,z)以及空间位置的旋转角度(α,β,γ)。2.根据权利要求1所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是探测器组中，视觉摄像头获取目标人关键点的空间6自由度检测值{P
xcamera
，P
ycamera
，P
zcamera
，P
αcamera
，P
βcamera
，P
γcamera
},对应视觉可信度T
camera
，探测毫米波雷达获得目标人空间6自由度检测值{P
xradar
，P
yradar
，P
zradar
，P
αradar
，P
βradar
，P
γradar
},对应雷达可信度T
radar
，对所有的可信度均赋初值，以本组探测器组中实时获取的z轴方向探测值P
zcamera
及P
zradar
为基准，按照以下公式计算探测毫米波雷达和视觉摄像头的实时可信度：下公式计算探测毫米波雷达和视觉摄像头的实时可信度：d
′
为探测器组至对面墙平面的平均距离；探测器组的6自由度结果P
group
如下：如下：如下：如下：如下：如下：3.根据权利要求2所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是当某个探测器的视觉可信度T
camera
或雷达可信度T
radar
值小于0.5时，该探测器检测的6自由度检
测值不参与所在探测器组的6自由度结果计算，即为0值。4.根据权利要求2或3所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是对一个探测器组，若T
camera
<T
radar
，则保留T
radar
及其对应的探测器检测的6自由度检测值，反之则保留T
camera
及其对应的探测器检测的6自由度检测值。5.根据权利要求1所述的一种室内人体空间定位及姿态轮廓识别方法，其特征是将探测结果转换到世界坐标系中，将不同墙面的探测器组和顶面的探测毫米波雷达的探测结果结合时，顶面的探测毫米波雷达仅采用位置信息参与计算，目标人在世界坐标系中包含位置和姿态角度的6自由度数据结果P
world
的计算公式为：的计算公式为：的计算公式为：的计算公式为：的计算公式为：的计算公式为：n表示探测器组的数目，{P
xgroup_i
，P
...

【专利技术属性】
技术研发人员：苏瀚，
申请(专利权)人：提爱斯数码上海有限公司，
类型：发明
国别省市：