基于两台深度相机的人体跌倒检测装置和方法制造方法及图纸

本发明专利技术公开了一种基于两台深度相机的人体跌倒检测装置和方法，包括第一深度相机，还包括第二深度相机，所述第一深度相机距离地面一定高度，垂直于竖直墙面放置，朝向门，第二深度相机移动设置在天花板上的直线导轨上，第一深度相机、第二深度相机采集的图像发送给图像处理器，所述图像处理器运行权利要求4‑8任一项所述的检测方法。本发明专利技术只对登记的用户进行追踪和跌倒检测，减少了无意义的计算。第二深度相机能够有效捕捉到被遮挡的目标，防止由于目标跌倒时被遮挡而导致的漏检，特别适合在复杂遮挡情况下的人体跌倒检测。

Human fall detection device and method based on two depth cameras

【技术实现步骤摘要】
基于两台深度相机的人体跌倒检测装置和方法
本专利技术涉及一种基于两台深度相机的人体跌倒检测装置和方法，属于图像智能处理

技术介绍
现有的人体跌倒检测算法可以分为三类：一是通过穿戴式传感器采集人在各种状态下的姿态、运动等信息，利用这些信息判断佩戴者的是否发生跌倒，可穿戴相机成本低、计算量小、监控范围大，但穿戴式相机准确度不高，舒适性低，老年人易忘记佩戴；二是通过架设在场景中的环境传感器对场景中的声音、压力、地板震动等信息进行分析以检测跌倒事件，环境传感器方法简单，对受试者无侵入伤害，但是环境传感器易受环境中其他事物影响，误报率较高；三是通过监控摄像头，借助图像处理技术对于目标图像实时分析以检测跌倒事件的发生，基于视频监控的方法拥有最高的准确率，但摄像机位置一般固定，所以监控范围有限，而且存在暴露隐私的风险。深度相机利用自身的红外摄像机发出激光覆盖场景中的物体，再接受物体表面的漫反射，利用光编码技术，对空间进行编码。深度相机对于具有三维纵深的编码进行解码运算，获得深度图像数据流。深度相机不依赖可见光，不会泄露隐私，且可以获取物体的三维信息进行有效的跌倒检测，但是监控范围有限，室内环境复杂时，目标跌倒时容易被遮挡，进而因为无法捕捉到目标而难以进行有效地跌倒检测。
技术实现思路
目的：为了解决单个深度相机监控范围有限，目标跌倒时容易被遮挡，进而因为无法捕捉到目标而难以进行有效地跌倒检测的问题，本专利技术提供一种基于两台深度相机的人体跌倒检测装置和方法。技术方案：为解决上述技术问题，本专利技术采用的技术方案为：基于两台深度相机的人体跌倒检测装置，包括第一深度相机，还包括第二深度相机，所述第一深度相机距离地面一定高度，垂直于竖直墙面放置，朝向门，第二深度相机移动设置在天花板上的直线导轨上，第一深度相机、第二深度相机采集的图像发送给图像处理器，所述图像处理器运行权利要求4-8任一项所述的检测方法。作为优选方案，所述直线导轨设置在天花板中线上。作为优选方案，所述直线导轨上每隔一段距离设置一处巡航点，第二深度相机在巡航点处采集图像。一种基于两台深度相机的人体跌倒检测方法，其特征在于：包括如下步骤：第一深度相机采集图像进行目标身份验证；第一深度相机采集图像对已登记身份用户进行目标追踪，并对被追踪目标提取特征判断是否跌倒；当第一深度相机追踪目标失败进而无法判断目标是否跌倒时，第二深度相机利用直线导轨移动到第一深度相机追踪失败的目标的上方的巡航点处，确认目标是否跌倒。作为优选方案，通过身份验证检测到已登记人员后，第一深度相机开始对已登记人员对应的前景区域进行目标追踪，所述目标追踪的步骤如下：步骤1：使用检测到的已登记人员对应的前景区域的外接矩形作为初始搜索窗口，计算目标的深度直方图，将此深度直方图作为深度直方图模板。步骤2：利用目标的深度直方图模板计算反向投影图中每个像素点的概率；D＝||(xcenter,ycenter)-(x,y)||2式中，R代表搜索窗口；fR(x,y)代表搜索窗口(x,y)坐标处的深度值；M，N分别代表搜索窗口的长、宽；n代表某一深度值，H(n)代表深度值在深度直方图模板中的归一化比值；(xcenter,ycenter)代表搜索窗口中心，D代表窗口(x,y)坐标到搜索窗口中心的距离；c2代表距离衰减半径，c1代表衰减半径处的衰减幅度；I(x,y)为反向投影图中每个像素点的概率，δ(·)代表冲激函数。步骤3：计算搜索窗口的零阶矩M00，x坐标的一阶矩M10，y坐标的一阶矩M01分别如下：步骤4：计算搜索窗口的质心(xc,yc)：步骤5：将搜索窗口质心移动到新的质心(xc,yc)处，如果移动距离大于预设的固定阈值，则重新计算调整后的搜索窗口质心，直到窗口中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到最大次数，认为收敛条件满足，获取下一帧图像进行新的搜索，用得到的搜索窗口的中心和大小来初始化当前帧的搜索窗口，重新计算当前搜索窗口深度直方图后转到步骤2。作为优选方案，第一深度相机对追踪目标提取特征进行跌倒检测的步骤如下：对于被追踪目标计算其高度状态特征，具体计算公式如下：式中，Hstate代表高度状态特征；Hmax、Hcent代表追踪目标的最大高度和质心高度；kmax为已登记用户的平均高度，kcent为已登记用户的平均高度的一半；当高度状态特征Hstate在一段时间内与1的差值，小于设定的阈值，第一深度相机判断目标跌倒。作为优选方案，当第一深度相机目标追踪失败时，将第二深度相机移动到被遮挡目标上方巡航点处确认目标是否跌倒；第二深度相机移动到被遮挡目标上方的第N号巡航点，N的计算公式如下：D＝|L-Zcent|N＝D/d式中，Zcent为目标的质心在第一深度相机中的Z轴坐标，L为房间长度，D为目标质心到第二深度相机的距离在地面上的投影距离，d为巡航点间的距离间隔，N为巡航点的编号。作为优选方案，第二深度相机移动到追踪失败的目标的上方的巡航点后，第二深度相机采集图像确认目标是否跌倒的步骤如下：深度相机2需要在进行跌倒检测之前对场景进行背景建模。首先，在室内没有行人的情况下，在每一个巡航点处，第二深度相机采集一帧深度图像，然后使用采集的图像建立该巡航点处的背景模型，具体如公式所示：B(x)＝{v1,v2,...,vN}式中，x代表巡航点处采集的深度图中的一个像素点，B(x)代表该像素点处的背景模型，vi代表在采集的深度图中从像素点x的邻域内随机选择的深度值；对于从该巡航点采集的深度图中的像素点，通过计算其当前像素值与背景模型中样本的匹配数目，若背景模型中与之匹配的样本数目超过预定的数目阈值，则该像素点判为前景点，否则，判为背景点。具体过程如下式所示：式中，#{SR(v(x))∩B(x)}代表背景模型中与像素点的当前像素值匹配的样本数目；#min代表预定的数目阈值，foreground代表前景点、background代表后景点；第二深度相机采用滞留物提取的方式提取出可能的跌倒目标，滞留物提取采用如下公式：式中，delay(x)用于度量像素持续为前景的时间长度，若像素为前景且delay(x)小于最大值上限thdelay+ΔT，则delay(x)增加ΔD1，若delay(x)大于等于最大值上限thdelay+ΔT，delay(x)保持不变，若像素为背景，则delay(x)减小ΔD2；若delay(x)大于设定的阈值thdelay，则认为像素为滞留物，其中：abandoned代表滞留像素、ΔD1代表滞留时间增幅的一个单位、ΔD2代表滞留时间减幅的一个单位、ΔT代表滞留像素阈值的允许波动范围；若在规定的时间段内未提取到滞留物，则结束判断，若提取到滞留物本文档来自技高网...

【技术保护点】
1.基于两台深度相机的人体跌倒检测装置，包括第一深度相机，其特征在于：还包括第二深度相机，所述第一深度相机距离地面一定高度，垂直于竖直墙面放置，朝向门，第二深度相机移动设置在天花板上的直线导轨上，第一深度相机、第二深度相机采集的图像发送给图像处理器，所述图像处理器运行权利要求4-8任一项所述的检测方法。/n

【技术特征摘要】
1.基于两台深度相机的人体跌倒检测装置，包括第一深度相机，其特征在于：还包括第二深度相机，所述第一深度相机距离地面一定高度，垂直于竖直墙面放置，朝向门，第二深度相机移动设置在天花板上的直线导轨上，第一深度相机、第二深度相机采集的图像发送给图像处理器，所述图像处理器运行权利要求4-8任一项所述的检测方法。


2.根据权利要求1所述的基于两台深度相机的人体跌倒检测装置，其特征在于：所述直线导轨设置在天花板中线上。


3.根据权利要求1所述的基于两台深度相机的人体跌倒检测装置，其特征在于：所述直线导轨上每隔一段距离设置一处巡航点，第二深度相机在巡航点处采集图像。


4.一种基于两台深度相机的人体跌倒检测方法，其特征在于：包括如下步骤：
第一深度相机采集图像进行目标身份验证；
第一深度相机采集图像对已登记身份用户进行目标追踪，并对被追踪目标提取特征判断是否跌倒；
当第一深度相机追踪目标失败进而无法判断目标是否跌倒时，第二深度相机利用直线导轨移动到第一深度相机追踪失败的目标的上方的巡航点处，确认目标是否跌倒。


5.根据权利要求4所述的基于两台深度相机的人体跌倒检测方法，其特征在于：通过身份验证检测到已登记人员后，第一深度相机开始对已登记人员对应的前景区域进行目标追踪，所述目标追踪的步骤如下：
步骤1：使用检测到的已登记人员对应的前景区域的外接矩形作为初始搜索窗口，计算目标的深度直方图，将此深度直方图作为深度直方图模板。
步骤2：利用目标的深度直方图模板计算反向投影图中每个像素点的概率；



D＝||(xcenter,ycenter)-(x,y)||2



式中，R代表搜索窗口；fR(x,y)代表搜索窗口(x,y)坐标处的深度值；M，N分别代表搜索窗口的长、宽；n代表某一深度值，H(n)代表深度值在深度直方图模板中的归一化比值；(xcenter,ycenter)代表搜索窗口中心，D代表窗口(x,y)坐标处到搜索窗口中心的距离；c2代表距离衰减半径，c1代表衰减半径处的衰减幅度；I(x,y)为反向投影图中每个坐标点的概率，δ(·)代表冲激函数。
步骤3：计算搜索窗口的零阶矩M00，x坐标的一阶矩M10，y坐标的一阶矩M01分别如下：









步骤4：计算搜索窗口的质心(xc,yc)：






步骤5：将搜索窗口质心移动到新的质心(xc,yc)处，如果移动距离大于预设的固定阈值，则重新计算调整后的搜索窗口质心，直到窗口中心与质心间的移动距离小于预设的固定阈值，或者循环运算的次数达到最大次数，认为收敛条件满足，获取下一帧图像进行新的搜索，用得到的搜索窗口的中心和大小来初始化当前帧的搜索窗口，重新计算当前搜索窗口深度直方图后转到步骤2。


6.根据权利要求4所述的基于两台深度相机的人体跌倒检测方法，其特征在于：第一深度相机对追踪目标提取特征进行跌倒检测的步骤如下：
对于被追踪目标计算其高度状态...

【专利技术属性】
技术研发人员：干宗良，王子龙，刘峰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32