基于Kinect深度图像的人体摔倒自动检测方法技术

本发明专利技术提出一种基于Kinect深度图像的人体摔倒自动检测方法。本检测方法利用Kinect获取检测环境的深度图像，对其中的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，获取三维包围盒的长、宽、高数值及其单位帧内的变化速度，根据摔倒判定条件和临界值，判定摔倒事件是否发生。人体若有障碍物遮挡，则启动遮挡融合算法，将人体深度图同遮挡物深度图像融合，建立新的三维包围盒，再根据判定条件和临界值，判定摔倒事件是否发生。摔倒事件一旦发生，通过手机短信报警。本方法利用了人体的深度图像，有效降低了误判率。利用遮挡融合算法解决了人体在被遮挡情况下的摔倒事件判别问题，降低了漏报率，并可实现对人体的24小时连续实时检测。

【技术实现步骤摘要】
基于Kinect深度图像的人体摔倒自动检测方法
：本专利技术涉及一种基于Kinect深度图像的人体摔倒自动检测方法。
技术介绍
：人体摔倒自动检测方法是指利用外部设备自动监控检测人体居家环境下的日常活动，以检测人体意外摔倒事件的技术。目前，根据检测摔倒事件的技术原理，人体摔倒自动检测技术主要分为三种：①基于穿戴式传感器：采用三轴加速度计和三轴陀螺仪采集人体各种状态下躯干的加速度值与角速度值，利用阈值法检测摔倒事件。但基于穿戴式传感器的摔倒检测设备穿戴舒适性欠佳，对人体正常运动具有阻碍性，且误报率和漏报率较高；②基于视频技术：通过摄像机的连续监控，借助图像处理技术，实时分析目标图像信息，检测人体摔倒事件的发生。视频技术对人体的日常生活干扰较小，可以对摔倒事件进行远程验证等。但是，安装校准摄像机镜头需要消耗大量时间；普通CCD摄像机不能在夜间以及弱光照条件下工作，无法进行实时检测；较易泄露使用者隐私；③基于声频信号技术：通过检测人体摔倒时刻的声音大小及频率高低检测人体摔倒事件的发生，此类系统对使用环境的声学背景要求高，安装复杂，资金投入大，精度不高。现有文献资料中已经出现过基于上述技术的人体摔倒自动检测系统，但其在实际生活中的适用性和检测成功率均不高。深度图像是具有三维纵深的黑白像素点云图像。Kinect借助自身的红外线发射器，发出激光覆盖整个Kinect的可视范围，激光在散射体表面产生漫反射，红外线摄像头接收漫反射光线，利用光编码技术，对可视范围内的空间进行编码。Kinect对获取的具有三维纵深的编码进行解码运算，获得深度图像数据流。Kinect传感器可以提供人体居家环境下深度图像数据流，且在运行期间不依赖可见光，可进行24小时连续实时检测，借助算法分割出人体深度图像前景图，通过对具有三维纵深的人体深度图像前景图的分析和处理，可以提供人体摔倒自动检测的新方法。
技术实现思路
：本专利技术提出了一种基于Kinect深度图像的人体摔倒自动检测方法，目的是为了克服上述三种自动检测技术不足，提供一种无需穿戴、不依赖可见光、检测结果准确、价格低廉的人体摔倒自动检测方法。本专利技术通过以下的技术方案实现的：一种基于Kinect深度图像的人体摔倒自动检测方法，具体步骤如下：A、准备一台安装有NITE1.5.2.21、OpenNI1.5.4.0和SensorKinect093的计算机，SensorKinect093是Kinect的驱动程序，SensorKinect093用于Kinect在NITE1.5.2.21的框架下与计算机相连，OpenNI1.5.4.0开发包中包含了Kinect中各传感器的接口以及应用程序编程接口API；B、Kinect安装的高度距离地面DECF的高度d＝2.6m，Kinect下俯视角β＝31°，以覆盖整个检测环境；C、启动基于Kinect深度图像的摔倒自动检测系统，用户可以在规定的检测环境内部自由地进行日常活动；D、在计算机主机的驱动下，Kinect启动其自带的红外线发射器，通过红外线覆盖整个检测环境，对整个检测环境内的静止物体和运动物体进行持续照射，然后通过自带的红外线CMOS摄像机收集和记录环境内的红外线反射光线，并对检测环境内的所有物体进行光编码运算；E、Kinect在获取检测环境内所有物体在Kinect坐标下的三维纵深编码值后，通过Kinect内部的解码芯片对获取的三维纵深编码进行解码运算，获取检测环境下所有物体的深度图像数据流；F、在计算机上，通过OpenNISDK中的Simpleviewer数据接口，可在计算机屏幕上显示Kinect实时获取的检测环境内的深度图像；G、Kinect将获取的检测环境内的深度图像数据通过应用程序编程接口API传递至已编写完成的应用程序，对检测环境深度图像中的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，在人体被障碍物遮挡情况下，启动遮挡融合算法，判别人体摔倒事件是否发生，并进一步通过语音应答确认，如果摔倒事件发生，则向已登记的手机发送摔倒报警短信。具体检测过程如下：(1)、人体深度图像前景图三维包围盒的建立：对Kinect获取的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，获取三维包围盒的长、宽、高数值及其单位帧内的变化速度，根据摔倒判定条件和临界值，判定摔倒事件是否发生。人体在居家环境下的日常活动是无序的，如走动、小跑、下蹲、跳跃、坐下、躺下等，因此在人体摔倒事件自动检测过程中，需要建立人体深度图像前景图的三维包围盒。首先，利用Simpleviewer数据接口获取检测环境内的深度图像，并通过阈值法将深度图像中的人体深度图像前景图进行着色、分割和提取，以区别于检测环境内的背景深度图像；第二，利用先腐蚀后膨胀的算法对具有三维纵深的人体深度图像前景图的外表面进行去噪和去空洞处理，使人体深度图像前景图的外表面保持光滑；第三，基于OpenNI的Skeletonwrappedskin接口，对人体深度图像前景图的外表面进行皮肤重构，利用面积S＝m且不等形状的三角形将人体深度图像前景图的外表面进行重新包裹；第四，在对人体前景图外表面进行皮肤重构的基础上，利用OpenNI的Closestpointvierwer接口，获取人体深度图像前景图在检测环境内的前、后、上、下、左、右像素边界点A、B、C、D、E、F，此像素边界点即为上一步中面积S＝m且不等形状三角形的顶点；最后，以像素边界点A、B、C、D、E、F为切点，建立包裹人体深度图像前景图前、后、上、下、左、右的6个矩形平面，通过这6个平面构建起三维包围盒。自动检测方法获取三维包围盒的长、宽、高数值i、j、k，以及长、宽、高数值i、j、k在单位帧内的变化速度I、J、K，T为数值i、j、k不变情况下的停留时间，设定为t，根据人体尺寸以及摔倒实验，设定p1、p2、p3、p4值：判定条件一：即检测过程中，当人体深度图像三维包围盒的k＜p1或时，满足条件一的要求；判定条件二：即检测过程中，人体深度图像三维包围盒的变化速度K＞p3或时，满足条件二的要求；判定条件三：Th3＝(T≥t)，即检测过程中，人体深度图像三维包围盒的长、宽、高数值i、j、k保持数据不发生变化的时间T≥t时，满足条件三的要求；当成立，即同时满足条件一、二、三的要求时，自动检测方法判定人体摔倒事件发生；(2)、人体被障碍物遮挡情况下的检测：人体在居家环境下日常活动中，意外摔倒事件可能会发生在带有靠背的椅子后方、沙发后方、茶几后方以及书桌后方等，这些易引起遮挡的遮挡物高度一般低于人体肩部。日常生活中，人体运动至与遮挡物接近，当人体深度图像边界点与遮挡物深度图像边界点的最近距离L≤q时，q为设定值，遮挡融合算法启动，直至人体深度图像边界点与遮挡物深度图像边界点的最近距离L＞q时，遮挡融合算法关闭。在遮挡融合算法运行期间，人体深度图像会与遮挡物深度图像融为一体R，此时摔倒检测方法建立深度图像R的三维包围盒，并获取此三维包围盒的长、宽、高数值i'、j'、k'，以及长、宽、高数值i'、j'、k'在单位帧内的变化速度I'、J'、K'，n为遮挡物深度图像的高度数值，T'为k'＝n的停留时间，设定为t'：判定条件四：Th4＝(k'＝n)，即检测过程中，本文档来自技高网...

【技术保护点】
一种基于Kinect深度图像的人体摔倒自动检测方法，其特征在于：具体步骤如下：A、准备一台安装有NITE1.5.2.21、OpenNI1.5.4.0和SensorKinect093的计算机，SensorKinect093是Kinect的驱动程序，SensorKinect093用于Kinect在NITE1.5.2.21的框架下与计算机相连，OpenNI1.5.4.0开发包中包含了Kinect中各传感器的接口以及应用程序编程接口API；B、Kinect安装的高度距离地面DECF的高度d=2.6m，Kinect下俯视角，以覆盖整个检测环境；C、启动基于Kinect深度图像的摔倒自动检测系统，用户可以在规定的检测环境内部自由地进行日常活动；D、在计算机主机的驱动下，Kinect启动其自带的红外线发射器，通过红外线覆盖整个检测环境，对整个检测环境内的静止物体和运动物体进行持续照射，然后通过自带的红外线CMOS摄像机收集和记录环境内的红外线反射光线，并对检测环境内的所有物体进行光编码运算；E、Kinect在获取检测环境内所有物体在Kinect坐标下的三维纵深编码值后，通过Kinect内部的解码芯片对获取的三维纵深编码进行解码运算，获取检测环境下所有物体的深度图像数据流；F、在计算机上，通过OpenNI SDK中的Simpleviewer数据接口，可在计算机屏幕上显示Kinect实时获取的检测环境内的深度图像；G、Kinect将获取的检测环境内的深度图像数据通过应用程序编程接口API传递至已编写完成的应用程序，对检测环境深度图像中的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，在人体被障碍物遮挡情况下，启动遮挡融合算法，判别人体摔倒事件是否发生，并进一步通过语音应答确认，如果摔倒事件发生，则向已登记的手机发送摔倒报警短信。...

【技术特征摘要】
1.一种基于Kinect深度图像的人体摔倒自动检测方法，其特征在于：具体步骤如下：A、准备一台安装有NITE1.5.2.21、OpenNI1.5.4.0和SensorKinect093的计算机，SensorKinect093是Kinect的驱动程序，SensorKinect093用于Kinect在NITE1.5.2.21的框架下与计算机相连，OpenNI1.5.4.0开发包中包含了Kinect中各传感器的接口以及应用程序编程接口API；B、Kinect安装的高度距离地面DECF的高度d＝2.6m，Kinect下俯视角β＝31°，以覆盖整个检测环境；C、启动基于Kinect深度图像的摔倒自动检测系统，用户可以在规定的检测环境内部自由地进行日常活动；D、在计算机主机的驱动下，Kinect启动其自带的红外线发射器，通过红外线覆盖整个检测环境，对整个检测环境内的静止物体和运动物体进行持续照射，然后通过自带的红外线CMOS摄像机收集和记录环境内的红外线反射光线，并对检测环境内的所有物体进行光编码运算；E、Kinect在获取检测环境内所有物体在Kinect坐标下的三维纵深编码值后，通过Kinect内部的解码芯片对获取的三维纵深编码进行解码运算，获取检测环境下所有物体的深度图像数据流；F、在计算机上，通过OpenNISDK中的Simpleviewer数据接口，可在计算机屏幕上显示Kinect实时获取的检测环境内的深度图像；G、Kinect将获取的检测环境内的深度图像数据通过应用程序编程接口API传递至已编写完成的应用程序，对检测环境深度图像中的人体前景图进行分割和提取，建立人体深度图像前景图的三维包围盒，在人体被障碍物遮挡情况下，启动遮挡融合算法，判别人体摔倒事件是否发生，并进一步通过语音应答确认，如果摔倒事件发生，则向已登记的手机发送摔倒报警短信；其中，建立人体深度图像前景图的三维包围盒，具体步骤如下：首先，利用Simpleviewer数据接口获取检测环境内的深度图像，并通过阈值法将深度图像中的人体深度图像前景图进行着色、分割和提取，以区别于检测环境内的背景深度图像；第二，利用先腐蚀后膨胀的算法对具有三维纵深的人体深度图像前景图的外表面进行去噪和去空洞处理，使人体深度图像前景图的外表面保持光滑；第三，基于OpenNI的Skeletonwrappedskin接口，对人体深度图像前景图的外表面进行皮肤重构，利用面积S＝m且不等形状的三角形将人体深度图像前景图的外表面进行重新包裹；第四，在对人体前景图外表面进行皮肤重构的基础上，利用OpenNI的Closestpointvierwer接口，获取人体深度图像前景图在检测环境内的前、后、上、下、左、右像素边界点A、B、C、D、E、F，此像素边界点即为第三步中面积S＝m且不等形状三角形的顶点；最后，以像素边界点A、B、C、D、E、F为切点，建立包裹人体深度图像前景图前、后、上、下、左、右的6个矩形平面，通过这6个平面构建起三维包围盒；自动检测方法获取三维包围盒的长、宽、高数值i、j、k，以及长、宽、高数值i、j、k在单位帧内的变化速度I、J、K，T为数值i、j、k不变情况下的停留时间...

【专利技术属性】
技术研发人员：瞿畅，李宗安，王君泽，张小萍，朱小龙，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32