一种基于RGBD传感器的人体跌倒检测方法技术

本发明专利技术公开了一种基于RGBD传感器的人体跌倒检测方法，包括如下步骤：对RGBD传感器进行内外相机参数标定矫正；针对RGBD视频序列采取校准步骤，提取活动空间环境三维结构信息；基于多级卷积神经网络提取关节点，得到一组人体关节点的三维坐标位置；提取人体关节点的三维结构信息、静态信息、动态信息作为描述人体动作行为的特征，来综合分析人体是否发生异常跌倒行为。本发明专利技术的跌倒检测方法能够准确、方便地监测老人三维运动状态并判断是否发生跌倒，且智能化的RGBD传感器，能够实时准确地识别跟踪老人的活动，不对老人的日常生活造成影响，同时利用深度成像特征，较好地保护老人隐私。

【技术实现步骤摘要】
一种基于RGBD传感器的人体跌倒检测方法
本专利技术涉及人体动作识别，特别是涉及一种基于RGBD传感器的人体跌倒检测方法。
技术介绍
统计显示我国正逐渐迈入老龄化社会阶段，如何对老人进行有效的生活安全监护已经成为迫切需要解决的问题。跌倒是老年人在日常生活最常遇见的安全问题，据世界卫生组织统计，跌倒是目前全球意外导致死亡和非故意伤害导致死亡的第二大因素，每年大约有46万人因跌倒伤害导致死亡，其中低收入和中等收入国家跌倒伤害所占比例达80％以上，每年因跌倒伤害而入院接受治疗人数高达3700万人次。老人跌倒常常伴随着骨折、软组织伤害和脑部伤害等症状，如果老年人在家中发生跌倒而得不到及时救治,很可能会造成严重的伤残，甚至是死亡。对老年人的日常行为进行监测并将跌倒行为从普通生活行为中分离出来，一旦发生意外就能及时通知子女或社区护工尽快送至医院并提供及时的医疗救护，就能为老年人的救治争取到更多的时间,减小老年人因跌倒造成伤残的可能性，并减轻因跌倒造成的子女护理经济压力。传统的基于视频图像的跌倒检测受制于相机成像技术，只能获取二维图像平面，丢失了物体的尺度信息。这一类跌倒检测技术可提取的特征较少并且对环境光照变化敏感，可靠性不佳。随着RGBD传感器制造成本的下降和互联网技术的普及，RGBD摄像头已经逐渐走入普通日常使用领域。通过维度提升RGBD相机可实现三维信息采集，针对RGBD成像开发的算法也可以实现更加精确的人体模型重构、三维场景分析和智能视觉识别。
技术实现思路
本专利技术的主要目的在于针对现有技术的不足，提供一种基于RGBD传感器的跌倒检测方法,能够准确、可靠地监护独居老人和子女无法时刻照顾的老人。为了达到上述目的，本专利技术采用了如下技术方案：一种基于RGBD传感器的人体跌倒检测方法，包括以下步骤：S1、对RGBD传感器进行内外相机参数标定矫正，获取和定位彩色相机和深度相机内外方关系，对纹理结构信息和深度测距信息进行配准；S2、利用所述RGBD传感器获取采集区域内的环境视频序列，针对RGBD视频序列采取校准步骤，提取活动空间环境三维结构信息；S3、把视频序列输入到卷积神经网络中，基于多级卷积神经网络提取关节点，得到一组人体关节点的三维坐标位置；S4、提取人体关节点的三维结构信息、静态信息、动态信息作为描述人体动作行为的特征，通过分析关节点特征信息的变化，来综合分析人体是否发生异常跌倒行为。作为一种优选，采用基于重投影最小化的相机配准方法对彩色相机和深度相机进行成像模型恢复，并提取空间点投影到两相机之间对应关系，使用最小化重投影误差:其中Krgb表示矫正后的RGB相机内参数,Kd表示矫正后的深度传感相机内参数，Rid和tid是深度传感相机的第i个外参数旋转矩阵和平移矩阵，R和T是RGB相机和深度传感相机的立体映射旋转矩阵和平移矩阵。表示将深度相机第i幅图像中第j个角点Mijd根据上述相机内外参数投影到RGB相机上的像素坐标。作为一种优选,步骤S2中，利用彩色相机和深度相机拍摄多幅图像序列并使用得到的两相机立体关系恢复空间环境三维结构信息，然后基于三维点云结构信息提取空间场景的三维地平面表达式：Ax+By+Cz+D＝0其中A,B,C,D是地平面参数系数。作为一种优选,步骤S3中具体包括：3.1.构建基于多级全卷积的基础网络，利用卷积尺寸逐步增大感受野，使得能够充分利用图像的空间上下文信息，利用最大池化操作在特征图分辨率逐步降低的同时提高整体网络的语意表达能力，利用多级网络将N个关节点空间上下文信息抽象为小分辨率的特征图；3.2达到最小分辨率之后，利用双线性插值算法逐步增大特征图的分辨率，并融合上述步骤3.1中经过卷积化操作的对应特征图，在不同尺度上提取关节点的位置特征，并进行卷积操作；3.3使用卷积操作改变特征图的通道数量，使得输出N个关节点的概率分布图，每一张概率分布图对应一个关节点在空间上的位置分布；3.4计算预测概率分布图与真实概率分布图之间的差值，并回传Loss；3.5反复迭代上述步骤。作为一种优选,选用如下表达式计算网络损失：作为一种优选,步骤S4中具体包括：4.1利用步骤S3得到活动场景中人体的N个关节点的三维特征，定义得到的关节点三维坐标P(xi,yi,zi)，地平面法线系数A,B,C,D，将多帧序列表达为人体骨架模型:其中PNn表示在第N帧中的第n个关节点的三维坐标位置。4.2计算各个关节点的运动特征和静态特征。其中关节点的运动特征可用如下表达式:Vpnx＝Pxn-Pxn-1Vpny＝Pyn-Pyn-1Vpnz＝Pzn-Pzn-1其中Vpnx、Vpny和Vpnz表示第n个关节点的在轴X、Y、Z上的运动特征；4.3利用三维场景信息计算关节点的静态结构特征，包括关节点拓扑高度信息、拓扑上肢倾斜信息、拓扑下肢倾斜信息。其中关节点的拓扑高度特征可用如下表达式:4.4拓扑上肢倾斜信息可用如下表达式:其中表示人体竖向中心与地面的构成的有向向量,表示人体竖向中心与上肢构成的有向向量，β表示人体的上肢几何拓扑倾斜角度；4.5下肢倾斜信息可用如下表达式:其中表示人体竖向中心与地面的构成的有向向量,表示人体竖向中心与下肢构成的有向向量，α表示人体的下肢几何拓扑倾斜角度。作为一种优选,提取跌倒视频片段的静态特征和动态特征，作为跌倒的样本；再提取正常活动状态下的视频片段的上述静态特征和动态特征，作为正常行为的样本；使用上述关节点特征样本训练SVM分类器，并使用该分类器识别人体是否跌倒。本专利技术提供的一种基于RGBD传感器的跌倒检测方法，可以利用深度相机的维度提升功能，快速准确的对人体所在场景进行相机恢复，并使用基于卷积神经网络的方法提取人体关节点位置，通过分析关节点的静态特征和动态特征变化来检测人体的运动状态，判断是否发生跌倒。本专利技术的跌倒检测方法能够准确、方便地监测老人三维运动状态并判断是否发生跌倒。本专利技术中智能化的RGBD传感器，能够实时准确地识别跟踪老人的活动，由于不需要佩戴专业传感器，不对老人的日常生活造成影响，同时利用深度成像特征，较好地保护老人隐私。附图说明图1为本专利技术基于RGBD传感器的跌倒检测方法流程图。图2为本专利技术实施例中的人体关节点特征图降采样流程。图3为本专利技术实施例中的人体关节点特征图升采样流程。图4为本专利技术实施例中的人体关节点概率分布示意图。图5为本专利技术实施例中的肢体倾斜角度计算示意图。具体实施方式下面结合附图对本专利技术的优选实施例进行详细阐述，以使本专利技术的优点和特征能更易于被本领域技术人员理解，从而对本专利技术的保护范围做出更为清楚明确的界定。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利技术的范围及其应用。参阅图1，在一种实施例中，基于RGBD传感器的跌倒检测方法包括：彩色相机标定和深度相机立体标定、空间三维结构信息提取、基于卷积神经网络的关节点定位、关节点静动态特征提取、跌倒判断分类训练与预测。本实例以微软公司的KinectV2作为RGBD传感器。其中，立体相机校准包括：1、从多个角度和不同距离利用棋盘格平面拍摄多幅图像，分别包括利用彩色相机和深度相机进行拍摄；2、对拍摄所得图像建立单相机空间立体投影坐标系，进行基于最小化重投影误差的相机内参数标定，包括彩色相机和深度相机的内参数精细化标定本文档来自技高网...

【技术保护点】
1.一种基于RGBD传感器的人体跌倒检测方法，其特征在于,包括以下步骤：S1、对RGBD传感器进行内外相机参数标定矫正，获取和定位彩色相机和深度相机内外方关系，对纹理结构信息和深度测距信息进行配准；S2、利用所述RGBD传感器获取采集区域内的环境视频序列，针对RGBD视频序列采取校准步骤，提取活动空间环境三维结构信息；S3、把视频序列输入到卷积神经网络中，基于多级卷积神经网络提取关节点，得到一组人体关节点的三维坐标位置；S4、提取人体关节点的三维结构信息、静态信息、动态信息作为描述人体动作行为的特征，通过分析关节点特征信息的变化，来综合分析人体是否发生异常跌倒行为。

【技术特征摘要】
1.一种基于RGBD传感器的人体跌倒检测方法，其特征在于,包括以下步骤：S1、对RGBD传感器进行内外相机参数标定矫正，获取和定位彩色相机和深度相机内外方关系，对纹理结构信息和深度测距信息进行配准；S2、利用所述RGBD传感器获取采集区域内的环境视频序列，针对RGBD视频序列采取校准步骤，提取活动空间环境三维结构信息；S3、把视频序列输入到卷积神经网络中，基于多级卷积神经网络提取关节点，得到一组人体关节点的三维坐标位置；S4、提取人体关节点的三维结构信息、静态信息、动态信息作为描述人体动作行为的特征，通过分析关节点特征信息的变化，来综合分析人体是否发生异常跌倒行为。2.如权利要求1所述的跌倒检测方法，其特征在于，步骤S1中，采用基于重投影最小化的相机配准方法对彩色相机和深度相机进行成像模型恢复，并提取空间点投影到两相机之间对应关系，使用最小化重投影误差:其中Krgb表示矫正后的RGB相机内参数,Kd表示矫正后的深度传感相机内参数，Rid和tid是深度传感相机的第i个外参数旋转矩阵和平移矩阵，R和T是RGB相机和深度传感相机的立体映射旋转矩阵和平移矩阵。表示将深度相机第i幅图像中第j个角点Mijd根据上述相机内外参数投影到RGB相机上的像素坐标。3.如权利要求2所述的跌倒检测方法，其特征在于,步骤S2中，利用彩色相机和深度相机拍摄多幅图像序列，并利用得到的两相机立体关系恢复空间环境三维结构信息，然后基于三维点云结构信息提取空间场景的三维地平面表达式：Ax+By+Cz+D＝0其中A,B,C,D是地平面参数系数。4.如权利要求1所述的跌倒检测方法，其特征在于,步骤S3中具体包括：3.1.构建基于多级全卷积的基础网络，利用卷积尺寸逐步增大感受野，使得能够充分利用图像的空间上下文信息，利用最大池化操作在特征图分辨率逐步降低的同时提高整体网络的语意表达能力，利用多级网络将N个关节点空间上下文信息抽象为小分辨率的特征图；3.2达到最小分辨率之后，利用双...

【专利技术属性】
技术研发人员：袁克虹，申代友，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44