一种基于三维摄像头的人体跌倒检测方法技术

本发明专利技术公开了一种基于三维摄像头的人体跌倒检测的方法，该方法包括训练数据采集，对不同身高，不同年龄的多个实验对象采集多组跌倒与非跌倒动作片段进行采集；数据预处理；动作特征提取，提取每种动作的骨骼节点分布特征，高度特征以及惯性特征，构成行为特征向量；分类器训练获取运动模型，将训练集的行为特征向量输入隐马尔可夫模型分类器，获得参数最优模型；最后对每个测试样例连续帧内的数据进行上述的特征提取，投入之前模型进行测试，判别。本发明专利技术用机器学习方法实现了人体跌倒行为检测，具有较高的识别率。该方法属于计算机视觉以及机器学习领域，能够有效地识别出室内跌倒行为发生情况，及时发出报警，节省了看护工作人员劳动力。

A method of detecting human tumble based on 3D camera

The invention discloses a method for 3D camera based human fall detection, the method includes collecting training data, for different height, a plurality of subjects of different age groups collected fall and non fall action sequences acquisition; data preprocessing; motion feature extraction, extraction of each action node distribution of bone the height, characteristics and inertial characteristics, constitute a feature vector; classifier training and obtaining the motion model, the training set will feature vector input to hidden Markov model, obtain the optimal model parameters; finally, the characteristics of each test sample for intra frame data extraction, test input before model discrimination. The invention realizes the detection of human fall behavior with a machine learning method, and has a high recognition rate. The method belongs to the field of computer vision and machine learning, it can effectively identify the occurrence of indoor fall behavior, timely send out the alarm, and save the labor force of nursing staff.

【技术实现步骤摘要】
一种基于三维摄像头的人体跌倒检测方法
本专利技术涉及人机交互领域中人体行为识别研究，采用机器学习方法提出一种基于三维摄像头的人体跌倒检测方法。
技术介绍
近年来在医疗监护、智能交通、安保监控等领域上对人体行为分析得到广泛关注，人体跌倒检测作为行为分析的一个分支，在当前人口老龄化，患者得不到充分的安全监护情况下显得尤为重要。有数据表明，跌倒是老年人主要的致伤原因，而利用先进的图像处理技术，传感器技术可以对老年人、病人的跌倒状况进行自动检测，及时告警。避免了跌倒后伤势加重、诱发病情，错过救助良机；同时降低了看护成本，节省人工劳动力。人体跌倒检测研究大体分为两类，一类是基于计算机图像处理技术，另一类是基于传感器技术。传统的跌倒检测方法是通过给实验对象佩戴有加速度传感器的设备，来实时采集数据，作出行为判断。如专利CN105989694A的一种基于三轴加速度传感器的人体跌倒检测方法，该方法通过判断Y轴加速度峰值是否达到阈值，如达到再对该加速度值进行特征分析，与跌倒行为特征进行匹配，从而判断用户跌倒事件。以及专利CN105342626A的穿戴式设备及应用于穿戴式设备的跌倒检测方法，通过穿戴式设备三个轴向的实时加速度，计算符合跌倒条件的极值点波形，然后通过计算该极值点波形的方差特征对跌倒事件进行检测。以及专利CN105125220A的一种跌倒检测方法，首先获取三轴加速度传感器值，并计算合加速度；判断合加速度是否大于加速度阈值，若大于则计算检测结果，根据跌倒检测模型和检测结果进行跌倒判断。这类方式主要是通过跌倒过程中的三轴加速度信息进行判断，因为要佩戴设备，影响到人的舒适度。传统二维摄像头不需要监测者携带任何设备，但传统二维摄像头对人体姿势和室内环境比较复杂的情况难以处理。如专利CN106503643A的人体跌倒检测方法，通过二维摄像头获取彩色图像，最小面积外接矩计算得出矩形宽高比、人体质心高度比等特征，再通过广义三角模糊函数构造人体特征，与跌倒动作特征进行匹配，得到检测结果。以及专利CN105718886A的一种活动人员安全异常的跌倒检测方法，先根据当前人体行为动作图像获取每个像素的时间序列模型，再对属于相同目标的像素进行归类，采用纵横比来进行跌倒推断。但这类方法从人体行为轮廓获取特征，没有对人体惯性特征进行分析，可以对跌倒发生过后的状态作出判断，对于人体躺下与坐下这些类跌倒动作不能区分。而三维摄像头相比传统摄像头提供了深度图像数据，为人体跌倒行为检测提供了新的途径。目前，基于三维摄像头的人体骨骼数据的跌倒检测方法较少，如专利CN105719429A的一种基于Kinect的跌倒检测及报警系统及其操作方法，该专利技术的主要工作是通过对人体骨骼数据的采集，获取骨骼节点的三维坐标，计算出人体重心在空间中的位置及速度，通过判断人体重力作用线是否超出支撑面范围以及重心在竖直方向和水平方向的移动速度大小，实现对跌倒的检测。专利CN104794463A的基于Kinect实现室内人体跌倒检测的系统与方法，包括三个跌倒检测模块，用以基于人体倾斜角度和轮廓变化趋势进行跌倒检测判断，用以基于人体运动叠加图分析进行跌倒检测判断，以及用以基于传感器坐标系下人体运动方向和加速度进行跌倒检测判断，根据以上三个模块进行综合判断，输出结果。这类方法利用了三维摄像头捕获的骨骼节点特征，人体轮廓特征以及人体惯性特征，但由于特征选取简单，且在跌倒动作发生过程中，人体骨骼节点容易发生混淆与遮挡，三维摄像头捕获的节点位置与实际位置不符从而造成误判，出现识别率不高的情况。
技术实现思路
针对以上问题，本专利技术为监测室内看护对象跌倒情况提供了一种基于三维摄像头的人体跌倒检测方法。通过新的特征提取方法以及分类算法更为准确地检测出跌倒事件。为了解决以上问题，本专利技术采取了如下技术方案：一种基于三维摄像头捕获的骨骼数据跌倒判断方法，该方法包括如下步骤：步骤1：人体跌倒与日常生活动作的采集；建立跌倒检测数据集，将人体常见的跌倒动作，前向、后向以及侧向跌倒动作，日常生活的类跌倒动作，捡东西、坐下、躺下以及行走动作统一采集，通过三维摄像头捕获动作发生连续帧内骨骼节点信息。步骤2：建立跌倒检测训练集；采集大量人体跌倒与类跌倒动作数据，为数据分类加标签。步骤3：提取动作特征；提取人体骨骼节点的K-means(K均值)特征；由于跌倒动作过程节点变化较大，肢体动作类型较多，而且在跌倒过程中三维摄像头获取的骨骼节点位置容易发生混淆，用每个骨骼节点与某个点群中心的欧式距离信息替代每个骨骼节点的位置信息能够较好体现出动作的复杂情况。与往常用骨骼重心作中心点方法不同，本方法采用K-means聚类方法取两个中心点，即经过多次迭代，在点群成员转移重组的过程中，不断移动两个点群中心位置，最终用每个节点到最近点群中心的欧式距离作为跌倒检测特征。K-means属于无监督学习算法，可降低特征维度。由于得到距离信息而非位置信息，在分析动作过程中能够很好地体现骨骼节点聚散情况。除了人体骨骼节点的聚类特征，本方法还采用人体骨骼节点距离地面高度特征；由于跌倒动作的特殊性，动作发生过程中必有一段时间内骨骼节点与地面距离快速减小，在此过程中，臀部节点距离地面高度处于20cm以下。由于一般的三维摄像头没有提供节点距离地面高度的接口，所以本方法中通过获取地平面法向量以及地面上一点位置，来进一步计算臀部节点距离地面高度。该方法如下：由于默认训练集每组人体动作初始状态为直立，将人体臀部节点与脊部节点进行矢量连接，得出其三维单位向量作为地平面法向量，取动作序列第一帧两脚节点中心位置F(x0,y0,z0)作为地面上一点，则可得点Hip(xh,yh,zh)距离地面高度为：根据前面所述跌倒动作的特殊性，人体的惯性特征也是跌倒检测的一项重要指标。在跌倒动作发生的几秒内，骨骼节点加速度普遍大于非跌倒动作过程，部分加速度可达到3g以上。相比传统加速度传感器采集的腰部节点加速度值，本专利技术应用三维摄像头采集到的骨骼节点在连续帧内空间位置变化来推导出每一时刻的加速度标量。由于三维摄像头捕捉骨骼数据存在不稳定状况以及跌倒动作的复杂性，推导出的腰部节点加速度误差比较大，所以本方法中采用三维摄像头捕捉的头部节点推导的加速度标量作为特征。步骤4：将上一步对训练数据集提取的特征输入HMM(隐马尔可夫模型)进行训练；本方法经过测试设定HMM最适隐态数为某个参数a，即状态转移矩阵A＝{aij}，aij＝P(qt+1＝Sj|qt＝Si)1≤i,j≥a；经过多次迭代计算，对上一步提取的训练集特征进行训练，由EM算法(最大期望算法)建立跌倒动作与非跌倒动作的隐马尔科夫模型，训练数据集数量越大越全面，建立的模型越准确。有益效果：1、本专利技术是基于三维摄像头的人体跌倒行为检测，设备成本低，相比传统的基于传感器的跌倒行为检测，避免了穿戴式传感器给监护对象日常生活带来的不舒适体验，且方法移植性好，不存在用于特异性问题。2、本专利技术采用的K-means特征提取方法，用骨骼节点的聚散信息替代位置信息，可以避免三维摄像头捕获人体骨骼数据时可能存在的骨骼重叠，从而造成误判。3、本专利技术采用机器学习方法，相比传统的阈值判别方法，可以解决不同用户之间存在的差异性问题，通过大量数据集的训练本文档来自技高网...

【技术保护点】
一种基于三维摄像头的人体跌倒检测方法，其特征在于，所述方法包括如下步骤：步骤1：人体跌倒与日常生活动作的采集；建立跌倒检测的数据集，将人体常见的跌倒动作，前向、后向以及侧向跌倒动作，日常生活的非跌倒动作，捡东西、坐下、躺下以及行走动作统一采集，通过三维摄像头捕获动作发生连续帧内骨骼节点信息，并以三维空间节点坐标形式存储下来；步骤2：建立跌倒检测训练集；采集大量人体跌倒与类跌倒动作数据，为数据分类加标签；步骤3：提取动作特征；对训练集中的跌倒动作与类跌倒动作过程中的骨骼节点坐标信息提取人体骨骼聚类特征，计算连续帧内臀部节点距离地面高度变化以及头部节点的加速度信息，将以上几种特征提取出来作为每帧内的一组特征向量；步骤4：将上一步对训练数据集提取的特征输入隐马尔可夫模型进行训练；由最大期望算法经过多次迭代计算，建立最优隐马尔可夫模型；步骤5：用三维摄像头采集的人体跌倒动作与非跌倒动作样例重复步骤2、步骤3操作，将处理过后的数据投入步骤4获得的隐马尔可夫模型进行测试，得到预测标签，若与实际标签一致，则判断正确，反之判断错误。

【技术特征摘要】
1.一种基于三维摄像头的人体跌倒检测方法，其特征在于，所述方法包括如下步骤：步骤1：人体跌倒与日常生活动作的采集；建立跌倒检测的数据集，将人体常见的跌倒动作，前向、后向以及侧向跌倒动作，日常生活的非跌倒动作，捡东西、坐下、躺下以及行走动作统一采集，通过三维摄像头捕获动作发生连续帧内骨骼节点信息，并以三维空间节点坐标形式存储下来；步骤2：建立跌倒检测训练集；采集大量人体跌倒与类跌倒动作数据，为数据分类加标签；步骤3：提取动作特征；对训练集中的跌倒动作与类跌倒动作过程中的骨骼节点坐标信息提取人体骨骼聚类特征，计算连续帧内臀部节点距离地面高度变化以及头部节点的加速度信息，将以上几种特征提取出来作为每帧内的一组特征向量；步骤4：将上一步对训练数据集提取的特征输入隐马尔可夫模型进行训练；由最大期望算法经过多次迭代计算，建立最优隐马尔可夫模型；步骤5：用三维摄像头采集的人体跌倒动作与非跌倒动作样例重复步骤2、步骤3操作，将处理过后的数据投入步骤4获得的隐马尔可夫模型进行测试，得到预测标签，若与实际标签一致，则判断正确，反之判断错误。2.根据权利要求1所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于：所述步骤2中训练集中的人体的非跌倒动作采集多种类型，数据量大且区分度高，包括行走，捡东西这类区分度大的动作以及坐下，躺下这些类跌倒动作，保证数据集的全面性；且跌倒动作标签为1，非跌倒动作标签为2。3.根据权利要求2所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于：三维摄像头采集的训练集要求每个动作的初始帧内，人体呈直立状态，两脚不重叠，开始记录。4.根据权利要求1所述的一种基于三维摄像头的人体跌倒检测方法，其特征在于:所述步骤3中对数据集中人体骨骼节点坐标使用K-means人体骨骼聚类方法，其中K均值，将人体骨骼坐标特征换算为空间距离特征，在每帧内迭代计算多个骨骼节点的点群中心，最终确定两个中心点的位置，计算每个骨骼节点到距离最近的那个点群中心的欧式距离作为特征。5.根据权利要求1所述的一种基于三维摄像头的人...

【专利技术属性】
技术研发人员：陈建新，刘李正，裴启程，奚晨烜，赵晨雪，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32