一种基于关键骨骼点轨迹分析的摔倒动作检测方法技术

本发明专利技术提供一种基于关键骨骼点轨迹分析的摔倒动作检测方法，包括如下步骤：步骤1.首先收集若干组包含摔倒动作的图像序列，以及若干组包含除摔倒动作以外的其它动作的图像序列；步骤2.关键骨骼点提取：在正负样本中提取人体关键骨骼点的相关信息，包括每个骨骼点在RGB图像中的位置信息以及深度信息；步骤3：构建特征模型，生成基于关键骨骼点轨迹的特征描述符；步骤4：构建分类器，对轨迹特征描述符进行分类，检测摔倒动作。本发明专利技术利用基于神经网络的OpenPose人体骨骼检测算法提取出人体骨骼位置信息，可直接获取最具说服力的人体自身骨骼点，不局限于特定情况以及特殊环境，不需要用户佩戴任何东西，也不需要复杂的安装，成本很低。

A Method of Falling Action Detection Based on Trajectory Analysis of Key Bone Points

【技术实现步骤摘要】
一种基于关键骨骼点轨迹分析的摔倒动作检测方法
本专利技术涉及计算机视觉与图像识别领域，具体为一种基于关键骨骼点轨迹分析的摔倒动作检测方法。
技术介绍
在世界范围内，65岁以上人口的比例不断增加，中国已经成为世界上老年人口最多的国家，也是老龄化人口发展速度最快的国家之一。据联合国统计，到本世纪中期，中国将有5亿人口超过60岁，而这个数字将超过美国人口的总数。而更加不容忽视的是中国空巢老人问题更加突出，目前在城市有54％的家庭是空巢老人家庭，而随着农村进城务工人数的增加，农村空巢老人的比例已接近半数。由于年龄的增长，老年人的身体机能不断下降，摔倒已成为60岁以上老年人受到伤害和死亡的最大诱因。为此，在过去的几年里，研究人员集中在开发安全可靠系统的解决方案，以监控老年人的日常活动并及时发现摔倒事件。这些系统将使老年人能够继续享有独立的生活方式，直接惠及老年人，无需转入制度化医疗服务，在需要时及时有效干预，最终减轻老年人及其家庭的情感和经济负担。降低处理摔倒事件所需的成本和资源，也具有明显的社会和经济效益，特别是在长时间停留在地板上的时候可能出现的更为复杂情况。目前主流摔倒检测方法分为三类，即可穿戴设备(主要是三轴加速度计)，环境传感器(例如感应压力，振动，音频)和基于视觉的传感器(主要是用于检测姿势形状和活动变化的摄像头)。基于可穿戴方法主要原理是对人体的姿态进行监测，进而进行摔倒检测判断。常用的传感器包括加速度传感器，陀螺仪传感器，压力传感器，还可以与心电，脉搏等设备结合进行检测。但是这种方法需要用户进行长期的佩戴，用户体验较差，不方便日常的活动，而且长期的佩戴会对器材有所损耗，误报率很高，使得准确度一般；基于环境传感器的摔倒检测系统，原理是在检测人体目标的活动区域内安装多个嵌入在环境中的外部传感器，包括压力传感器，声学传感器，肌电传感器等。主要基于目标人物摔倒时所发出的声音以及与地面接触时地面震动所产生的数据来进行摔倒判断。这种方法数据量过大，算法复杂，且这种系统资金投入大，安装复杂，在实际应用中很少；随着近年来计算机视觉的发展，基于图像和视频的方法在摔倒检测系统中已经变得流行。原理是在一定区域中安装一个或几个摄像头采集人体运动图像，提取摔倒动作的特征向量，进行匹配来实现摔倒检测。这种方法人工介入少，安装方便，器材损耗小，成本低廉，而且随着计算机视觉的不断发展，精确度会越来越高。但是隐私问题是一个致命缺点，用户大多都不肯接受。
技术实现思路
本专利技术的技术任务是针对以上现有技术的不足，而提供一种基于关键骨骼点轨迹分析的摔倒动作检测方法。本专利技术解决其技术问题所采用的技术方案是：一种基于关键骨骼点轨迹分析的摔倒动作检测方法，包括如下步骤：步骤1.预处理：对原始数据进行划分；首先收集若干组包含摔倒动作的图像序列作为正样本，以及若干组包含除摔倒动作以外的其它动作的图像序列作为负样本，所述图像序列包括RGB图像序列和深度图像序列；步骤2.关键骨骼点提取：对正负样本提取人体关键骨骼点的信息，包括位置信息以及深度信息，所述位置信息为人体关键骨骼点在RGB图像中的二维位置坐标；所述深度信息为上述人体关键骨骼点对应的深度图像相应位置的深度值；所述位置信息使用OpenPose算法进行人体关键骨骼点检测，输入为RGB图像序列或RGB视频，输出是人体主要的18个骨骼点坐标，选择除左、右眼以及左、右耳以外的14个关键骨骼点；18个骨骼点坐标包括鼻子，脖子，肩(左右)，肘(左右)，腕(左右)，髋(左右)，膝(左右)，踝(左右)，眼(左右)，耳(左右)，本方法考虑的问题是人体行为动作，不涉及很小的动作细节，因而眼(左右)以及耳(左右)予以剔除，剩下的14个关键骨骼点为所需的信息；步骤3：构建特征模型，生成基于关键骨骼点轨迹的特征描述符；根据步骤1和步骤2中获得的一系列正负样本的关键骨骼点信息，对指定跨度L的其中一个轨迹，规定(1)作为其特征模型：其中：式中，x,y是位置坐标，d是对应坐标处的深度值，i是该段轨迹的起始帧号，L是轨迹跨度，ωn指编号为n的骨骼权重，分别表示第i帧处上半身，下半身的加权中心位置坐标，编号1-8的骨骼点对应上半身，编号9-14的骨骼点对应下半身；步骤4：构建分类器，对轨迹特征描述符进行分类，检测摔倒动作。进一步地，所述步骤1中正负样本的收集具体包括：对于摔倒动作的图像序列，设定某段视频其中摔倒动作的发生帧号和结束帧号分别为tstart和tend，对于摔倒动作的判定需要选取显著区别于其它动作特点的重要时期，并需要人工手动标注以构建训练数据集，规定一个轨迹跨度L，从tstart开始截取L个视频帧的集合作为一个正样本轨迹，然后以步长为1依次向后滑动，直到该段视频中某个轨迹的最后一帧为tend为止；即该段视频会有tend-tstart-L+2个轨迹作为正样本生成，其余的视频以此类推；对于除摔倒动作以外的其它动作的视频或图像序列，负样本的收集不需要人工手动标注，只需要在该段视频或图像中随机截取即可，但是轨迹跨度必须和正样本一致，即负样本也要以L作为其轨迹跨度。进一步地，步骤1中，对于负样本，需要考虑到视频中的特殊动作，包括坐下，弯腰，躺下及类似动作，以及过渡动作，包括人在地面行走及类似动作。进一步地，由于每段视频中人本身各不相同，离摄像头的距离也不尽相同，因此需对步骤3中获得的特征模型做归一化处理，这里采用min-max标准化，也称为离差标准化。进一步地，所述步骤4的具体操作分为如下两步：S1.用训练数据的轨迹特征描述符建立随机森林分类器；对于一个新的图像序列，从第一帧开始，以L为轨迹跨度依次滑动得到一组轨迹，并提取相应的基于关键骨骼点轨迹的特征描述符，利用随机森林分类器对所有轨迹特征描述符进行分类，分类结果为1表示摔倒动作，分类结果为0表示其它动作；S2.对于一个新的图像序列，得到所有轨迹的分类结果后，依据整合方法给出整个图像序列的最终判定结果。进一步地，所述整合方法为：S201.借鉴膨胀腐蚀原理，用R＝1的圆在整个图像序列的分类结果上进行腐蚀操作，来初步消除明显的噪声点；S202.对一个完整图像序列的分类结果，从第一个轨迹段开始往后滑动，计算轨迹段累计值M，遇“0”累计值M重置为0，遇“1”累计值M自加1，当某时刻累计值超过10时，停止计算，认为这段图像序列发生了摔倒；如果直到最后一个轨迹段，仍没有触发终止条件，则认为这段视频没有发生摔倒。本专利技术提供了一种基于关键骨骼点轨迹分析的摔倒动作检测算法，不需要用户佩戴任何东西，也不需要复杂的安装，仅使用一个深度相机即可完成所有的检测过程，成本很低；与现有的基于视觉的摔倒动作检测方法相比，本方法利用基于神经网络的OpenPose人体骨骼检测算法提取出人体骨骼位置信息，不同于其它方法寻找代替模型来解释人体行为动作，本方法可直接获取最具说服力的人体自身骨骼点，好处就是不局限于特定情况以及特殊环境，检测对象永远是人，适应于任何环境，真正达到可推广到实际场景；本专利技术将深度信息和位置信息进行融合，因为深度信息与横轴方向的位移信息组合起来同样具有很大的区分度，本专利技术所述的特征模型只有骨骼位置以及深度信息，也解决了用户普遍不接受的隐私问题；本专利技术保留了人体关键骨骼点，配合上随机森林本文档来自技高网...

【技术保护点】
1.一种基于关键骨骼点轨迹分析的摔倒动作检测方法，其特征在于，包括如下步骤：步骤1.预处理：对原始数据进行划分；收集若干组包含摔倒动作和除摔倒动作以外其它动作的视频或图像序列，应包括RGB图像和RGBD深度图像两部分；步骤2.关键骨骼点提取：对正负样本提取人体关键骨骼点信息，包括位置信息以及深度信息，所述位置信息为人体关键骨骼点在RGB图像中的二维位置坐标；所述深度信息为上述人体关键骨骼点对应的深度图像相应位置的深度值；所述位置信息使用OpenPose算法进行人体关键骨骼点检测，输入为RGB图像序列，输出是人体主要的18个骨骼点坐标，选择除左、右眼以及左、右耳以外的14个关键骨骼点；步骤3：构建特征模型，生成基于关键骨骼点轨迹的特征描述符；根据步骤1和步骤2中获得的一系列正负样本的信息，对指定跨度L的其中一个轨迹，规定(1)作为其特征模型：

【技术特征摘要】
1.一种基于关键骨骼点轨迹分析的摔倒动作检测方法，其特征在于，包括如下步骤：步骤1.预处理：对原始数据进行划分；收集若干组包含摔倒动作和除摔倒动作以外其它动作的视频或图像序列，应包括RGB图像和RGBD深度图像两部分；步骤2.关键骨骼点提取：对正负样本提取人体关键骨骼点信息，包括位置信息以及深度信息，所述位置信息为人体关键骨骼点在RGB图像中的二维位置坐标；所述深度信息为上述人体关键骨骼点对应的深度图像相应位置的深度值；所述位置信息使用OpenPose算法进行人体关键骨骼点检测，输入为RGB图像序列，输出是人体主要的18个骨骼点坐标，选择除左、右眼以及左、右耳以外的14个关键骨骼点；步骤3：构建特征模型，生成基于关键骨骼点轨迹的特征描述符；根据步骤1和步骤2中获得的一系列正负样本的信息，对指定跨度L的其中一个轨迹，规定(1)作为其特征模型：其中：式中，x,y是位置坐标，d是对应坐标处的深度值，i是该段轨迹的起始帧号，L是轨迹跨度，ωn指编号为n的骨骼权重，分别表示第i帧处上半身，下半身的加权中心位置坐标，编号1-8的骨骼点对应上半身，编号9-14的骨骼点对应下半身；步骤4：构建分类器，对轨迹特征描述符进行分类，检测摔倒动作。2.根据权利要求1所述的一种基于关键骨骼点轨迹分析的摔倒动作检测方法，其特征在于，所述步骤1中正负样本的收集具体包括：对于摔倒动作的图像序列，设定某段视频其中摔倒动作的发生帧号和结束帧号分别为tstart和tend，对于摔倒动作的判定需要选取显著区别于其它动作特点的重要时期，并需要人工手动标注以构建训练数据集，规定一个轨迹跨度L，从tstart开始截取L个视频帧的集合作为一个正样本轨迹，然后以步长为1依次向后滑动，直到该段视频中某个轨迹的最后一帧为tend为止；即该段视频会有tend-tstart-L+2个轨...

【专利技术属性】
技术研发人员：刘翠微，吕健雄，杜冲，李照奎，石祥滨，张德园，刘芳，
申请(专利权)人：沈阳航空航天大学，
类型：发明
国别省市：辽宁,21