基于人体姿态动态特征的跌倒行为识别方法技术

本发明专利技术公布了一种基于人体姿态动态特征的跌倒行为识别方法，其特征在于：对单目摄像头采集的人体RGB图像信息进行处理，得到人体姿态关键点，构建代表人体主躯干及腿部的姿态向量；计算人体主躯干及腿部的偏移角及身长比例，将其作为表征人体倾斜姿态的关键动态量，将多个人体关键动态量整合为人体倾向姿态特征符及人体稳定姿态特征符，描述人体状态变化；以参考模板向量对比、下肢稳定性能量值及状态分值构成特征向量，应用SVM完成跌倒识别二分类，联合人体下降姿态动态特征阈值判断提高人体跌倒行为识别准确率与精确度；本发明专利技术实现了基于单目RGB摄像机的人体跌倒识别，且不受人体穿着衣物等外部因素影响，鲁棒性和性价比好。

【技术实现步骤摘要】
基于人体姿态动态特征的跌倒行为识别方法
本专利技术涉及一种基于人体姿态动态特征的跌倒行为识别方法，属于计算机视觉领域。
技术介绍
跌倒事故是影响老年人健康安全的主要肇因，《世界卫生组织全球老年人跌倒预防报告》指出，全球范围内每年约30％的60岁及以上的老年人发生过至少一次跌倒事故。中国老年学和老年医学学会老龄传播分会等多家机构联合发布的《老年人防跌倒联合提示》指出，跌倒是中国65岁以上老年人因伤害死亡的首位原因，跌倒受伤占据了因伤就医的老年人比例的五成，人口老龄化趋势进一步扩大了跌倒事故造成的恶劣影响。据联合国经济和社会事务部人口统计报告显示，2018年全球65岁及以上人口数量首次超过5岁以下儿童人口数量，预计至2050年80岁及80岁以上人口数量将增加两倍，从2019年的1.43亿增加到4.26亿，届时全世界超过65岁的人口占比将达到16％，全球老龄化趋势的持续性扩大同时意味着将有更多的老年人蒙受跌倒事故的威胁。据国外学者研究调查显示，跌倒事件发生后，得到及时救助支援的老年人可以降低80％的死亡风险和26％的长期住院风险。由此可见，合理有效的跌倒事故识别方法可以使得行动不便或跌倒后失去意识的人群得到及时护理救治，从而有效降低跌倒事件对人体造成的伤害。现有已提出的跌倒识别方法可以归结为三类：基于可穿戴传感器，基于环境传感器及基于计算机视觉。基于可穿戴传感器的方法通常依赖于使用者随身佩戴的陀螺仪、加速度计等传感器设备采集的加速度、偏转角度等数据，长期随身佩戴传感器容易导致人体感觉不适、年龄较大的老人厌恶长期佩戴产生抗拒心理，记忆力衰退的老人无法做到随时佩戴等不利因素限制了该方法的实用性及可推广性。环境传感器的方法则需要在监控场合附近安装外部传感器以获取环境数据，典型环境数据如压力、振动，音频和红外列阵等，此类方法需要专用的外部传感器，设备架设费用较高，监控实施难度较大，应用场合受到了较大限制。
技术实现思路
针对上述问题和不足，本专利技术提出一种基于人体姿态动态特征的跌倒行为识别方法，该方法以单目RGB摄像机采集图像信息，以人体骨骼关键点坐标表征人体姿态动态特征，以人体倾斜程度及下降程度作为判据判断人体的跌倒行为，具体按照以下步骤实施：步骤A，对普通单目摄像头采集的人体RGB图像信息进行处理，得到人体姿态关键点，构建代表人体主躯干及腿部的姿态向量；采用普通单目摄像头采集人体的二维RGB图像信息，基于BODY_25模型的OpenPose神经网络，从二维RGB图像中获得25个人体关键点，通过与标准人体摔倒视频进行对比，得到能准确描述人体摔倒特征的关键点(1,8,9,10,11,12,13,14)，利用OpenPose获得人体在图像坐标系中摔倒特征关键点的原始数据，即颈部坐标(1点)，尾椎坐标(8点)、髋部坐标(9、12点)、膝盖坐标(10、13点)、踝部坐标(11、14点)等，构建代表人体主躯干及腿部的向量及式中，Xi为第i处人体关键点的横坐标，Yi为第i处人体关键点的纵坐标；步骤B，基于人体主躯干及腿部的姿态向量，计算人体主躯干及腿部的偏移角(deflectionangle)及身长比例(spineratio)，将其作为表征人体倾斜姿态的关键动态量，以描述人体跌倒过程中的姿态变化情况；以图像坐标系的垂向向量表征世界坐标系与地面垂直的垂线将人体主躯干向量与相对比，获得人体主躯干相对于地面垂线的偏移角spinedeflectionangle：身长比例(spineratio)表征人体脊柱与腿部在图像中的矢量比例，采用下面公式计算：步骤C，将多个人体关键动态量整合为人体倾向姿态特征符、及人体稳定姿态特征符，并依据姿态特征描述人体状态变化；人体倾向姿态特征符用以表征人体姿态相对于地面垂线的倾斜程度，由关键动态量中的偏移角与身长比例整合而来，根据人体处于行走等稳定状态与处于跌倒状态时两关键动态量的密度分布差异，设定具有级差的人体倾斜姿态特征符(TendencySymbol)，T1表示人体倾角极小，倾向性不明显，T2表示人体具有较大的倾斜角，T3表示人体倾向性显著，跌倒可能性极高；当人体动作对应的关键动态量Spinedeflectionangle或spineratio与跌倒行为更贴近，则将TendencySymbol设为T3；当关键动态量Spinedeflectionangle及spineratio同时满足更接近于日常活动行为，将TendencySymbol设为T1；其余则统归为T2；人体稳定姿态特征符(SteadySymbol)，用以佐证人体姿态稳定状态，由关键动态量中各部位的偏移角整合而来，躯干与左右小腿偏移角、同侧大腿与小腿偏移角中任意两个与地面保持相对垂直的关系，则人体存在一个直立性支撑副，若至少存在一个直立性支撑副，将人体稳定姿态特征符标记为S1，代表人体处于较强的稳定态，否则标记为S2，代表人体处于非稳定态；步骤D，基于人体倾斜姿态动态特征，应用支持向量机二分类进行跌倒行为识别，将跌倒行为与日常活动行为进行区分，实现较好的人体跌倒行为识别；在获得图像帧对应的人体倾斜姿态动态后，若为稳定态则更新保存的参考模板，若为非稳定态则不予以参考模板更新；若连续α个图像帧对应的人体状态均为非稳定态，则视作进入非稳定态驻留期；进入非稳态驻留期后，若连续α个图像帧对应的人体状态均为稳定态，则跳出非稳定态驻留期，重新予以参考模板向量更新，否则继续保持原有参考模板向量，并计算非稳定态驻留期β帧内质心运动状况比对值γ、下肢稳定性能量值ε及状态分值τ，基此构成特征向量并经过SVM支持向量机进行跌倒动作判定，若识别为非跌倒，则依据当前图像帧更新参考模板，若识别为跌倒则予以报警，α取值与实际采用摄像机帧率相关；！步骤E实质上是包含在步骤D计算质心运动状况比对值γ中的，是否仍有必要存在？步骤E，以基于人体下降姿态动态特征的阈值判断作为跌倒识别算法的补充条件，进一步提高人体跌倒识别方法的准确性；将人体骨盆部位视作稳定性质心，将对应于骨盆区域人体关键点8视作人体稳定性质心所在位置，采用下式计算人体下降姿态动态特征r：式中，与为相距ε帧的骨盆区域人体关键点8的垂向坐标值，H为躯体垂向长度，以人体头部区域与骨盆区域关键点坐标的Y方向差值得出，H＝||Y1-Y8||2。r值表征了人体跌倒事件发生后的瞬态变化情况，描述状态变化时刻人体稳定性质心的垂向下落程度，r值较高代表着人体具有较大的垂向下落速度，相应的跌倒概率则较高，当r值达到设定阈值后，则判定人体发生跌倒行为。本专利技术有益效果是：提出了基于人体倾斜姿态动态特征的跌倒行为判断方法，引入OpenPose提取人体姿态关键点，不受人体穿着衣物等外部因素影响，鲁棒性较好，以线性SVM完成跌倒行为与日常人体动作的区分，实时性良好；联合人体下降姿态动态特征阈值判断确保了本方法具有较好的召回率，同时具有较高的跌倒事件识别准确率与精确率，具备良好的应用价值；实现本文档来自技高网...

【技术保护点】
1.一种基于人体姿态动态特征的跌倒行为识别方法，其特征在于，该方法包括：/n步骤A，对普通单目摄像头采集的人体RGB图像信息进行处理，得到人体姿态关键点，构建代表人体主躯干及腿部的姿态向量；/n采用普通单目摄像头采集人体的二维RGB图像信息，基于BODY_25模型的OpenPose神经网络，从二维RGB图像中获得25个人体关键点，通过与标准人体摔倒视频进行对比，得到能准确描述人体摔倒特征的关键点(1,8,9,10,11,12,13,14)，利用OpenPose获得人体在图像坐标系中摔倒特征关键点的原始数据，即颈部坐标(1点)，尾椎坐标(8点)、髋部坐标(9、12点)、膝盖坐标(10、13点)、踝部坐标(11、14点)等，构建代表人体主躯干向量

【技术特征摘要】
1.一种基于人体姿态动态特征的跌倒行为识别方法，其特征在于，该方法包括：
步骤A，对普通单目摄像头采集的人体RGB图像信息进行处理，得到人体姿态关键点，构建代表人体主躯干及腿部的姿态向量；
采用普通单目摄像头采集人体的二维RGB图像信息，基于BODY_25模型的OpenPose神经网络，从二维RGB图像中获得25个人体关键点，通过与标准人体摔倒视频进行对比，得到能准确描述人体摔倒特征的关键点(1,8,9,10,11,12,13,14)，利用OpenPose获得人体在图像坐标系中摔倒特征关键点的原始数据，即颈部坐标(1点)，尾椎坐标(8点)、髋部坐标(9、12点)、膝盖坐标(10、13点)、踝部坐标(11、14点)等，构建代表人体主躯干向量左腿部向量及右腿部向量









式中，Xi为第i处人体关键点的横坐标，Yi为第i处人体关键点的纵坐标；
步骤B，基于人体主躯干及腿部的姿态向量，计算人体主躯干及腿部的偏移角(deflectionangle)及身长比例(spineratio)，将其作为表征人体倾斜姿态的关键动态量，以描述人体跌倒过程中的姿态变化情况；
以图像坐标系的垂向向量表征世界坐标系与地面垂直的垂线将人体主躯干向量与相对比，获得人体主躯干相对于地面垂线的偏移角spinedeflectionangle：



身长比例(spineratio)表征人体脊柱与腿部在图像中的矢量比例，采用下面公式计算：



步骤C，将多个人体关键动态量整合为人体倾向姿态特征符、及人体稳定姿态特征符，并依据姿态特征描述人体状态变化；
人体倾向姿态特征符用以表征人体姿态相对于地面垂线的倾斜程度，由关键动态量中的Spinedeflectionangle及spineratio整合而来，根据人体处于行走等稳定状态与处于跌倒状态时两关键动态量的密度分布差异，设定具有阶梯形人体倾斜姿态特征符(TendencySymbol)，T1表示人体倾角极小，倾向性不明显，T2表示人体具有较大的倾斜角，T3表示人体倾向性显著，跌倒可能性极高；当人体动作对应的关键动态量Spinedeflectionangle或spineratio与跌倒行为更贴近，则将TendencySymb...

【专利技术属性】
技术研发人员：韩锟，黄泽帆，杨穷千，肖友刚，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43