基于人体关键点行为识别与LSTM的跌倒预判方法技术

本发明专利技术提出基于人体关键点行为识别与LSTM的跌倒预判方法，该方法基于相邻人体关键点分组方法，进一步把人体分为头部、躯干和腿部三个区域进行行为识别，大大减少了计算量，从而提升了检测效率；在此基础上，通过采用LSTM，即长短期记忆神经网络机制来实现对采集视频的记忆功能，从而实现对人体行为变化的分析与识别功能，最后将识别结果归为三类：跌倒、非跌倒与其他。该方法减少了计算功耗，节约了跌倒检测时间，从而实现了实时检测与跌倒检测预判的功能。

【技术实现步骤摘要】
基于人体关键点行为识别与LSTM的跌倒预判方法
本专利技术属于人工智能AI引导下的医疗康养领域，具体涉及一种基于人体关键点行为识别与LSTM的跌倒预判方法。
技术介绍
目前国内外针对基于计算机视觉的跌倒检测方法有诸多探讨，根据所采用的算法以及实施方法的不同，具体可以分为四类：(1)身体形状分析：该方法通过背景消去建模算法将人体轮廓从图像中提取出来，然后把人体作为感兴趣区域用矩形框出，利用纵横比来判断是否发生跌倒。这种方法易受光照变化以及背景运动物体的影响，误判率高，且不能实现跌倒预判功能。(2)无活动状态检测：该方法根据老人跌倒后长时间无法恢复的特点来区分跌倒与弯腰、下蹲等相似动作，通过划定特定区域来提高跌倒识别率。可见该方法是典型的跌倒后检测，无法实现预判功能，并且无法正确区分长时间躺与跌倒。(3)头部运动跟踪：该方法采用粒子滤波方法对人体头部进行跟踪，通过头部到地面的距离以及头部的下降速率来检测是否发生跌倒。这种方法通过对人体头部的稳定跟踪在一定程度上实现了跌倒预判机制，但是缺乏对跌倒模型库的构建，这会导致检测误判率较高。此外，该方法缺乏场景理解算法，对复杂环境鲁棒性不高，并且粒子滤波算法很耗时，检测速率慢，从而很难做到实时检测。(4)行为识别：该方法通过采用卷积神经网络CNN训练行走、下蹲、坐下、平躺、跌倒等多种行为方式，生成跌倒模型库，然后对其进行分类识别，从而实现跌倒检测。该方法生成了自己的模型库，大大提升了跌倒检测的准确率。但是，使用CNN训练模型计算量较大，导致算法效率较低，并且没有实现对跌倒的预判功能。结合上文中所分析的当前世界范围内的研究现状，可以发现目前跌倒检测方法面临着以下的问题：(1)算法计算量较大，导致运行效率较低，无法做到实时检测；(2)缺少有效的跌倒预判算法。
技术实现思路
本专利技术要解决的技术问题是如何提高基于计算机视觉的跌倒检测效率，并有效实现跌倒预判，从而减少跌倒风险。为解决上述技术问题，本专利技术提出了一种基于人体关键点行为识别与长短期记忆神经网络机制LSTM的跌倒预判方法；该方法采用相邻关键点结组以及LSTM精简分类方法提升跌倒检测效率，可以实现实时检测，并且利用LSTM具有的记忆功能实现跌倒预判。一种基于人体关键点行为识别与LSTM的跌倒预判方法，其包括如下步骤：步骤1、利用RGB摄像机采集人体行为的RGB图像；步骤2、利用热成像相机将步骤1中采集到的RGB图像转化为红外图像，以显示人体的轮廓特征；步骤3、对步骤2中采集到的红外图像进行初步清晰化处理，去除椒盐噪点；步骤4、进一步对图像进行优化，得到清晰稳定的图像；步骤5、将运动的人体从静止的图像背景中分离出来，提取出活动的人体；步骤6、根据人体的关节点分布情况将人体分为18个关键点，所述18个关键点包括左眼、右眼、左耳、右耳、鼻子、左肩、右肩、颈部、左肘、右肘、左腕、右腕、左股、右股、左膝、右膝、左脚和右脚；步骤7、根据位置关系将所述关键点中的左眼、右眼、左耳、右耳和鼻子进行合并，从而形成头部区域，将所述关键点中的左肩、右肩、颈部、左肘、右肘、左腕和右腕进行合并，从而形成躯干区域，将所述关键点中的左股、右股、左膝、右膝、左脚和右脚进行合并，从而形成腿部区域，并将所述三个区域分别提炼为人体的3个关键点；步骤8、采用粒子滤波算法对所述3个关键点进行跟踪，实现对人体的姿态估计与行为识别；当所述3个关键点竖直时，判定为站立；当所述3个关键点成45°～60°夹角时，判定为下蹲弯腰；当所述3个关键点水平时，判定为平躺；当所述3个关键点下降速率达到6m/s时，判定为跌倒；步骤9、将步骤8中得到的3个关键点的不同位置情况输入到卷积神经网络CNN，所述CNN卷积神经网络将步骤8中所识别出的动作归类为：平躺、下蹲和跌倒；然后将所述平躺动作标记为L信号，将所述下蹲动作标记为S信号，将所述跌倒动作标记为F信号，并将所述信号传入下一级网络LSTM中；步骤10、从步骤4得到的图像中，采集所述平躺、下蹲和跌倒动作所分别对应的40帧图像信息，并将所述40帧图像信息输入到基于递归神经网络LSTM模块中的输入门，将所得数据进行归一化处理，得到相同格式的稳定输出视频；所述基于递归神经网络LSTM模块包括输入门、记忆门和输出门；步骤11、然后将所述基于递归神经网络LSTM模块的输入门输出的视频信息通过sigmoid函数进行标准化处理，将所得视频信息像素值归整化于(-1，1)之间，便于之后的运算与处理；之后再通过tanh函数对神经网络输入层进行激活处理，用来更新当前状态，减少误差；实现所述标准化处理所用到的计算公式如下所示：it＝σ(Wi[ht-1,xt]+bi)Dt＝tanh(Wc[ht-1,xt]+bc)式中：xt为视频帧输入像素值，ht-1为视频帧输出像素值，bi为消除视频传输过程中帧丢失所造成的偏差而设定的补偿值，Wi为递归神经网络系数矩阵权重，it为经过标准化处理过的输出；σ为所得图像帧间方差，Wc为递归神经网络系数矩阵权重，Dt为更新后的状态，bc为消除视频传输过程中帧丢失所造成的偏差而设定的补偿值；步骤12、将步骤11的输出信息传递到记忆门，所述记忆门对步骤11所得视频帧选择性地存储，将行为识别过程中判定为跌倒的一系列视频存储起来，并根据对跌倒状态的判定来划分优先级别，将跌倒动作完整视频保存下来，用于作下一步的分析；实现视频选择的计算方法如下：ft＝σ(Wf[ht-1,xt]+bf)Ct＝ft*Ct-1+it*Dt式中：ft为通过记忆门输出阶段的输出视频信息，Wt为神经网络矩阵权重，ht-1为上一级视频帧输出，xt为视频帧输入，bf为抵消通过记忆门视频帧丢失而造成的误差的偏置值；Ct为当前视频信息状态，Ct-1为上一级视频信息输出状态，it为上一阶段经过标准化处理后的输出，Dt为上一级视频信息更新后的输入状态；步骤13、将记忆门处理过的信息传送到输出门，所述输出门将所得视频归一化处理后，进行跌倒检测分类、识别跌倒以及其他动作状态，并标记跌倒状态；步骤14、提取步骤13中获取的跌倒状态，统一放置于CNN神经网络中进行存储，并构建跌倒模型库；步骤15、将被监护人当前状态与模型库进行对比，利用跌倒所述模型库对产生跌倒之前、跌倒过程中和跌倒后的一系列视频帧进行分析，根据跌倒动作产生的速度和人体关键点的位置关系，对人体跌倒进行判断，实现跌倒预判功能。进一步的，所述步骤3采用中值滤波算法对所述步骤2中采集到的红外图像进行处理，去除椒盐噪点，对图像进行初步清晰化处理；所述中值滤波去噪使用的公式如下：其中，g为最终得到的图像灰度值，N为滤波器模板大小，XK为图像中的像素；k为位置编号。进一步的，所述步骤4运用形态学操作，对图像进行优化，从而得到清晰稳定的图像；所述形态学操作包括膨胀、腐蚀、开操作和闭操作。进一步的，所述步骤5采用背景减法建模方法将本文档来自技高网...

【技术保护点】
1.一种基于人体关键点行为识别与LSTM的跌倒预判方法，其特征在于，其包括如下步骤：/n步骤1、利用RGB摄像机采集人体行为的RGB图像；/n步骤2、利用热成像相机将步骤1中采集到的RGB图像转化为红外图像，以显示人体的轮廓特征；/n步骤3、对步骤2中采集到的红外图像进行初步清晰化处理，去除椒盐噪点；/n步骤4、进一步对图像进行优化，得到清晰稳定的图像；/n步骤5、将运动的人体从静止的图像背景中分离出来，提取出活动的人体；/n步骤6、根据人体的关节点分布情况将人体分为18个关键点，所述18个关键点包括左眼、右眼、左耳、右耳、鼻子、左肩、右肩、颈部、左肘、右肘、左腕、右腕、左股、右股、左膝、右膝、左脚和右脚；/n步骤7、根据位置关系将所述关键点中的左眼、右眼、左耳、右耳和鼻子进行合并，从而形成头部区域，将所述关键点中的左肩、右肩、颈部、左肘、右肘、左腕和右腕进行合并，从而形成躯干区域，将所述关键点中的左股、右股、左膝、右膝、左脚和右脚进行合并，从而形成腿部区域，并将所述三个区域分别提炼为人体的3个关键点；/n步骤8、采用粒子滤波算法对所述3个关键点进行跟踪，实现对人体的姿态估计与行为识别；当所述3个关键点竖直时，判定为站立；当所述3个关键点成45°～60°夹角时，判定为下蹲弯腰；当所述3个关键点水平时，判定为平躺；当所述3个关键点下降速率达到6m/s时，判定为跌倒；/n步骤9、将步骤8中得到的3个关键点的不同位置情况输入到卷积神经网络CNN，所述卷积神经网络CNN将步骤8中所识别出的动作归类为：平躺、下蹲和跌倒；然后将所述平躺动作标记为L信号，将所述下蹲动作标记为S信号，将所述跌倒动作标记为F信号，并将所述信号传入下一级网络LSTM中；/n步骤10、从步骤4得到的图像中，采集所述平躺、下蹲和跌倒动作所分别对应的40帧图像信息，并将所述40帧图像信息输入到基于递归神经网络LSTM模块中的输入门，将所得数据进行归一化处理，得到相同格式的稳定输出视频；所述基于递归神经网络LSTM模块包括输入门、记忆门和输出门；/n步骤11、然后将所述基于递归神经网络LSTM模块的输入门输出的视频信息通过sigmoid函数进行标准化处理，将所得视频信息像素值归整化于(-1，1)之间，便于之后的运算与处理；之后再通过tanh函数对神经网络输入层进行激活处理，用来更新当前状态，减少误差；/n实现所述标准化处理所用到的计算公式如下所示：/ni...

【技术特征摘要】
1.一种基于人体关键点行为识别与LSTM的跌倒预判方法，其特征在于，其包括如下步骤：
步骤1、利用RGB摄像机采集人体行为的RGB图像；
步骤2、利用热成像相机将步骤1中采集到的RGB图像转化为红外图像，以显示人体的轮廓特征；
步骤3、对步骤2中采集到的红外图像进行初步清晰化处理，去除椒盐噪点；
步骤4、进一步对图像进行优化，得到清晰稳定的图像；
步骤5、将运动的人体从静止的图像背景中分离出来，提取出活动的人体；
步骤6、根据人体的关节点分布情况将人体分为18个关键点，所述18个关键点包括左眼、右眼、左耳、右耳、鼻子、左肩、右肩、颈部、左肘、右肘、左腕、右腕、左股、右股、左膝、右膝、左脚和右脚；
步骤7、根据位置关系将所述关键点中的左眼、右眼、左耳、右耳和鼻子进行合并，从而形成头部区域，将所述关键点中的左肩、右肩、颈部、左肘、右肘、左腕和右腕进行合并，从而形成躯干区域，将所述关键点中的左股、右股、左膝、右膝、左脚和右脚进行合并，从而形成腿部区域，并将所述三个区域分别提炼为人体的3个关键点；
步骤8、采用粒子滤波算法对所述3个关键点进行跟踪，实现对人体的姿态估计与行为识别；当所述3个关键点竖直时，判定为站立；当所述3个关键点成45°～60°夹角时，判定为下蹲弯腰；当所述3个关键点水平时，判定为平躺；当所述3个关键点下降速率达到6m/s时，判定为跌倒；
步骤9、将步骤8中得到的3个关键点的不同位置情况输入到卷积神经网络CNN，所述卷积神经网络CNN将步骤8中所识别出的动作归类为：平躺、下蹲和跌倒；然后将所述平躺动作标记为L信号，将所述下蹲动作标记为S信号，将所述跌倒动作标记为F信号，并将所述信号传入下一级网络LSTM中；
步骤10、从步骤4得到的图像中，采集所述平躺、下蹲和跌倒动作所分别对应的40帧图像信息，并将所述40帧图像信息输入到基于递归神经网络LSTM模块中的输入门，将所得数据进行归一化处理，得到相同格式的稳定输出视频；所述基于递归神经网络LSTM模块包括输入门、记忆门和输出门；
步骤11、然后将所述基于递归神经网络LSTM模块的输入门输出的视频信息通过sigmoid函数进行标准化处理，将所得视频信息像素值归整化于(-1，1)之间，便于之后的运算与处理；之后再通过tanh函数对神经网络输入层进行激活处理，用来更新当前状态，减少误差；
实现所述标准化处理所用到的计算公式如下所示：
it＝σ(Wi[ht-1,xt]+bi)
Dt＝tanh(Wc[ht-1,xt]+bc)
式中：xt为视频帧输入像素值，ht-1为视频帧输出像素值，bi为消除视频传输过程中帧丢失所造成的偏差而设定的补偿值，Wi为递归神经网络系数矩阵权重，it为经过标准化处理过的输出；σ为所得图像帧间方差，Wc为递归神经网络系数矩阵权重，Dt为更新后的状态，bc为消除视频传输过程中帧丢失所造成的偏差而设定的补偿值；
步骤12、将步骤11的输出信息传递到记忆门，所述记忆门对步骤11所得视频帧选择性地存储，将行为识别过程中判定为跌倒的一系列视频存储起来，并根据对跌倒状态的判定来划分优先级别，将跌倒动作完整视频保存下来，用于作下一步的分析；
实现视频选择的计算方法如下：
ft＝σ(Wf[ht-1,xt]+bf)
Ct＝ft*Ct-1+it*Dt
式中：f...

【专利技术属性】
技术研发人员：张立国，李枫，胡林，杨曼，刘博，孙胜春，张子豪，李义辉，
申请(专利权)人：燕山大学，
类型：发明
国别省市：河北;13