一种基于深度学习3D姿态评估的跌倒检测方法技术

本发明专利技术公开一种基于深度学习3D姿态评估的跌倒检测方法，包括如下步骤：通过双目摄像机实时采集目标人物的双目摄像机左右图像；调用预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；基于双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。本发明专利技术将双目立体视觉与深度学习结合进行做人体骨骼关键点检测，实时抽取了场景中人物的3D人体骨架，基于3D人体骨架进行高效的、准确的跌倒检测，且使用便捷、使用成本低。

【技术实现步骤摘要】
一种基于深度学习3D姿态评估的跌倒检测方法
本专利技术涉及计算机
，尤其涉及一种基于深度学习3D姿态评估的跌倒检测方法。
技术介绍
我国正快速进入老龄化社会，老年人口数量众多，老年人由于身体各种功能衰退，患病以及服药都有可能引起跌倒。由于社会经济的发展和家庭结构的变化，独居空巢的老年人家庭正在急剧的增多，很多跌倒经常发生在生活居住的室内，如起床站立、上厕所、洗澡等，只有少数跌倒是发生在有危险的活动中，如爬梯子、搬重物等。发生跌倒如果不能及时的进行救助，就会引起严重的后果甚至死亡。检测室内人体在移动时发生的跌倒行为，目前的主要方法基本分为两类：1、利用单目(单个摄像头)的深度学习的人体骨骼关键点检测，可以产生2D人体骨架(humanskeleton)，进而评估人体的姿态或识别动作、检测跌倒等，但是2D人体骨架缺乏深度信息(距离信息)，动作识别会产生歧义，对跌倒的检测也不够准确，尤其对假跌倒动作不能很好识别；2、利用可穿戴传感装置，通过传感器感知人体在三维空间的多个方向的速度或者加速度做跌倒判断，这种方式在室内使用尽管设置和操作简单，但是携带的舒适性差等原因，造成老年人在晚上睡觉或洗澡等易发生跌倒的时间恰恰没有携带或由于其它原因而忘记携带，需要使用者佩戴相关装置和设备，无法真正有效的在跌倒发生时报警。
技术实现思路
为了解决上述技术问题，本专利技术提出一种基于深度学习3D姿态评估的跌倒检测方法，可以高效的、准确的进行人物跌倒检测，且使用便捷、使用成本低。为了达到上述目的，本专利技术的技术方案如下：一种基于深度学习3D姿态评估的跌倒检测方法，包括如下步骤：通过双目摄像机实时采集目标人物的双目摄像机左右图像；调用预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；基于双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。在一个实施例中，还包括如下步骤：基于Gstreamer构建取流插件、H264帧解析插件、硬件解码插件、AI推理插件插件、跌倒判断插件，和每个插件独立应用的管道；所述取流插件用于调用双目摄像机拍摄的视频流；所述H264帧解析插件和硬件解码插件用于对视频流进行解析、解码处理，获取双目摄像机左右图像；所述AI推理插件用于调用预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；所述跌倒判断插件通过双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。在一个实施例中，所述人体骨骼关键点检测模型利用TensorRT进行优化重构。在一个实施例中，基于双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，具体包括如下步骤：对双目摄像机左右图像中的2D人体骨骼关键点进行人体匹配，获得人体2D人体骨骼关键点对；获取双目摄像机的参数，并基于双目摄像机的参数推算人体2D人体骨骼关键点对对应在空间点坐标；遍历图像中所有匹配成功的人体2D人体骨骼关键点对，得到每对人体2D人体骨骼关键点对对应的空间点坐标，即获得人物的3D人体骨架。在一个实施例中，所述获取双目摄像机的参数，包括如下步骤：固定双目摄像机的位置，以不同角度同时拍摄黑白棋盘标定板上的靶标获得连续多帧棋盘格左右图像；利用棋盘格左右图像的畸变信息以及MATLAB自带的摄像机标定工具箱完成双目摄像机标定，获得获得双目摄像机的相关参数。在一个实施例中，在训练所述人体骨骼关键点检测模型的过程中，所采用的损失函数计算公式是：其中，J为人体骨骼关键点的个数，p是单张图像中的人物标号，W(p)为二值权重数据，是第p个人的第j个关键点的预测值，第p个人的第j个关键点的实际值。基于上述技术方案，本专利技术的有益效果是：1)本专利技术结合了双目立体视觉与深度学习进行做人体骨骼关键点检测，实时抽取了场景中人物的3D人体骨架。基于3D人体骨架的跌倒检测准确率很高，检出率大于0.99，对假跌倒动作的甄别效果明显优于现有的技术，可以稳定区分蹲坐和跌倒这类2D骨架表现歧义较大的动作；2)本专利技术基于Gstreamer和tensorrt构建了高效的视频推理系统，本专利技术视频推理过程将大大降低了硬件资源的消耗，例如GPU资源等；3)本专利技术利用视频流实时监测人体跌倒情况，无需使用者穿戴任何设备，可以应用于协助养老机构、独居老人等的看护工作，使用便捷、使用成本低。附图说明下面结合附图对本专利技术的具体实施方式作进一步详细的说明。图1：一个实施例中一种基于深度学习3D姿态评估的跌倒检测方法流程图；图2：一个实施例中人体骨骼关键点检测模型训练流程图；图3：一个实施例中人体骨骼关键点检测模型序列化流程图；图4：一个实施例中人体骨骼关键点检测模型反序列化流程；图5：一个实施例中整体pipeline构建流程图；图6：一个实施例中双目摄像机标定流程图；图7：一个实施例中标定后获取的参数图；图8：一个实施例中蹲坐未跌倒时构建的人物3D人体骨架的效果图；图9：一个实施例中发生跌倒并识别后的效果图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。实施例一如图1所示，本专利技术一种基于深度学习3D姿态评估的跌倒检测方法，包括如下步骤：通过双目摄像机实时采集目标人物的双目摄像机左右图像；调用预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；基于双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。在本实施例中，通过双目摄像机实时采集目标人物的双目摄像机左右图像，并将双目摄像机左右图像输入预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；基于双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。如图8、9所示，结合了双目立体视觉与深度学习进行做人体骨骼关键点检测，实时抽取了场景中人物的3D人体骨架，基于3D人体骨架的跌倒检测准确率很高，检出率大于0.99，对人物的行为进行精确识别。在一个实施例中，预先训练的人体骨骼关键点检测模型以DCNN(deepconvolutionalneuralnetworks深度卷积神经网络)为主干网络，逐步提取抽取视频帧的特征，并得到每一帧的预测值，预测的结果和标注标签框做损失计算，得到每一帧数据的损失量，根据损失量，利用优化器优化神经网络，更新神经网络的权重，使得人体骨骼关键点检测模型后续数据预测的位置预测和类别预测的预测值更接近真实值，如图2所示。在本文档来自技高网...

【技术保护点】
1.一种基于深度学习3D姿态评估的跌倒检测方法，其特征在于，包括如下步骤：/n通过双目摄像机实时采集目标人物的双目摄像机左右图像；/n调用预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；/n基于双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。/n

【技术特征摘要】
1.一种基于深度学习3D姿态评估的跌倒检测方法，其特征在于，包括如下步骤：
通过双目摄像机实时采集目标人物的双目摄像机左右图像；
调用预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；
基于双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。


2.根据权利要求1所述的一种基于深度学习3D姿态评估的跌倒检测方法，其特征在于，还包括如下步骤：
基于Gstreamer构建取流插件、H264帧解析插件、硬件解码插件、AI推理插件插件、跌倒判断插件，和每个插件独立应用的管道；
所述取流插件用于调用双目摄像机拍摄的视频流；
所述H264帧解析插件和硬件解码插件用于对视频流进行解析、解码处理，获取双目摄像机左右图像；
所述AI推理插件用于调用预先训练的人体骨骼关键点检测模型检测出双目摄像机左右图像中的2D人体骨骼关键点；
所述跌倒判断插件通过双目摄像机的参数和双目摄像机左右图像中的2D人体骨骼关键点构建人物的3D人体骨架，并根据预设规则，判断人物是否发生跌倒。


3.根据权利要求1或2所述的一种基于深度学习3D姿态评估的跌倒检测方法，其特征在于，所述人体骨骼关键点检测模型利用TensorRT进行优化重构。


4.根据权...

【专利技术属性】
技术研发人员：刘镇硕，方倩，
申请(专利权)人：上海泗科智能科技有限公司，
类型：发明
国别省市：上海;31