一种基于深度学习的实时跌倒检测方法技术

本发明专利技术涉及一种基于深度学习的实时跌倒检测方法，其中检测方法流程包括:人体姿态估计模块：将摄像头或本地视频解析之后的视频流依次取出单帧图片，输入到openpose算法模型人体进行检测，得到人体各个部分的关键点坐标，使用SSD‑Mobilenet算法排除非人体区域的关键点，跌倒检测模块：之后对检测到的人体骨骼关键点坐标使用SVDD算法进行分类，该方法解决了传统视频监控方法耗费人力物力的缺点，相比较于使用kinect的跌倒检测方法对于场景和环境要求严格的问题，本方法使用使用普通摄像头，对于环境和使用角度要求较低，同时成本低廉，具有实时性，而且误检率较低，具有较高的鲁棒性，可以适应不同的复杂场景。

A real-time fall detection method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的实时跌倒检测方法
本专利技术涉及一种基于深度学习的实时跌倒检测方法。根据openpose人体姿态估计算法结合SVDD分类算法，设计出一种更加准确高效的实时跌倒检测算法，属于深度学习
、人体姿态估计
、和图像处理

技术介绍
近年来，随着我国人口老龄化的速度不断加快，老年人的安全和健康已经成为了社会广泛关注的话题。根据世界卫生组织的报告，每年65岁及以上的老年人中，有大约28-35％曾经跌倒，因此，准确并且快速识别跌倒并且通知老年人的监护人或者医护人员是非常有必要的。目前很多养老院都存在着看护人员不足，不能及时发现老年人身体安全出现状况的问题，对于老年人的监护存在着很大的缺陷。近年来，研究人员提出了多种实现自动跌倒检测的方法，分别是基于可穿戴式设备的跌倒检测方法、基于环境传感器的跌倒检测方法和基于机器视觉的跌倒检测方法。可穿戴式跌倒检测系统检测不受空间的限制，但往往需要被检测者长时间佩戴可穿戴式设备，这些设备通常安装较为繁琐，长时间佩戴使用者会出现厌烦情绪，而且老年人通常记忆力都会有一定程度的减弱从而忘记佩戴可穿戴设备。基于环境传感器的跌倒检测方法具有无需穿戴、检测区域大的优点，而且具有一次安装长期多人使用的优势，可以适用于家庭、养老院等场合。缺点在于对比其他两种方法对于环境设备的要求更高，成本也比较高，同时准确率也存在不稳定的问题。随着人工智能、模式识别等技术的发展，越来越的基于机器视觉的跌倒检测方法被提出，监控系统作为公共安全领域的一项重要技术已经得到广泛应用。但是，目前的大多数监控系统仅仅停留在对捕获的视频信号进行人工监控和事后录像分析阶段，需要大量的物力人力。所谓的智能监控系统，要求计算机自动对捕捉到的图像数据进行实时分析和处理，对目标进行检测、识别与跟踪，并对目标的行为进行分析，当目标行为异常时，监控系统会执行报警、保存视频数据等一系列操作。把智能监控系统和跌倒检测结合在一起，可以在老年人摔倒的第一时间通知监护人或者报警，大大缩短了老年人从跌倒到得到救治的时间，减少了二次伤害的可能性，减少后期治疗等费用，对于提高老年人的晚年生活质量，减少社会公共资源的浪费具有重大的意义。
技术实现思路
本专利技术要解决的技术问题在于，针对现有的使用传统图像处理进行跌倒检测的技术误检率和实时性上的缺陷，提高检测的速度和准确率。。为了解决上述技术问题，本专利技术提供一种基于深度学习的实时跌倒检测方法。本跌倒检测算法主要步骤如下：步骤1，使用摄像头等设备采集人体图像；步骤2，进行人体骨骼关键点识别；步骤2.1，使用神经网络卷积VGG-19提取特征，预测每个关键点的热点图谱，通过多阶段的网络迭代，每一个阶段的输出作为下一个阶段的输入，对上一个阶段的结果优化；步骤2.2，对于预测的关键点增加矢量编码，对于图像中的关键点进行组合，同一个人的不同部位进行连接；步骤2.3，迁移学习训练图像数据集，使模型可以更好地应用于特定场景；步骤3，使用SSD-Mobilenet目标检测算法对检测的人体关键点区域进行目标检测，去掉非人体的部分；步骤3.1，先使用Mobilenet网络对COCO数据集进行预训练，生成预训练模型；步骤3.2，使用步骤2.3采集的数据生成tfrecord数据用于迁移学习；步骤3.3，步骤3.3把步骤3.2生成的数据和步骤3.1生成的预训练模型融合特征传入SSD网络，使模型经过较短时间的训练就可以收敛并具有较好的检测能力；步骤4，使用SVDD分类算法对采集到的人体骨骼关键点进行分类。有益效果本方法的优势和创新性主要体现以下方面：(1)实现一种全自动的算法流程，无需人工干预或最小程度干预，解决了传统视频监控方法耗费人力物力的缺点。(2)使用openpose和SSD-Mobilenet算法相结合的人体姿态估计算法对于使用openpose算法检测到的关键点，通过SSD-Mobilenet目标检测算法进行人体目标检测，过滤掉非人体的区域，减小算法的误判率。(3)针对跌倒数据样本不平衡的问题，使用SVDD算法进行分类，通过网格搜索等方法对参数进行优化。形成正样本训练的正常域，并通过正常域检测跌倒行为。(4)将(2)和(3)结合构建一个鲁棒性较好，准确率较高的实时跌倒检测框架，使用多种目标检测，图像处理等多领域的算法，具有算法应用的创新型。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实时例的跌倒检测整体流程图。图2为本专利技术实施例的神经网络特征提取部分网络结构图。图3为本专利技术实施例的人体关键点检测结果图。图4为本专利技术实施例的SVDD分类结果图。图5为本专利技术实施例的人体跌倒检测结果图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。如图1所示，本专利技术提出一种基于深度学习的实时跌倒检测算法，具体步骤如下所示：步骤1，使用摄像头等设备采集人体图像；步骤2，进行人体骨骼关键点识别；步骤2.1，使用神经网络卷积提取特征，预测每个关键点的热点图谱，通过多阶段的学习，每个阶段对上一个阶段的结果优化；如图2所示，本方法使用VGG-19网络进行特征提取特征图fearture-map，由VGG-19的前10层初始化并进行微调，生成一组输入到每个分支第一阶段的特征映射F，在第一阶段，网络产生一组置信图的预测S1＝ρ1(F)和一组部分亲和力场其中ρ1和是用于阶段1推断的CNN。在随后的阶段，来自前一阶段的两个分支的预测以及原始图像F被用于精确预测。特征F被连接并用于产生精确预测公式中ρt和是阶段t的预测。在网络早期身体部位之间可能存在混淆，但是通过后期网络迭代，人体关键点的预测越来越准确。网络的两个分支有着两个损失函数，每个分支一个，在预测和groudtruth的maps和fields之间使用L2损失防止过拟合的情况出现，对于损失函数加权计算。和分别是从1开始一直到C不同阶段t的L2损失函数，f为总体的损失函数。为每个人生成个人的confidencemaps，由网络预测出各个置信度的集合。在网络训练过程中，对于某一类给定的关键点j，对于某一个人k，他的置信度标志图只有一个峰值，置信度标签为每一个点到数据真实点的高斯距离。对于多个人，使用非极大值抑制(NMS)剔除网络中得分低的数据。步骤2.2，对于预测的关键点增加矢量编码，对同一个人的不同部位进行连接；给定一组检测到的身体部位，对于每一对身体部位检测关联进行置信度度量，检本文档来自技高网...

【技术保护点】
1.一种基于深度学习的实时跌倒检测方法，其特征在于，包括步骤如下：/n步骤1，采集人体图像；/n步骤2，进行人体骨骼关键点识别，具体如下：/n步骤2.1，使用神经网络卷积VGG-19提取特征，预测每个关键点的热点图谱，通过多阶段的网络迭代，每一个阶段的输出作为下一个阶段的输入，对上一个阶段的结果优化；/n步骤2.2，对于预测的关键点增加矢量编码，对于图像中的关键点进行组合，同一个人的不同部位进行连接；/n步骤2.3，迁移学习训练图像数据集；/n步骤3，使用SSD-Mobilenet目标检测算法对检测的人体关键点区域进行目标检测，去掉非人体的部分，具体如下：/n步骤3.1，先使用Mobilenet网络对COCO数据集进行预训练，生成预训练模型；/n步骤3.2，使用步骤2.3采集的数据生成tfrecord数据用于迁移学习；/n步骤3.3，步骤3.3把步骤3.2生成的数据和步骤3.1生成的预训练模型融合特征传入SSD网络；/n步骤4，使用SVDD分类算法对采集到的人体骨骼关键点进行分类。/n

【技术特征摘要】
1.一种基于深度学习的实时跌倒检测方法，其特征在于，包括步骤如下：
步骤1，采集人体图像；
步骤2，进行人体骨骼关键点识别，具体如下：
步骤2.1，使用神经网络卷积VGG-19提取特征，预测每个关键点的热点图谱，通过多阶段的网络迭代，每一个阶段的输出作为下一个阶段的输入，对上一个阶段的结果优化；
步骤2.2，对于预测的关键点增加矢量编码，对于图像中的关键点进行组合，同一个人的不同部位进行连接；
步骤2.3，迁移学习训练图像数据集；
步骤3，使用SSD-Mobilenet目标检测算法对检测的人体关键点区域进行目标检测，去掉非人体的部分，具体如下：
步骤3.1，先使用Mobilenet网络对COCO数据集进行预训练，生成预训练模型；
步骤3.2，使用步骤2.3采集的数据生成tfrecord数据用于迁移学习；
步骤3.3，步骤3.3把步骤3.2生成的数据和步骤3.1生成的预训练模型融合特征传入SSD网络；
步骤4，使用SVDD分类算法对采集到的人体骨骼关键点进行分类。


2.一种基于深度学习的实时跌倒检测算法，其特征在于，具体步骤如下所示：
步骤1，采集人体图像；
步骤2，进行人体骨骼关键点识别；
步骤2.1，使用神经网络卷积提取特征，预测每个关键点的热点图谱，通过多阶段的学习，每个阶段对上一个阶段的结果优化；
使用VGG-19网络进行特征提取特征图fearture-map，由VGG-19的前10层初始化并进行微调，生成一组输入到每个分支第一阶段的特征映射F，在第一阶段，网络产生一组置信图的预测S1-ρ1(F)和一组部分亲和力场其中ρ1和是用于阶段1推断的CNN；
在随后的阶段，来自前一阶段的两个分支的预测以及原始图像F被用于精确预测；特征F被连接并用于产生精确预测






公式中ρt和是阶段t的预测；
网络的两个分支有着两个损失函数，每个分支一个，在预测和groudtruth的maps和fields之间使用L2损失防止过拟合的情况出现，对于损失函数加权计算；




和分别是从1开始一直到C不同阶段t的L2损失函数，f为总体的损失函数；为每个人生成个人的confidencemaps，由网络预测出各个置信度的集合；
在网络训练过程中，对于某一类给定的关键点j，对于某一个人k，他的置信度标志图只有一个峰...

【专利技术属性】
技术研发人员：孙光民，王中岐，李新梦，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11