用于行人跌倒检测的方法、系统和存储介质技术方案

本发明专利技术公开了一种用于行人跌倒检测的方法，包括：步骤S1：获取人类正常活动和跌倒的视频数据；步骤S2：根据视频数据，构建初始训练集；步骤S3：根据初始训练集，构建并训练YOLACT行人检测模型；步骤S4：根据YOLACT行人检测模型，进行行人头部和中心点轨迹跟踪；步骤S5：根据行人头部和中心点轨迹，得到三维行人轨迹特征；步骤S6：根据三维行人轨迹特征训练双向门控循环单元分类网络，对行人跌倒进行检测。YOLACT行人目标检测的计算速度可以达到实时性的要求，为后续的跌倒特征分析提供有力的预处理支撑，对复杂环境和不同拍摄角度下的行人跌倒进行有效监控。还公开了一种用于行人跌倒检测的系统和存储介质。检测的系统和存储介质。检测的系统和存储介质。

【技术实现步骤摘要】
用于行人跌倒检测的方法、系统和存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种用于行人跌倒检测的方法、系统和存储介质。

技术介绍

[0002]在我国的社会生活中，行人在户外发生跌倒，尤其是老年人在户外发生跌倒的情况时有发生，行人跌倒后及时发现行人跌倒，是对行人加以施救的前提。目前，关于跌倒动作识别的研究主要集中于室内环境，对于室外环境下的跌倒动作识别的研究开展得不多。
[0003]行人在户外跌倒时，例如是突发心梗、昏厥或者是意外跌倒等，在行人较少的路段很容易出现无人报警或者是救援不及时等；或者是在行人较多地路段，老年人群体也可能会因为社会环境问题出现无人扶或者不敢扶等情况，导致老年人得不到及时的救助，进而导致生命或者财产损失。
[0004]现相关现有技术中至少存在如下问题：现有的跌倒检测方法中，描述动作语义的特征维度较低，难以有效表征不同角度下的跌倒行为。

技术实现思路

[0005]本申请提供了一种用于行人跌倒检测的方法、系统和存储介质，以解决现有技术中，现有的跌倒检测方法中，描述动作语义的特征维度较低，难以有效表征不同角度下的跌倒行为的技术问题。
[0006]第一方面，提供了一种用于行人跌倒检测的方法，该方法包括：步骤S1：获取人类正常活动和跌倒的视频数据；步骤S2：根据所述视频数据，构建初始训练集；步骤S3：根据所述初始训练集，构建并训练YOLACT行人检测模型；步骤S4：根据所述YOLACT行人检测模型，进行行人头部和中心点轨迹跟踪，得到行人头部和中心点轨迹；步骤S5：为所述行人头部和中心点轨迹添加时序特征，得到三维行人轨迹特征；步骤S6：根据所述三维行人轨迹特征训练双向门控循环单元分类网络，对行人跌倒进行检测。
[0007]结合第一方面，在第一方面的第一种可能的实现方式中，所述步骤S3，进一步包括：步骤S31：对于所述初始训练集，采用深度残差网络作为特征提取模块，各层分别输出不同尺度特征；步骤S32：采用特征金字塔网络进行特征提取网络各尺度特征融合，并进行感兴趣区域提取；步骤S33：根据卷积神经网络构建预测头部网络；步骤S34：根据全卷积神经网络构建原型生成网络；步骤S35：将所述预测头部网络和所述原型生成网络组合输出，得到所述YOLACT行人检测模型。
[0008]结合第一方面或者第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述步骤S4中，进一步包括：步骤S41：对所述YOLACT行人检测模型输出的行人目标掩模进行轮廓阈值滤波处理，得到分隔后的行人轮廓，使用所述YOLACT行人检测模型对所述分隔后的行人轮廓进行行人头部轨迹跟踪初始化。
[0009]结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式
中，所述步骤S4，还包括：步骤S42：通过粒子滤波进行行人头部轨迹跟踪；步骤S43：取行人拟合矩形中心点和形态学质心点连线的中心点为行人中心点，进行行人中心点轨迹跟踪。
[0010]结合第一方面的第二种可能的实现方式，在第一方面的第四种可能的实现方式中，所述步骤S5进一步包括：在三维空间内绘制所述行人头部轨迹和所述行人中心点轨迹，将两路轨迹时间轴进行一一对应，得到所述三维行人轨迹特征。
[0011]结合第一方面的第四种可能的实现方式，在第一方面的第五种可能的实现方式中，所述三维行人轨迹特征的x轴与y轴为各时刻轨迹的空间点坐标，所述三维行人轨迹特征的z轴为轨迹点的时间采样。
[0012]结合第一方面，在第一方面的第六种可能的实现方式中，所述步骤S2进一步包括：对所述视频数据进行采样，通过图像预处理进行数据集扩充后，构建所述初始训练集。
[0013]结合第一方面，在第一方面的第七种可能的实现方式中，所述步骤S6进一步包括：步骤S61：根据所述三维行人轨迹，构建第一训练集；步骤S62：对于所述第一训练集，采用卷积神经网络作为网络特征提取模块，采用所述双向门控循环单元分类网络对所述网络特征提取模块的输出数据进行时序分析，从而提取行人运动轨迹中的时间
‑
空间关联性特征；步骤63：采用全连接层将双向门控循环单元所提取的行人轨迹时空特征和softmax分类器相连接，利用时空特征对所述三维行人轨迹进行分类，对行人跌倒进行检测。
[0014]第二方面，提供了一种用于行人跌倒检测的系统，该系统包括：数据集获取模块，用于获取人类正常活动和跌倒的视频数据；数据集划分模块，与所述数据集获取模块连接，用于根据所述视频数据，构建初始训练集；模型获取模块，与所述数据集划分模块连接，用于根据所述初始训练集，构建并训练YOLACT行人检测模型；轨迹跟踪模块，与所述模型获取模块连接，用于根据所述YOLACT行人检测模型，进行行人头部和中心点轨迹跟踪；三维轨迹获取模块，与所述轨迹跟踪模块连接，用于所述行人头部和中心点轨迹添加时序特征，得到三维行人轨迹特征；分类模块，与所述三维轨迹获取模块连接，用于根据所述三维行人轨迹特征训练双向门控循环单元分类网络，对行人跌倒进行检测。
[0015]第三方面，提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序指令被处理器执行时使所述处理器执行前述的用于行人跌倒检测的方法。
[0016]本公开实施例提供的用于行人跌倒检测的方法、系统和存储介质，可以实现以下技术效果：
[0017]使用YOLACT行人检测模型进行人体前景轮廓提取，可以更完整地提取出运动中或者静止中的人类目标轮廓，具有优异的人体前景分割性能，对不同背景干扰均具有较高的鲁棒性，尤其是在背景干扰严重的情况下，可以有效避免误检或者是空洞等问题；
[0018]同时，YOLACT行人目标检测的计算速度可以达到实时性的要求，可以为后续的跌倒特征分析提供有力的预处理支撑；
[0019]此外，大部分场景里的监控摄像为了更广阔的监控视野会布设于环境内的相对高处，使得镜头的拍摄视角相对于行人目标很难达到完美的平视拍摄，本公开实施例中基于行人头部和中心点的双点轨迹跌倒检测方法，通过俯视模拟实验验证，无论是对平视中的正面动作还是侧面动作，双点轨迹都有较为明显的变化，可以有效地对三种示例动作进行有效判别，可以对复杂环境和不同拍摄角度下的行人跌倒进行有效监控。
[0020]以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
[0021]一个或多个实施例通过与之对应的附图进行示例性说，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
[0022]图1是本公开实施例提供的用于行人跌倒检测的方法流程示意图；
[0023]图2是本公开实施例提供的步骤S3的流程示意图；
[0024]图3是卷积神经网络构建预测头部网络流程图；
[0025]图4是卷积神经网络输出目标的分类预测、位置边界预测和蒙板参数预测示意图；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于行人跌倒检测的方法，其特征在于，包括：步骤S1：获取人类正常活动和跌倒的视频数据；步骤S2：根据所述视频数据，构建初始训练集；步骤S3：根据所述初始训练集，构建并训练YOLACT行人检测模型；步骤S4：根据所述YOLACT行人检测模型，进行行人头部和中心点轨迹跟踪；步骤S5：所述行人头部和中心点轨迹添加时序特征，得到三维行人轨迹特征；步骤S6：根据所述三维行人轨迹特征训练双向门控循环单元分类网络，对行人跌倒进行检测。2.根据权利要求1所述的方法，其特征在于，所述步骤S3，进一步包括：步骤S31：对于所述初始训练集，采用深度残差网络作为特征提取模块，各层分别输出不同尺度特征；步骤S32：采用特征金字塔网络进行特征提取网络各尺度特征融合，并进行感兴趣区域提取；步骤S33：根据卷积神经网络构建预测头部网络；步骤S34：根据全卷积神经网络构建原型生成网络；步骤S35：将所述预测头部网络和所述原型生成网络组合输出，得到所述YOLACT行人检测模型。3.根据权利要求1或2所述的方法，其特征在于，所述步骤S4中，进一步包括：步骤S41：对所述YOLACT行人检测模型输出的行人目标掩模进行轮廓阈值滤波处理，得到分隔后的行人轮廓。4.根据权利要求3所述的方法，其特征在于，所述步骤S4，还包括：步骤S42：使用所述YOLACT行人检测模型对所述分隔后的行人轮廓进行行人头部轨迹跟踪初始化，通过粒子滤波进行行人头部轨迹跟踪；步骤S43：取行人拟合矩形中心点和形态学质心点连线的中心点为行人中心点，进行行人中心点轨迹跟踪。5.根据权利要求3所述的方法，其特征在于，所述步骤S5进一步包括：在三维空间内绘制所述行人头部轨迹和所述行人中心点轨迹，将两路轨迹时间轴进行一一对应，得到所述三维行人轨迹特征，其中所述三维空间的第...

【专利技术属性】
技术研发人员：国强，王亚妮，王文博，戚连刚，
申请(专利权)人：黑龙江雨谷科技有限公司，
类型：发明
国别省市：