行人摔倒检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了行人摔倒检测方法、装置、电子设备及存储介质。该方法包括：在每个预设的采集时间点从行人行为视频中采集图像数据；确定当前采集时间点的第一图像数据和当前采集时间的上一采集时间点的第二图像数据；根据第一图像数据和第二图像数据得到光流信息；将光流信息输入预先训练的检测模型中进行摔倒检测。本发明专利技术实施例的技术方案，根据当前采集时间点的第一图像数据和上一采集时间点的第二图像数据，获取光流信息，通过预先训练的检测模型对光流信息进行检测，确定是否存在行人摔倒的现象，解决了需要靠穿戴设备来进行摔倒检测的问题，能够用于大范围监控场景下的行人摔倒检测。倒检测。倒检测。

【技术实现步骤摘要】
行人摔倒检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及图形处理
，尤其涉及行人摔倒检测方法、装置、电子设备及存储介质。

技术介绍

[0002]在视频监控场景中，及时发现行人的摔倒并提醒相关工作人员处理能够有效减轻行人的意外摔倒带来的后果，也能够提高相关场所，如商场、地铁，中的服务质量，更好地保护行人的出行安全，最大程度地降低突发事件所带来的危害。
[0003]目前的行人摔倒检测是基于设备穿戴结合视频检测来实现，设备穿戴需要行人穿戴特殊设备，通过对特殊设备内置的加速度传感器、陀螺仪等电子设备的传感信号进行实时检测，通过信号的变化趋势判断穿戴者是否摔倒。
[0004]然而，此类方法要求人员配备特殊设备，仅适用于家用陪护等小型场景，无法用于大范围监控场景下的突发摔倒事件检测。

技术实现思路

[0005]本专利技术提供了行人摔倒检测方法、装置、电子设备及存储介质，以解决无法对大范围监控场景下的突发摔倒事件检测的问题。
[0006]根据本专利技术的一方面，提供了一种行人摔倒检测方法，所述方法包括：
[0007]在每个预设的采集时间点从行人行为视频中采集图像数据；
[0008]确定当前采集时间点的第一图像数据和所述当前采集时间的上一采集时间点的第二图像数据；
[0009]根据所述第一图像数据和所述第二图像数据得到光流信息；
[0010]将所述光流信息输入预先训练的检测模型中进行摔倒检测。
[0011]可选的，在所述确定当前采集时间点的第一图像数据和所述当前采集时间的上一采集时间点的第二图像数据后，该方法还包括：
[0012]对所述第一图像数据和所述第二图像数据进行第一预处理；
[0013]从预处理后的所述第一图像数据和所述第二图像数据中提取下采样密集特征；
[0014]将所述下采样密集特征输入预设的光流追踪模块的Transformer进行特征增强；
[0015]确定增强后的所述第一图像数据的第一像素特征和增强后的所述第二图像数据的第二像素特征；
[0016]确定所述第一像素特征和所述第二像素特征的相似度是否高于预设阈值；
[0017]当所述相似度高于预设阈值时，根据所述第一图像数据和所述第二图像数据得到光流信息。
[0018]可选的，所述光流追踪模块，还包括softmax层和自注意力层，相应的，所述根据所述第一图像数据和所述第二图像数据得到光流信息，包括：
[0019]通过所述softmax层获取所述第一图像数据和所述第二图像数据的全局光流信
息；
[0020]将所述全局光流信息输入所述自注意力层去除背景信息，得到所述光流信息。
[0021]可选的，所述检测模型，通过如下方式进行训练；
[0022]获取至少一张样本图像数据；
[0023]通过第一边界框标注每张所述样本图像数据中的行人区域类别，获得行人检测数据集；
[0024]通过第二边界框标注每张所述样本图像数据中的行人摔倒区域类别，获得行人摔倒检测数据集；
[0025]将所述行人检测数据集和所述行人摔倒检测数据集输入Yolov5网络模型进行训练，直至网络损失收敛，得到所述检测模型。
[0026]可选的，每张所述样本图像数据，通过如下方式获得：
[0027]将预设数量的图像数据进行拼接，得到拼接样本图像，所述拼接样本图像包括其拼接的预设数量的所述图像数据及每个所述图像数据对应的分隔框；
[0028]对每个分隔框中的图像数据进行第二预处理，其中，所述第二预处理包括图像光照的增强，变暗，模糊，畸变中的一种或多种；
[0029]对预处理后的所述拼接样本图像进行高斯模糊随机处理，得到所述样本图像数据；
[0030]可选的，所述将所述光流信息输入预先训练的检测模型中进行摔倒检测，包括：
[0031]检测所述光流信息是否存在行人边界框信息；
[0032]当存在所述行人边界框信息时，裁剪并提取所述行人边界框信息；
[0033]检测所述行人边界框信息中是否存在行人摔倒边界框信息；
[0034]当存在所述行人摔倒边界框信息，确定存在行人摔倒的情况。
[0035]可选的，所述第一预处理包括：图像光照的增强，变暗，模糊，畸变中的一种或多种。
[0036]根据本专利技术的另一方面，提供了一种行人摔倒检测装置，包括：
[0037]图像数据采集单元，用于在每个预设的采集时间点从行人行为视频中采集图像数据；
[0038]图像数据确定单元，确定当前采集时间点的第一图像数据和所述当前采集时间的上一采集时间点的第二图像数据；
[0039]光流信息获取单元，用于根据所述第一图像数据和所述第二图像数据得到光流信息；
[0040]光流信息处理单元，用于将所述光流信息输入预先训练的检测模型中进行摔倒检测。
[0041]根据本专利技术的另一方面，提供了一种电子设备，所述电子设备包括：
[0042]至少一个处理器；以及
[0043]与所述至少一个处理器通信连接的存储器；其中，
[0044]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例所述的行人摔倒检测方法。
[0045]根据本专利技术的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术任一实施例所述的行人摔倒检测方法。
[0046]本专利技术实施例的技术方案，通过对行人行为视频在每个采集时间点进行截取，采集图像数据，根据当前采集时间点的第一图像数据和上一采集时间点的第二图像数据，获取光流信息，通过预先训练的检测模型对光流信息进行检测，确定是否存在行人摔倒的现象，解决了需要靠穿戴设备来进行摔倒检测的问题，能够用于大范围监控场景下的行人摔倒检测。
[0047]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0048]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0049]图1为本专利技术实施例一提供的一种行人摔倒检测方法的流程图；
[0050]图2为本专利技术实施例二提供的一种图像数据预处理方法的流程图；
[0051]图3为本专利技术实施例二提供的一种光流信息获取方法的流程图；
[0052]图4为本专利技术实施例三提供的一种检测模型训练方法的流程图；
[0053]图5为本专利技术实施例四提供的一种行人摔倒检测装置的结构示意图
[0054本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.行人摔倒检测方法，其特征在于，所述方法包括：在每个预设的采集时间点从行人行为视频中采集图像数据；确定当前采集时间点的第一图像数据和所述当前采集时间的上一采集时间点的第二图像数据；根据所述第一图像数据和所述第二图像数据得到光流信息；将所述光流信息输入预先训练的检测模型中进行摔倒检测。2.根据权利要求1所述的方法，其特征在于，在所述确定当前采集时间点的第一图像数据和所述当前采集时间的上一采集时间点的第二图像数据后，进一步包括：对所述第一图像数据和所述第二图像数据进行第一预处理；从预处理后的所述第一图像数据和所述第二图像数据中提取下采样密集特征；将所述下采样密集特征输入预设的光流追踪模块的Transformer进行特征增强；确定增强后的所述第一图像数据的第一像素特征和增强后的所述第二图像数据的第二像素特征；确定所述第一像素特征和所述第二像素特征的相似度是否高于预设阈值；当所述相似度高于预设阈值时，根据所述第一图像数据和所述第二图像数据得到光流信息。3.根据权利要求2所述的方法，其特征在于，所述光流追踪模块，还包括softmax层和自注意力层，相应的，所述根据所述第一图像数据和所述第二图像数据得到光流信息，包括：通过所述softmax层获取所述第一图像数据和所述第二图像数据的全局光流信息；将所述全局光流信息输入所述自注意力层去除背景信息，得到所述光流信息。4.根据权利要求1所述的方法，其特征在于，所述检测模型，通过如下方式进行训练；获取至少一张样本图像数据；通过第一边界框标注每张所述样本图像数据中的行人区域类别，获得行人检测数据集；通过第二边界框标注每张所述样本图像数据中的行人摔倒区域类别，获得行人摔倒检测数据集；将所述行人检测数据集和所述行人摔倒检测数据集输入Yolov5网络模型进行训练，直至网络损失收敛，得到所述检测模型。5.根据权利要求4所述的方法，其特征在于，每张所述样本图像数据，通过如下方式获得：...

【专利技术属性】
技术研发人员：邢哲，周照，闫立俊，牛京，陈长江，曹亮，韩磊磊，王康，张斌，
申请(专利权)人：软通动力信息技术集团股份有限公司，
类型：发明
国别省市：