基于AI模型的徘徊人员检测方法、边缘设备和存储介质技术

本申请提供了一种基于AI模型的徘徊人员检测方法，包括：获取摄像头在ROI区域采集的视频帧序列，所述视频帧序列中包括若干基于时间顺序排列的视频帧图像；启动预先存储的徘徊检测应用对所述视频帧序列进行处理，其中，所述预先存储的徘徊检测应用包括至少一个AI模型及协同配置信息；所述徘徊检测应用用于对行人进行徘徊检测。该方法通过预先训练好的模型来执行徘徊检测应用，提高了徘徊检测的实时性，且通过聚类模型对同一行人的跟踪结果进行集合，使得本方法可以从滞留时间和进入次数双维度对徘徊检测进行认定，不仅提高了徘徊检测的准确度，同时也避免了对某些多次进入目标区域且构成徘徊行为的目标人员进行漏检的情况。且构成徘徊行为的目标人员进行漏检的情况。且构成徘徊行为的目标人员进行漏检的情况。

【技术实现步骤摘要】
基于AI模型的徘徊人员检测方法、边缘设备和存储介质


[0001]本申请涉及计算机
，尤其涉及一种基于AI模型的徘徊人员检测方法、边缘设备和存储介质。

技术介绍

[0002]行人徘徊指某个人长时间闲逛、逗留于特定区域，通过行人徘徊检测，可以判别嫌疑人员进行报警，来取代传统人力监控值守。行人徘徊检测目前主要应用于公共场所的安防监控以及商业场所的行为分析领域。随着人工智能技术的不断发展及智能监控系统的推送，行人徘徊检测的应用场景将会逐渐增加，其重要性也会日益提高。
[0003]现有技术中徘徊检测主要是：首先跟踪监控场景中的单个目标，记录该目标的行进轨迹，随后根据该目标的轨迹长度或存在时间，判断其是否存在徘徊行为。然而现有的徘徊检测技术只能对监控区域中单个目标单次的逗留时间或轨迹长度进行记录，而对同一个人多次进入监控区域的情况无法进行有效甄别，故会造成对某些多次进入目标区域且构成徘徊行为的目标人员进行漏检的情况。
[0004]因此，有必要针对上述问题提供一种解决方法。

技术实现思路

[0005]本申请提供了一种基于AI模型的徘徊人员检测方法、边缘设备、存储介质。
[0006]第一方面，本申请实施例提供了一种基于AI模型的徘徊人员检测方法，包括：
[0007]获取摄像头在ROI区域采集的视频帧序列，所述视频帧序列中包括若干基于时间顺序排列的视频帧图像；
[0008]启动预先存储的徘徊检测应用对所述视频帧序列进行处理，其中，所述预先存储的徘徊检测应用包括至少一个AI模型及协同配置信息；所述徘徊检测应用用于实现包括如下步骤a～c：
[0009]步骤a：基于所述视频帧序列对行人进行目标跟踪以获取所述行人的跟踪结果，其中，所述跟踪结果包括所述行人在所述ROI区域的滞留时间；
[0010]步骤b：用于在所述目标跟踪过程中，对跟踪到的行人对应的任一所述视频帧图像进行特征提取以获取行人特征信息，其中，所述行人特征信息与所述滞留时间具有唯一映射关系，所述行人特征信息与所述滞留时间为对所述行人进行目标跟踪的跟踪结果，所述行人特征信息包括人脸特征向量；
[0011]步骤c：将跟踪记录库中的跟踪结果进行聚类以输出至少一个聚类簇，其中，每一所述聚类簇内为同一行人特征信息对应的跟踪结果的聚合，不同的聚类簇为不同的行人特征信息对应的的跟踪结果的聚合，所述跟踪记录库包括从历史视频帧序列中获得的跟踪结果、及从所述视频帧序列中获得的所述跟踪结果；
[0012]读取所述至少一个聚类簇内包含的所述跟踪结果的数量值，并读取所述聚类簇内每一所述跟踪结果包含的滞留时间进行累计以获得累计滞留时间；当所述数量值大于或等
于第一阈值和/或所述累计滞留时间大于或等于第二阈值时，将对应的行人特征信息对应的行人确定为徘徊人员。
[0013]第二方面，本申请实施例提供了一种边缘设备，包括存储器和处理器；
[0014]所述存储器用于存储计算机程序；
[0015]所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上第一方面所述的基于AI模型的徘徊人员检测方法的步骤。
[0016]第三方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述的基于AI模型的徘徊人员检测方法的步骤。
[0017]本申请实施例提供了一种基于AI模型的徘徊人员检测方法、边缘设备、存储介质，该方法通过预先训练好的模型来执行徘徊检测应用，提高了徘徊检测的实时性，且通过聚类模型对同一行人的跟踪结果进行集合，使得本方法可以从滞留时间和进入次数双维度对徘徊检测进行认定，不仅提高了徘徊检测的准确度，同时也避免了对某些多次进入目标区域且构成徘徊行为的目标人员进行漏检的情况。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。
附图说明
[0019]为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本申请一实施例提供的基于AI模型的徘徊人员检测方法实现流程示意图；
[0021]图2是本申请一实施例提供的跟踪模型的示意性框图；
[0022]图3是本申请一实施例提供的徘徊检测应用具体实现的示意性框图；
[0023]图4是本申请一实施例提供的边缘设备的的示意性框图。
具体实施方式
[0024]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0025]附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0026]此外，在本申请的描述中，“多个”的含义是两个或两个以上。术语“第一”和“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0027]图1是本申请一实施例提供的一种基于AI模型的徘徊人员检测方法的实现流程示意图。需要说明的是，本实施例提供的一种基于AI模型的徘徊人员检测方法应用于边缘设备。其中，边缘设备是相对于云端而言的，指除云端之外的其它本地智能设备。例如，边缘设
备不仅包括边缘设备，还包括网管甚至运算环境中的机器学习设备，还可以包括分布式系统中的智能传感器、家庭自动化系统中的恒温器、门铃摄影机、安防摄像机或其它类型的连接设备等，这些设备可以独立执行机器运算，还可以与云端实现数据的协同处理。如图1所示，基于AI模型的徘徊人员检测方法包括步骤步骤S110至步骤S130。
[0028]S110：获取摄像头在ROI区域采集的视频帧序列，所述视频帧序列中包括若干基于时间顺序排列的视频帧图像。
[0029]其中，可以获取ROI区域(region of interest，感兴趣区域)中多个摄像头采集的视频帧序列，以对其在监控区域内的图像信息进行综合利用。
[0030]S120：启动预先存储的徘徊检测应用对所述视频帧序列进行处理，其中，所述预先存储的徘徊检测应用包括至少一个AI模型及协同配置信息；所述徘徊检测应用用于实现包括如下步骤a～c：所述协同配置信息包括各AI模型调用顺序及所述各个AI模型的数据流信息。
[0031]其中，当获取到利用监控区域内的一个或多个摄像头拍摄到的视频帧序列后，启动预先存储的徘徊检测应用；在一个实施例中，也可以通过用户触发，启动预先存储的徘徊检测应用；在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AI模型的徘徊人员检测方法，其特征在于，包括：获取摄像头在ROI区域采集的视频帧序列，所述视频帧序列中包括若干基于时间顺序排列的视频帧图像；启动预先存储的徘徊检测应用对所述视频帧序列进行处理，其中，所述预先存储的徘徊检测应用包括至少一个AI模型及协同配置信息；所述徘徊检测应用用于实现包括如下步骤a～c：步骤a：基于所述视频帧序列对行人进行目标跟踪以获取所述行人的跟踪结果，其中，所述跟踪结果包括所述行人在所述ROI区域的滞留时间；步骤b：在所述目标跟踪过程中，对跟踪到的行人对应的任一所述视频帧图像进行特征提取以获取行人特征信息，其中，所述行人特征信息与所述跟踪结果具有唯一映射关系，所述行人特征信息与所述跟踪结果为对所述行人进行目标跟踪的跟踪记录；步骤c：将跟踪记录库中的跟踪结果进行聚类以输出至少一个聚类簇，其中，每一所述聚类簇内为同一行人特征信息对应的跟踪结果的聚合，不同的聚类簇为不同的行人特征信息对应的的跟踪结果的聚合，所述跟踪记录库包括从历史视频帧序列中获得的跟踪结果、及从所述视频帧序列中获得的所述跟踪结果；读取所述至少一个聚类簇内包含的所述跟踪结果的数量值，并读取所述聚类簇内每一所述跟踪结果包含的滞留时间进行累计以获得累计滞留时间；当所述数量值大于或等于第一阈值和/或所述累计滞留时间大于或等于第二阈值时，将对应的行人特征信息对应的行人确定为徘徊人员。2.根据权利要求1所述的方法，其特征在于，所述至少一个AI模型包括：目标跟踪模型，用于基于所述视频帧序列对行人进行目标跟踪以获取所述行人的跟踪结果，其中，所述跟踪结果包括所述行人在所述ROI区域的滞留时间；特征提取模型，用于在所述目标跟踪过程中，对跟踪到的行人对应的任一所述视频帧图像进行特征提取以获取行人特征信息，其中，所述行人特征信息与所述滞留时间具有唯一映射关系，所述行人特征信息与所述滞留时间为对所述行人进行目标跟踪的跟踪结果，所述行人特征信息包括人脸特征向量；聚类模型，用于将跟踪记录库中的跟踪结果进行聚类以输出至少一个聚类簇，其中，每一所述聚类簇内为同一行人的跟踪结果的聚合，不同的聚类簇为不同的行人的跟踪结果的聚合，所述跟踪记录库包括从历史视频帧序列中获得的跟踪结果、及从所述视频帧序列中获得的所述跟踪结果；所述协同配置信息包括，调度所述各个模型的顺序及各个所述模型的数据流向信息。3.根据权利要求2所述的方法，其特征在于，所述目标跟踪模型，包括：行人检测模型，用于对每一所述视频帧图像进行行人检测并输出包含行人的行人检测框，行人跟踪模型，用于对所述检测出的行人检测框进行状态估计，且对所述行人的状态进行预测以获得预测结果，并将实际检测出的行人检测框与所述预测结果进行关联匹配，其中：所述行人检测模型，包括R
‑
CNN目标检测模型、SPP
‑
Net目标检测模型、YOLOv5目标检测模型、YOLOv7目标检测模型、RetinaNet目标检测模型中的至少一种；所述行人跟踪模型包括基于Deep
‑
Sort的目标跟踪模型、基于JDE的目标跟踪模型的至少一种。4.根据权利要求3所述的方法，其特征在于，所述特征提取模型用于对所述检测框中的行人进行人脸检测及人脸特征提取以获取对应的人脸特征向量，所述特征提取模型由基于
行人检测数据集对卷积神经网络(CNN)进行训练获取，所述特征提取模型的输入为所述行人检测数据集的样本图像，输出为预测的行人的人脸特征向量，所述行人检测数据集数据集包括标注了行人人脸信息的样本图像；所述聚类模型，包括人脸聚类模型，由基于行人特征重识别数据集对深度度量学习网络进行训练获取，所述行人特征重识别模型的输入为所述特征重识别数据集的样本图像，输出为聚类簇，所述样本图像包括行人人脸高相似的正样本对及行人人脸低相似的负样本对；所述行人检测模型、所述行人跟踪模型、所述特征提取模型、所述聚类模型为通过AutoML技术预先训练好的模型。5.根据权利要求3所述的方法，其特征在于，获取所述行人在所述ROI区域的滞留时间包括，获取所述行人检测框的ID，在所述目标跟踪过程中，记录每一行所述人检测框ID出现的总帧数，根据摄像头的采集频率及所述帧数即可计算每一所述行人在所述ROI区域的滞留时间；步骤b中所述行人特征信息与所述滞留时间具有唯一映射关系包括：将所述特征提取模型对所述检测框中的行人进行人脸检测及人...

【专利技术属性】
技术研发人员：陈醒身，李思晋，赵丛，
申请(专利权)人：共达地创新技术深圳有限公司，
类型：发明
国别省市：