基于时空信息融合的翻越行为实时检测方法及相关组件技术

本发明专利技术公开了基于时空信息融合的翻越行为实时检测方法及相关组件，其中，方法包括：先通过安置在岗亭处或者园区入口处的摄像头持续抽帧，然后于视频画面的闸机入口或围栏处设定待测范围，获取监控视频中的视频数据并持续进行抽帧，将抽取的每一帧图像按顺序输入AlphaPose模型，提取出单帧图像的人体骨骼信息，得到的人体骨骼信息存入固定队列，当队列长度累计到预定长度时，将该队列的骨骼信息整体输入到2s

【技术实现步骤摘要】
基于时空信息融合的翻越行为实时检测方法及相关组件


[0001]本专利技术涉及计算机视觉
，尤其涉及基于时空信息融合的翻越行为实时检测方法及相关组件。

技术介绍

[0002]随着城市工业化加速发展、城市人口日益密集，搭建了各种视频监控基础设施，但以往社区的安保防控工作，主要由人工通过实时监控视频进行异常行为的识别，耗费大量的人力资源且效率低下；随着监控区域和规模的不断扩大，依靠人工决策的传统视频监控管理方式明显难以为继，取而代之的是以人工智能、计算机视觉、深度学习等为核心的智能视频监控技术应用而生，但传统的基于机器学习方法的翻越行为检测需要繁缛的特征工程，无法实时且有效的检测翻越行为。

技术实现思路

[0003]本专利技术实施例提供了基于时空信息融合的翻越行为实时检测方法及相关组件，旨在解决现有基于机器学习方法的翻越行为检测方法无法对翻越行为进行实时且有效的检测的问题。
[0004]第一方面，本专利技术提供一种基于时空信息融合的翻越行为实时检测方法，其中，包括：
[0005]获取监控视频并持续进行抽帧，将抽取的每一帧图像按顺序输入Al phaPose模型，提取出单帧图像的人体骨骼信息，其中所述人体骨骼信息包括人体骨骼关键点的像素坐标及其置信度；
[0006]将每一帧图像的人体骨骼信息依次存入固定队列；
[0007]判断所述固定队列中的长度是否大于预定长度，若是，则按时间先后将所述固定队列中存入时间最早的一帧图像的人体骨骼信息取出；
[0008]按预定义的骨骼点数字索引将所取出的一帧图像的人体骨骼信息构建为表示人体物理结构连接的数组，并输入至2s
‑
AGCN模型，输出行为类别及其置信度。
[0009]第二方面，本专利技术还提供一种基于时空信息融合的翻越行为实时检测装置，其中，包括：
[0010]提取单元，用于获取监控视频并持续进行抽帧，将抽取的每一帧图像按顺序输入Al phaPose模型，提取出单帧图像的人体骨骼信息，其中所述人体骨骼信息包括人体骨骼关键点的像素坐标及其置信度；
[0011]存入单元，用于将每一帧图像的人体骨骼信息依次存入固定队列；
[0012]判断单元，用于判断所述固定队列中的长度是否大于预定长度，若是，则按时间先后将所述固定队列中存入时间最早的一帧图像的人体骨骼信息取出；
[0013]输出单元，用于按预定义的骨骼点数字索引将所取出的一帧图像的人体骨骼信息构建为表示人体物理结构连接的数组，并输入至2s
‑
AGCN模型，输出行为类别及其置信度。
[0014]第三方面，本专利技术还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的基于时空信息融合的翻越行为实时检测方法。
[0015]第四方面，本专利技术还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于时空信息融合的翻越行为实时检测方法。
[0016]本专利技术实施例提供了基于时空信息融合的翻越行为实时检测方法及相关组件，本专利技术实施例主要采用Al phaPose与2s
‑
AGCN结合的技术方法进行检测。具体的，先将视频抽帧获取的单帧图像输入Al phaPose模型进行骨骼点检测，得到的人体骨骼信息存入固定队列，当队列容量满足预定长度后，再将人体骨骼信息取出并输入2s
‑
AGCN模型，输出行为类别及其置信度。本专利技术能够实时且有效地检测出人体是否在做出翻越行为，此方法提高了检测的精度与速度。
附图说明
[0017]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本专利技术实施例提供的基于时空信息融合的翻越行为实时检测方法的流程示意图；
[0019]图2为本专利技术实施例提供的基于时空信息融合的翻越行为实时检测方法的子流程示意图；
[0020]图3为本专利技术实施例提供的Mobi l eOne模块的网络结构图；
[0021]图4为本专利技术实施例提供的YOLOv7
‑
T i ny
‑
Mobi l eOne的3个输出分支的网络结构图；
[0022]图5为本专利技术实施例提供的基于时空信息融合的翻越行为实时检测方法的原理框图；
[0023]图6为本专利技术实施例提供的基于时空信息融合的翻越行为实时检测装置的示意性框图；
[0024]图7为本专利技术实施例提供的提取单元的示意性框图。
具体实施方式
[0025]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0026]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0027]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目
的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0028]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0029]请参阅图1，图1为本专利技术实施例提供的一种基于时空信息融合的翻越行为实时检测方法的流程示意图，包括步骤S101
‑
S104：
[0030]S101、获取监控视频并持续进行抽帧，将抽取的每一帧图像按顺序输入Al phaPose模型，提取出单帧图像的人体骨骼信息，其中所述人体骨骼信息包括人体骨骼关键点的像素坐标及其置信度；
[0031]S102、将每一帧图像的人体骨骼信息依次存入固定队列；
[0032]S103、判断所述固定队列中的长度是否大于预定长度，若是，则按时间先后将所述固定队列中存入时间最早的一帧图像的人体骨骼信息取出；
[0033]S104、按预定义的骨骼点数字索引将所取出的一帧图像的人体骨骼信息构建为表示人体物理结构连接的数组，并输入至2s
‑
AGCN模型，输出行为类别及其置信度。
[0034]本专利技术实施例主要采用Al phaPose与2s
‑
...

【技术保护点】

【技术特征摘要】
1.一种基于时空信息融合的翻越行为实时检测方法，其特征在于，包括：获取监控视频并持续进行抽帧，将抽取的每一帧图像按顺序输入AlphaPose模型，提取出单帧图像的人体骨骼信息，其中所述人体骨骼信息包括人体骨骼关键点的像素坐标及其置信度；将每一帧图像的人体骨骼信息依次存入固定队列；判断所述固定队列中的长度是否大于预定长度，若是，则按时间先后将所述固定队列中存入时间最早的一帧图像的人体骨骼信息取出；按预定义的骨骼点数字索引将所取出的一帧图像的人体骨骼信息构建为表示人体物理结构连接的数组，并输入至2s
‑
AGCN模型，输出行为类别及其置信度。2.根据权利要求1所述的基于时空信息融合的翻越行为实时检测方法，其特征在于，所述获取监控视频并持续进行抽帧，将抽取的每一帧图像按顺序输入AlphaPose模型，提取出单帧图像的人体骨骼信息，包括：通过目标检测算法检测每一帧图像，得到行人检测框；将所述行人检测框输入STN模块与SPPE模块，自动生成姿态框；将所述姿态框输入P
‑
NMS模块进行提炼；通过姿态生成器生成与姿态框分布相同的行人框，以进行数据增强。3.根据权利要求2所述的基于时空信息融合的翻越行为实时检测方法，其特征在于，所述目标检测算法为YOLOv7
‑
Tiny。4.根据权利要求3所述的基于时空信息融合的翻越行为实时检测方法，其特征在于，所述YOLOv7
‑
Tiny中设置有Mobi leOne模块，用于平衡检测的精度与速度。5.根据权利要求4所述的基于时空信息融合的翻越行为实时检测方法，其特征在于，所述MobileOne模块包括：依次设置的深度卷积模块和点卷积模块；所述深度卷积模块的卷积核大小为3
×
...

【专利技术属性】
技术研发人员：韦程琳，姚钊盈，袁戟，
申请(专利权)人：深圳市万物云科技有限公司，
类型：发明
国别省市：