一种基于GAM跟踪器的社区行人异常行为检测方法和装置制造方法及图纸

本发明专利技术公开一种基于GAM跟踪器的社区行人异常行为检测方法和装置，通过对待处理视频图像的分析处理，采用YOLOX及其无锚方法检测目标，并将后选择的图注意力模型融合与合并，利用GAM跟踪器进行优化，根据候选图注意力图谱的匹配得分确定关键点坐标，使用重心偏移量判断的方法判定目标是否快速奔跑；使用比较边框的长宽比值与变化率的方法判定目标是否跌倒；使用比较移动距离与往复的次数来判定目标是否徘徊。当检测目标在有奔跑、跌倒和徘徊的情况时，目标的速度、检测框、移动距离，往复运动次数较行人正常运动时有明显的变化，异常行为判断结果稳定，提高了社区中行人异常行为检测的方法，有助于提升突发情况的办事效率。有助于提升突发情况的办事效率。有助于提升突发情况的办事效率。

【技术实现步骤摘要】
一种基于GAM跟踪器的社区行人异常行为检测方法和装置


[0001]本专利技术涉及深度学习及计算机视觉
，尤其涉及一种基于GAM跟踪器的社区行人异常行为检测方法和装置。

技术介绍

[0002]当前社会中常发生偷盗、老人和儿童摔倒等突发的意外情况，如果事发当时周围没有他人目击，对于偷盗的侦察和对摔倒带来的问题的及时解决会有困难，提升了安保人员的工作难度。
[0003]带有GAM的多行人追踪方法是基于检测的多目标跟踪框架，在诸多数据集当中表现出了自己的能力，即使是在密集的人群当中，仍有良好的跟踪效果。带有GAM跟踪器的多行人追踪方法的跟踪精度与推理速度都优于其他现存的跟踪框架，且跟踪目标对象的切换次数明显降低。
[0004]为侦测社区行人的突发情况，并及时地做出警报反馈，提高安保人员的效率，在现有GAM的基础上，亟待提供一种新的对社区行人异常行为检测的方法。

技术实现思路

[0005]本专利技术提供一种基于GAM跟踪器的社区行人异常行为检测方法和装置，在现有技术中带有GAM跟踪器的多行人追踪方法的基础上，增加对行人轨迹进行分析的异常判断逻辑，借助优秀的跟踪效果来实现对行人奔跑异常、跌倒异常与徘徊异常的实时监测。
[0006]本专利技术提供的具体技术方案如下：
[0007]一方面，本专利技术提供的一种基于GAM跟踪器的社区行人异常行为检测方法包括：
[0008]将待处理的视频图像数据帧输入预先训练好的YOLOX网络，获取高分辨率特征图，并采用目标检测器进行行人检测；
[0009]基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM跟踪器中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配；
[0010]基于目标特征提取结果，根据预设时间段内检测到的目标坐标变化速度，采用正态分布和阈值法，判断待检测目标是否发生奔跑；和/或，
[0011]基于目标特征提取结果，根据待检测目标的检测结果计算行人高度和宽度的比值，并根据计算的长宽比值判断待检测目标是否发生跌倒；和/或，
[0012]基于目标特征提取结果，根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系，采用向量法结合阈值法判断待检测目标是否存在异常徘徊；
[0013]若待处理的视频图像数据帧中存在待检测目标奔跑、跌倒或异常徘徊中的至少一种，则将所述待处理的视频图像数据帧标记为存在社区行人异常行为数据帧。
[0014]可选的，所述将待处理的视频图像数据帧输入预先训练好的YOLOX网络，获取高分
辨率特征图，并采用目标检测器进行行人检测，具体包括：
[0015]将从YOLOX网络中输出的差异化特征输入至GAM跟踪器，将所述GAM跟踪器检测到的目标的图像采集区域扩大至所述图的候选者的宽高度的至少两倍，并根据所述检测到的目标的图像采集区域的中心位置进行定位；
[0016]将图像采集区域中的图像调整为标准尺寸[H
s
，W
s
]后，进行归一化提取；
[0017]基于稀疏性选择策略确定候选者，并提取与所述图像采集区域中的图像和所述候选者向对应的特征参数，其中，所述候选者宽度和高度分别是所述标准尺寸的1/2；
[0018]将所述候选者中的至少一个输入至图注意力模型，估计所述目标和候选者之间的相关性；
[0019]将所有所述候选者的图注意力模型进行融合与合并，通过所述GAM跟踪器输出目标检测结果。
[0020]可选的，基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM跟踪器中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配，具体包括：
[0021]对所述YOLOX网络的特征经过3
×
3卷积运算后估算图注意力模型，并通过1
×
1卷积层生成特征图；
[0022]对所述特征图经过3
×
3卷积运算，估算目标边框尺寸，并通过1
×
1卷积层生成目标类别结果；
[0023]对所述特征图经过3
×
3卷积运算，获取目标中心偏移，并通过不同的1
×
1卷积层生成标边框尺寸和目标中心偏移量；
[0024]对所述特征图经过3
×
3卷积运算，估算目标边框尺寸，并通过1
×
1卷积层生成个体差异化特征。
[0025]可选的，所述对所述YOLOX网络的特征经过3
×
3卷积运算后估算图注意力模型，并通过1
×
1卷积层生成特征图，具体包括：
[0026]根据图注意力得分执行非极大值抑制(NMS)，以提取峰值关键点，保留图注意力得分大于阈值的关键点的坐标；
[0027]根据所述目标分类、中心偏移量和所述目标边框尺寸生成边界框，以及个体差异化特征，并在估计的目标中心提取身份嵌入。
[0028]可选的，基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM跟踪器中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配，判断待检测目标是否发生奔跑之前，所述方法还包括：
[0029]基于所述目标的部位坐标为[h
t
，w
t
]确定所述边框中对应身体重心的坐标为[h
d
，w
d
]，以及确定候选者中对应身体重心的坐标为[h
c
，w
c
]，其中，所述目标和所述边框之间对所述身体重心的定位距离始终大于所述目标和所述候选者之间对所述身体重心的定位距离的最小值。
[0030]可选的，所述基于目标的身体重心坐标为[h
t
，w
t
]，确定所述行人边框中对应身体重心的坐标为[h
d
，w
d
]，以及确定候选者中对应身体重心的坐标为[h
c
，w
c
]，具体包括：
[0031]根据所述待处理的视频图像数据帧的第一帧中对所述边框的估计，初始化多个子
轨迹；
[0032]在所述待处理的视频图像数据帧中第一帧以后的帧中，将检测到的边框与现有的跟踪片段相连接；
[0033]采用卡尔曼滤波函数预测所述目标在当前帧中的位置；检测到所述目标的坐标与预测位置距离大于预设值，则将相应的成本设置为无穷大。
[0034]可选的，所述基于目标特征提取结果，根据预设时间段内检测到的目标坐标变化速度，采用正态分布和阈值法，判断待检测目标是否发生奔跑，具体包括：
[0035]基于所述视频图像数据帧预测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GAM跟踪器的社区行人异常行为检测方法，其特征在于，所述社区行人异常行为检测方法包括：将待处理的视频图像数据帧输入预先训练好的YOLOX网络，获取高分辨率特征图，并采用目标检测器进行行人检测；基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM跟踪器中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配；基于目标特征提取结果，根据预设时间段内检测到的目标坐标变化速度，采用正态分布和阈值法，判断待检测目标是否发生奔跑；和/或，基于目标特征提取结果，根据待检测目标的检测结果计算行人高度和宽度的比值，并根据计算的长宽比值判断待检测目标是否发生跌倒；和/或，基于目标特征提取结果，根据待检测目标在视频区域内移动的距离和往复次数与预先设置的徘徊距离阈值之间的关系，采用向量法结合阈值法判断待检测目标是否存在异常徘徊；若待处理的视频图像数据帧中存在待检测目标奔跑、跌倒或异常徘徊中的至少一种，则将所述待处理的视频图像数据帧标记为存在社区行人异常行为数据帧。2.根据权利要求1所述的社区行人异常行为检测方法，其特征在于，所述将待处理的视频图像数据帧输入预先训练好的YOLOX网络，获取高分辨率特征图，并采用目标检测器进行行人检测，具体包括：将从YOLOX网络中输出的差异化特征输入至GAM跟踪器，将所述GAM跟踪器检测到的目标的图像采集区域扩大至所述图的候选者的宽高度的至少两倍，并根据所述检测到的目标的图像采集区域的中心位置进行定位；将图像采集区域中的图像调整为标准尺寸[H
s
，W
s
]后，进行归一化提取；基于稀疏性选择策略确定候选者，提取与所述图像采集区域中的图像和所述候选者向对应的特征参数，其中，所述候选者宽度和高度分别是所述标准尺寸的1/2；将所述候选者中的至少一个输入至图注意力模型，估计所述目标和候选者之间的相关性；将所有所述候选者的图注意力模型进行融合与合并，通过所述GAM跟踪器输出目标检测结果。3.根据权利要求1所述的社区行人异常行为检测方法，其特征在于，所述基于YOLOX网络上增加的用于提取目标差异化特征的平行的输出端及其无锚方法，在GAM跟踪器中以所述增加的输出端为输入进行融合分析，用来估算待检测结果和跟踪目标之间匹配度热图，进而进行跟踪目标和检测结果之间的关联匹配，具体包括：对所述YOLOX网络的特征经过3
×
3卷积运算后估算图注意力模型，并通过1
×
1卷积层生成特征图；对所述特征图经过3
×
3卷积运算，估算目标边框尺寸，并通过1
×
1卷积层生成目标类别结果；对所述特征图经过3
×
3卷积运算，获取目标中心偏移，并通过不同的1
×
1卷积层生成目标边框尺寸和目标中心偏移量；
对所述特征图经过3
×
3卷积运算，估算目标边框尺寸，并通过1
×
1卷积层生成个体差异化特征。4.根据权利要求3所述的社区行人异常行为检测方法，其特征在于，所述对所述YOLOX网络的特征经过3
×
3卷积运算后估算图注意力模型，并通过1
×
1卷积层生成特征图，具体包括：根据图注意力得分执行非极大值抑制(NMS)，以提取峰值关键点，保留图注意力得分大于阈值的关键点的坐标；根据所述目标分类、中心偏移量和所述目标边框尺寸生成边界框，以及个体差异化特征，并在估计的目标中...

【专利技术属性】
技术研发人员：王智慧，李名帅，刘辰旭，孙瑞雪，葛铭昌，崔宾阁，于建志，包永堂，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：