一种目标动态卷积核的高空抛物跟踪方法技术

本发明专利技术公开了一种目标动态卷积核的高空抛物跟踪方法

【技术实现步骤摘要】
一种目标动态卷积核的高空抛物跟踪方法


[0001]本专利技术涉及目标检测
，尤其涉及一种目标动态卷积核的高空抛物跟踪方法
。

技术介绍

[0002]随着城市化的快速发展，高层建筑物不断涌现，这为高空抛物问题提供了更多的可能性
。
高楼大厦和高架桥等高空位置成为潜在的抛物来源，因此高空抛物问题在城市化背景下变得更加突出
。
同时人口的增长导致城市变得更加拥挤，公共场所的人员密度增大
。
这增加了高空抛物事件造成人员伤害的概率，因为更多的人可能会处于抛物物体的下方
。
[0003]目前的解决方案包括：部署智能监控摄像头，通过计算机视觉和图像识别技术，监测潜在的高空抛物行为，一旦监测到异常情况，系统可以自动发出警报，通知执法部门或相关人员；开发声音识别系统，能够识别窗户摔落等物体撞击地面时产生的声音，一旦系统识别到类似的声音模式，就会触发警报；在高空抛物易发区域安装振动传感器，能够感知物体从高处落下时所产生的振动，从而及时发出警报；开发预警系统，通过实时监测大型建筑物
、
桥梁等高空位置的稳定性和物体运动情况，预测潜在的抛物风险；利用人工智能和机器学习技术，分析历史数据和模式，预测高抛事件的可能发生地点和时间，以便提前采取防范措施；使用无人机进行高空巡检，定期检查建筑物外墙
、
窗户等高处，以发现并修复潜在的高空抛物风险；开发智能报警设备，可以安装在窗户或高空位置，一旦检测到异常的抛物行为，即可发出声音
、
光线或手机短信等警报
。
[0004]现有专利一
《
一种基于抛物模型的高空抛物住户估计方法
》
，
CN114545386A
：公开了一种基于抛物模型的高空抛物住户估计方法，该方法在毫米波雷达系统实时监测高空抛物时，利用抛物模型对抛物住户位置进行估计
。
该方法能根据雷达已经检测到的部分二维或三维目标下落轨迹，结合经典力学抛物模型进行非线性曲线拟合，预测并补全实际的抛物运动轨迹，进而反推抛物住户位置范围
。
[0005]现有专利一存在如下问题：该专利依据抛物结果进行反推寻找住户，缺乏对于高空抛物的即时预警功能；在预测轨迹方面，采用经典力学模型，但是仅考虑空气阻力，对于异常情况如风向作用等未加考虑，可能会导致较大的预测偏差；
[0006]现有专利二
《
一种高空抛物监测方法
》
，
CN111539388A
：通过相邻的图片帧对比来判断是否有抛物情况出现，再找到第一次出现抛物目标的图片帧的时间戳并找到所有摄像头在这一时刻拍摄的图像进行二值化处理，得到每个摄像头对应的二值化图像；沿建筑物监控面建立与房号对应的直角坐标系，确定每个摄像头对应的坐标及抛物点和摄像头之间的几何关系，结合二值化图像计算抛物点对应的抛物坐标；
[0007]现有专利二主要在运动物体的目标检测上存在如下问题：该设计需要将监控录像文件送至控制中心，需要耗费大量时间，缺乏时效性；同时没有提出具体行之有效的抛物跟踪模型，无法得到目标运动轨迹；
[0008]现有专利三
《
一种高空抛物检测系统
》
，
CN111368741A
：提供了一种高空抛物检测
系统，包括：图像获取模块，用于获取高楼的图像；高空抛物检测模块，用于根据所述图像检测是否有高空抛物；目标追踪模块，用于追踪所述高空抛物检测模块检测的高空抛物图形并判断是否为高空抛物；结果显示模块，用于根据所述目标追踪模块的判断结果进行结果显示；存储模块，用于存储高空抛物的视频信息
。
[0009]现有专利三主要在运动物体的目标跟踪上存在如下问题：该技术主要针对于图像检测，漏检误检的可能性较大；同时需要人工监控，投入成本高并且影响效率
。

技术实现思路

[0010]本专利技术目的就是为了弥补已有技术的缺陷，提供一种目标动态卷积核的高空抛物跟踪方法
。
[0011]本专利技术是通过以下技术方案实现的：
[0012]一种目标动态卷积核的高空抛物跟踪方法，具体包括如下步骤：
[0013]S1
：构建跟踪目标动态卷积核
[0014]采集高空抛物视频数据，标注视频帧的目标检测框和目标类别，提取跟踪目标的
Key
和
Query
特征，计算获得跟踪目标动态卷积核；
[0015]S2
：训练目标检测模型
[0016]训练集成动态卷积核后的目标检测模型，获得初始目标检测模型；
[0017]S3
：构建困难目标动态卷积核
[0018]使用初始目标检测模型获得目标检测框，计算目标检测损失值，根据目标检测损失值的阈值获得困难样本，提取困难目标的
Key
和
Query
特征，计算获得困难目标动态卷积核；
[0019]S4
：构建干扰目标动态卷积核
[0020]确定干扰样本类别，从
ImageNet
数据集获得干扰样本集，扩充干扰样本集，提取干扰目标的
Key
和
Query
特征，计算获得干扰目标动态卷积核；
[0021]S5
：训练多目标类别动态卷积核的目标检测模型
[0022]训练初始目标检测模型，获得多目标动态卷积核的目标检测模型；
[0023]S6
：测试视频高空抛物跟踪
[0024]使用多目标动态卷积核的目标检测模型检测测试视频帧获得目标检测框，通过状态转移矩阵预测跟踪框，使用算法匹配跟踪框与检测框，对后续帧执行同样操作，获得高空抛物目标运动轨迹
。
[0025]步骤
S1
具体包括如下步骤：
[0026]步骤1‑1：通过摄像头采集高空抛物视频；
[0027]步骤1‑2：将视频数据采样为连续的视频帧数据，获得视频帧集合；
[0028]步骤1‑3：标注每个视频帧中的运动目标边界框和目标中心点坐标其中为边界框左上角坐标，为边界框右下角坐标；
[0029]步骤1‑4：标注每个视频帧中运动目标的类别，得到目标的类别标签；
[0030]步骤1‑5：获得初始样本集：
Init
＝
<Frame
init
,Box
init
,Label
init
>
，其中
Frame
init
表示将边界框与标签合并获得的帧，
Box
init
表示初始样本边界框，
Label
init
表示初始样本标
签；
[0031]步骤1‑6：创建动态卷积模块，在当前层，
K本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种目标动态卷积核的高空抛物跟踪方法，其特征在于：具体包括如下步骤：
S1
：构建跟踪目标动态卷积核采集高空抛物视频数据，标注视频帧的目标检测框和目标类别，提取跟踪目标的
Key
和
Query
特征，计算获得跟踪目标动态卷积核；
S2
：训练目标检测模型训练集成动态卷积核后的目标检测模型，获得初始目标检测模型；
S3
：构建困难目标动态卷积核使用初始目标检测模型获得目标检测框，计算目标检测损失值，根据目标检测损失值的阈值获得困难样本，提取困难目标的
Key
和
Query
特征，计算获得困难目标动态卷积核；
S4
：构建干扰目标动态卷积核确定干扰样本类别，从
ImageNet
数据集获得干扰样本集，扩充干扰样本集，提取干扰目标的
Key
和
Query
特征，计算获得干扰目标动态卷积核；
S5
：训练多目标类别动态卷积核的目标检测模型训练初始目标检测模型，获得多目标动态卷积核的目标检测模型；
S6
：测试视频高空抛物跟踪使用多目标动态卷积核的目标检测模型检测测试视频帧获得目标检测框，通过状态转移矩阵预测跟踪框，使用算法匹配跟踪框与检测框，对后续帧执行同样操作，获得高空抛物目标运动轨迹
。2.
根据权利要求1所述的一种目标动态卷积核的高空抛物跟踪方法，其特征在于：步骤
S1
具体包括如下步骤：步骤1‑1：通过摄像头采集高空抛物视频；步骤1‑2：将视频数据采样为连续的视频帧数据，获得视频帧集合；步骤1‑3：标注每个视频帧中的运动目标边界框和目标中心点坐标其中为边界框左上角坐标，为边界框右下角坐标；步骤1‑4：标注每个视频帧中运动目标的类别，得到目标的类别标签；步骤1‑5：获得初始样本集：
Init
＝
<Frame
init
,Box
init
,Label
init
>
，其中
Frame
init
表示将边界框与标签合并获得的帧，
Box
init
表示初始样本边界框，
Label
init
表示初始样本标签；步骤1‑6：创建动态卷积模块，在当前层，
Key
特征和
Query
特征从视频帧的像素中获得：步骤1‑6‑1：提取跟踪目标区域：在不同分辨率下，对应像素是变化的，将目标中心点坐标处
h
×
w
范围内像素作为
Key
特征：特征：
H、W
分别为当前层视频帧的高度分辨率和宽度分辨率，在目标中心点附近区域内，与中心点相邻的像素作为
Query
特征：相邻像素的坐标范围是
u∈{h
‑
1,h,h+1},v∈{w
‑
1,w,w+1}
；步骤1‑6‑2：用点积乘法计算区域内
Key
特征和所有
Query
特征之间的相似度
,
对相似度得分使用
Softmax
函数作为权重
:
其中，
C
track
为特征维度；
步骤1‑6‑3：对所有像素进行上述操作获得权重集合步骤1‑6‑4：将获得的权重值作为卷积核，获得跟踪目标动态卷积核
。3.
根据权利要求2所述的一种目标动态卷积核的高空抛物跟踪方法，其特征在于：步骤
S2
具体包括如下步骤：步骤2‑1：选择
RetinaNet
作为预训练模型，在模型卷积操作前调用步骤1‑6动态卷积模块获取动态卷积核，将原始卷积核替换为跟踪目标动态卷积核，使用该模型检测步骤1‑5标注后的初始样本集，处理每个样本，获得目标检测框和目标检测得分
score
pre,i
，其中
i
是样本编号，为目标检测框左上角坐标，为目标检测框右下角坐标；步骤2‑2：给定样本数为
M
init
计算目标检测损失值，其中包括两个损失值
L
pre,box
和
L
pre,label
；步骤2‑2‑1：计算目标检测框与标注的边界框的损失：其中
Smooth L1 Loss
的计算公式为：
*
表示数字乘法，
x1为检测坐标值，
x2为真实坐标值；步骤2‑2‑2：计算目标预测概率得分
score
pre,i
与真实概率得分
score
gt
的损失：步骤2‑2‑3：总损失为边界框损失和预测得分损失之和：
L
pre
＝
L
pre,box
+L
pre,label
步骤2‑3：使用步骤2‑3‑3计算获得的总损失，使用反向传播训练模型，获得初始目标检测模型
。4.
根据权利要求3所述的一种目标动态卷积核的高空抛物跟踪方法，其特征在于：步骤
S3
具体包括如下步骤：步骤3‑1：使用步骤
S2
‑3获得的初始目标检测模型，检测步骤1‑5标注后的数据获得目标检测框；步骤3‑2：获得目标预测概率得分
score
init,i
；步骤3‑3：设置困难样本预测得分阈值；步骤3‑4：将预测得分小于阈值的样本，作为困难样本；步骤3‑5：获得困难样本集：
Diff
＝
<Frame
diff
,Box
diff
,Label
diff
>
，其中
Frame
diff
表示困难帧，
Box
diff
表示困难样本边界框，
Label
diff
表示困难样本标签；步骤3‑6：创建动态卷积模块，在当前层，
Key
特征和
Query
特征从视频帧的像素中获得；步骤3‑6‑1：提取跟踪目标区域：在不同分辨率下，对应像素是变化的，将目标中心点坐
标处
h
×
w
范围内像素作为
Key
特征：
H、W
分别为当前层视频帧的高度分辨率和宽度分辨率，在目标中心点附近区域内，与中心点相邻的像素作为
Query
特征：相邻像素的坐标范围是
u∈{h
‑
1,h,h+1},v∈{w
‑
1,w,w+1}
；步骤3‑6‑2：用点积乘法计算区域内
Key
特征和所有
Query
特征之间的相似度；其中，
C
diff
为特征维度；步骤3‑6‑3：对所有像素进行上述操作获得权重集合步骤3‑6‑4：将获得的权重值作为卷积核，获得困难目标动态卷积核
。5.
根据权利要求4所述的一种目标动态卷积核的高空抛物跟踪方法，其特征在于：步骤
S4
具体包括如下步骤：步骤4‑1：确定干扰样本类别为飞鸟，树叶，衣服，被子；步骤4‑2：从
ImageNet
数据集，获得包含飞鸟，树叶，衣服，被子的干扰目标数据集；步骤4‑3：数据预处理和数据增强；步骤4‑3‑1：通过尺寸归一化，把干扰目标数据集中图像缩放为
256x256
分辨率；步骤4‑3‑2：在0‑
180
°
范围内随机翻转图像；步骤4‑3‑3：设置目标边界框位置，将边界框放入图像，合成图片得到
Frame
disturb
；步骤4‑4：获得干扰样本集：
Disturb
＝
<Frame
disturb
,Box
disturb
,Label
disturb
>
，其中
Frame
disturb
表示干扰帧，
Box
disturb
表示边界框，
Label
disturb
表示标签；步骤4‑5：创建动态卷积模块，在当前层，
Key
特征和
Query
特征从视频帧的像素中获得；步骤4‑5‑1：提取跟踪目标区域：在不同分辨率下，对应像素是变化的，将目标中心点坐标处
h
×
w
范围内像素作为
Key
特征：特征：
H、W
分别为当前层视频帧的高度分辨率和宽度分辨率，在目标中心点附近区域内，与中心点相邻的像素作为
Query
特征：相邻像素的坐标范围是
u∈{h
‑
1,h,h+1},v∈{w
‑
1,w,w+1}
；步骤4‑5‑2：用点积乘法计算区域内
Key
特征和所有
Query
特征之间的相似度；其中，
C
disturb
为特征维度；步骤4‑5‑3：对所有像素进行上述操作获得权重集合步骤4‑5‑4：将获得的权重值作为卷积核，获得干扰目标动态卷积核
。6.
根据权利要求5所述的一种目标动态卷积核的高空抛物跟踪方法，其特征在于：步骤
S5
具体包括如下步骤：步骤5‑1：融合跟踪目标类的初始样本集
Init
，困难样本集
Diff
和干扰样本集
Disturb
，获得主动样本集，用于训练主动目标检测模型
Fuse
＝
<Init,Diff,Disturb>
，
Fuse
＝
<Frame
fuse
,Box
Fuse
,Label
fuse
>
其中
Frame
fuse<...

【专利技术属性】
技术研发人员：杨兴明，王冠，吴克伟，孙永宣，郭丹，谢昭，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：