【技术实现步骤摘要】
本专利技术属于计算机视觉，具体涉及一种周界入侵目标的检测与跟踪方法。
技术介绍
1、随着计算机和网络技术的进步，安全领域的硬件和软件技术已经建立了坚实的基础。摄像设备成本的下降和性能的提高，使得建立低成本、高效能的大规模视频监控系统成为可能，为部队和安全部门提供了稳定安全的实时监测手段。然而，传统的数字视频监控系统局限于视频的捕获、存储和传输，对于异常事件的实时检测和事故原因分析仍然依赖人工。这导致了工作人员面临繁重的任务，需要高度的注意力和警惕性。边缘端周界入侵系统监控的对象多种多样，如人、车、火、异常行为，这使得视频监控系统存在精度不足、误报和漏报频发、响应时间长以及录像数据分析困难等缺陷，严重影响整个系统的安全性和实用性。实时生成的大量监控视频数据与人工分析的限制之间存在明显矛盾。因此，利用计算机视觉技术，研究智能分析功能的视频监控系统对于加强安全防卫体系具有重要意义。
2、近年来，随着人工智能领域的迅速发展，卷积神经网络(convolutional neuralnetworks，cnn)在周界安防系统中进行目标识别与目标跟踪取得了不错的效果。cnn在处理视频图像时利用非线性的计算机制来提取隐含的高级别特征，以增强多目标识别的预测性能。
3、目前针对目标跟踪的预测研究可分为两类：一类是单目标跟踪(sot)，专注于追踪单个目标，确保在视频序列中持续跟踪目标物体；另一类是多目标跟踪(mot)，涉及同时跟踪多个目标，需要解决目标重叠、遮挡和多目标识别等问题。传统的目标跟踪方法(如卡尔曼滤波、sort等)以
技术实现思路
1、为了克服现有技术的不足，本专利技术提供了一种周界入侵目标的检测与跟踪方法，基于周界范围内多路监控视频数据，在原始的yolov8网络基础上引入了cbam和carafe网络结构。通过在视频画面绘制多边形，实现对特定区域入侵目标的有效检测。同时，采用deepsort算法，通过计算目标匹配关系并结合匈牙利算法进行目标的重识别和id分配。最终，通过利用opencv库中的cv2.line函数绘制目标轨迹，实现对目标的持续跟踪。该方法能在复杂场景下显著提高入侵目标的检测和跟踪准确率，降低周界防范系统的误报率，为提升安防系统可靠性提供了有效手段。
2、本专利技术解决其技术问题所采用的技术方案包括如下步骤：
3、步骤1：数据准备；
4、将周界监控数据按下述层次进行整理，数据集内包含n路摄像头，每一路摄像头包含m个视频数据，其结构表示为：
5、d＝{d1，d2，d3，...，dn}
6、di＝{v1，v2，...，vm}
7、
8、其中，d表示数据集，dn表示第n路摄像头的数据，vm表示摄像头的第m组视频数据，表示第i路摄像头的第j组视频数据中的第ω帧图像；
9、步骤2：图像预处理；
10、对采集到的周界内多路视频数据进行逐帧分离产生图像帧
11、对图像帧进行数据处理，以扩充样本数据量；
12、然后将中的每个像素标准化以使数据归一化在0和1之间，对于第x个像素点px，对其减去平均值再除以标准差σm，得到归一化像素p′x，定义为：
13、
14、去除图像帧的黑色边框区域；
15、步骤3：使用改进的yolov8网络进行目标检测；
16、步骤3-1：采用yolov8作为周界入侵目标检测的基础模型，yolov8由三部分组成，包括主干网络backbone、颈部neck和head头部；
17、步骤3-2：目标检测的主干网络采用cspdarknet结构，cspdarknet结构通过跨阶段局部csp操作将特征图连接进行分割，该分割将特征图的通道分为两个分支，一个分支经过卷积运算，包括1x1卷积、3x3的深度可分离卷积，再次进行1x1卷积；另一个分支直接与前面的卷积结果相加，形成csp连接；
18、步骤3-3：引入cbam神经网络结构；
19、cbam神经网络结构由通道注意力模块cam和空间注意力模块sam组成；
20、首先，通过cam对输入的特征图进行全局平均池化和全连接操作，得到用于加权输入特征图的通道注意力权重；接着，通过sam在每个通道上采用3x3卷积操作，得到的权重应用于输入特征图；
21、cam和sam的输出通过逐元素相乘操作融合，得到综合的注意力信息；
22、最后，再通过1x1的卷积操作进行通道数的调整；
23、步骤3-4：引入轻量级上采样算子carafe；
24、首先，将输入的低分辨率特征图h×w×c进行1×1卷积操作将其通道数压缩为cm；
25、
26、其中，xinput为输入特征图，x′input为压缩后的特征图，w为1×1卷积矩阵，a，b，c为特征图的索引；
27、接着，设定上采样倍率为σ，上采样核尺寸kup×kup，对于压缩后的输入特征图x′input通过kenc×kenc的卷积层预测上采样核，输入通道数为cm，输出通道数为σ2×kup2，将通道维在空间维度展开，得到形状为σh×σw×kup2的预测上采样核wspace；然后，利用softmax进行归一化，使得卷积核权重和为1，得到计算后的上采样核wsoftmax；
28、最后，carafe执行通道和空间整合，表示为：
29、fintegrated＝integrate(xinput，wsoftmax)
30、其中，integrate(·)表示通道和空间整合操作；
31、步骤4：训练目标检测模型；
32、使用基于cbam和carafe的yolov8网络作为训练器，将提取的特征集进行模型训练，以生成目标检测的权重参数模型；
33、步骤5：目标检测与轨迹跟踪；
34、步骤5-1：入侵目标检测；
35、根据步骤4产生的目标检测的权重参数模型，首先在视频中连线绘制多边形，以在每一帧图像的特定多边形内检测入侵目标，并生成不同尺寸和宽高比的边界框和入侵目标的类别信息，每个目标框为5维向量，包括边界框的坐标和置信度分数，如下表示：
36、
37、其中，针对第i路摄像的第j组视频数据的第q帧图像得到的目标框，为框的横坐标，为框的纵坐标，为框的宽度，为框的高度，为框的置信度；
38、步骤5-2：deepsort目标跟踪；
39、根据步骤5-1从视频帧中检测入侵目标所生成的边界本文档来自技高网...
【技术保护点】
1.一种周界入侵目标的检测与跟踪方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种周界入侵目标的检测与跟踪方法，其特征在于，所述对所有图像帧进行数据处理，包括翻转、旋转、缩放和移位。
3.根据权利要求1所述的一种周界入侵目标的检测与跟踪方法，其特征在于，所述步骤2中在二维平面上将图像帧进行裁剪为为640×640，输入网络模型的张量大小为640×640×3。
4.根据权利要求1所述的一种周界入侵目标的检测与跟踪方法，其特征在于，所述目标检测模型每次训练采用单卡训练，数据集70％划分训练集、20％划分为验证集和10％划分为测试集；训练时使用Adam优化器，初始学习率为0.003，设置每次迭代的batch size＝18，momentum＝0.9，实验共训练300次；早停策略设置为当验证集性能连续20次没有提升时提前终止训练，达到停止训练迭代的目的。
【技术特征摘要】
1.一种周界入侵目标的检测与跟踪方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种周界入侵目标的检测与跟踪方法，其特征在于，所述对所有图像帧进行数据处理，包括翻转、旋转、缩放和移位。
3.根据权利要求1所述的一种周界入侵目标的检测与跟踪方法，其特征在于，所述步骤2中在二维平面上将图像帧进行裁剪为为640×640，输入网络模型的张量大小为640×640×3。
...【专利技术属性】
技术研发人员：李星，何文山，冯晓辉，
申请(专利权)人：西安长远电子工程有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。