一种基于目标跟踪算法的智慧工厂监控系统技术方案

一种基于目标跟踪算法的智慧工厂监控系统，包括终端服务器、视频图像采集模块和视频图像处理模块；所述的视频图像采集模块包含多个监控摄像头；所述视频图像处理模块实时检测工厂环境中是否出现可疑目标并设计了一种查询引导的目标跟踪方法持续性跟踪可疑目标，所述查询引导的目标跟踪方法解决了离线训练时样本不平衡的问题，有效提高了跟踪的准确性，同时解决了在线跟踪时使用的位置惩罚在目标快速运动时容易跟踪失败的问题，有效提高了跟踪的鲁棒性，即有效解决了可疑目标准确及鲁棒的定位问题，进而保障了工厂环境的安全性。进而保障了工厂环境的安全性。进而保障了工厂环境的安全性。

【技术实现步骤摘要】
一种基于目标跟踪算法的智慧工厂监控系统


[0001]本专利技术涉及智能监控
，特别涉及一种基于目标跟踪算法的智慧工厂监控系统。

技术介绍

[0002]高度重视制造业的发展，工厂作为其中一重要组成部分，对安全防范提出了非常高的要求。工厂面积大，仓储地点分散与环境复杂，人车混流、车辆移动频繁，仅靠人力进行监控，无法实时掌握工厂环境情况，同时效率低、出现问题无法及时处理。智慧工厂无疑是现代工业、制造业的大势所趋，将智能监控作为一种高效便捷的安防措施已被部分工厂所采用的，一方面它能实时的获取工厂各个重要监控区域的情况，更有利于工厂的安全管理，另一方面又能够减少不必要的人力、物力，更高效实时地监控工厂环境，便于即使应付出现的紧急情况。
[0003]在智慧工厂的实时监控中，当面对紧急情况时需要对出现的可疑目标进行实时的跟踪，跟踪的鲁棒性与准确定是智能监控高效运行的重要因素，现如今流行的目标跟踪方法SiamRPN不仅满足实时性的要求，同时具有不错的准确性，但面对工厂如此复杂的环境仍存在一些局限性：一是SiamRPN的网络在离线训练时所使用的损失没有关注到数据不平衡的问题，导致了跟踪的准确性难以提升，因此面对工厂复杂的环境难以准确跟踪是一个需要解决的问题；二是利用了余弦窗作为位置惩罚去筛选目标，这是基于目标距离上一帧目标距离较近的可能性比较大的假设，在工厂环境中待跟踪的可疑目标运动难以确定，有很大的可能运动较快，那么就打破了目标距离上一帧目标距离较近的可能性比较大的这一假设，这时跟踪容易出现丢失，因此面对可疑目标运动较快容易跟踪失败是第二个需要解决的问题，些问题影响着跟踪的鲁棒性，进而影响着工厂的安全。

技术实现思路

[0004]本专利技术针对上述问题，提出了一种基于目标跟踪算法的智慧工厂监控系统，并提出一种查询引导的目标跟踪方法，该跟踪方法通过对损失函数的改进以提高跟踪的准确性，同时改进了原跟踪算法的约束以提高跟踪的鲁棒性，通过该跟踪方法可以有效的定位可疑目标，进而进一步保证了工厂的安全。
[0005]为了解决上述技术问题，本专利技术提供如下技术方案：
[0006]一种基于目标跟踪算法的智慧工厂监控系统，包括终端服务器、视频图像采集模块和视频图像处理模块；所述的视频图像采集模块包含多个监控摄像头，用于实时采集工厂不同区域的环境视频图像数据，然后将采集到的工厂环境视频图像数据输出至图像处理模块；所述视频图像处理模块用于实时读取视频图像数据并进行处理，首先实时检测工厂环境中是否出现可疑目标，当出现可疑目标时生成报警信号输出值终端服务器，终端服务器接收到报警信号后进行报警；同时，根据检测到的目标位置信息利用设计的查询引导的目标跟踪方法跟踪可疑目标，当跟踪的可疑目标从当前摄像头的拍摄范围内消失时，利用
设计的查询引导的目标跟踪方法在下一个摄像头的拍摄范围内找到同一个可疑目标进行持续性跟踪。
[0007]进一步地，所述的图像采集模块，相邻摄像头之间的拍摄范围有一定重合，会出现可疑目标在两个摄像头拍摄范围内的情况。
[0008]进一步地，所述的视频图像处理模块，在检测出工厂环境处出现可疑目标的同时给出可疑目标的位置信息。
[0009]进一步地，所述的视频图像处理模块，所述设计的查询引导的目标跟踪方法包括两个部分，第一部分是利用设计的重要性感知损失函数离线训练跟踪网络，第二部分是利用离线训练的网络进行在线跟踪。
[0010]进一步地，所述的第一部分利用设计的重要性感知损失函数离线训练跟踪网络，其特征在于，离线训练的网络选择的是SiamRPN的主干网络，网络尾部有两个分支，分别是分类分支和回归分支。
[0011]进一步地，所述的第一部分利用设计的重要性感知损失函数离线训练跟踪网络，离线训练跟踪网络使用的数据是ImageNet数据集和在工厂采集的视频图像数据制作成的数据集，在工厂采集的视频图像数据是先由每个摄像头拍摄得到视频图像数据，然后将视频图像数据分成一系列图像在进行人工标注，标注完成即完成了将工厂视频数图像数据集制作成数据集；
[0012]离线训练网络所使用的损失是设计的重要性感知损失：
[0013]L
rc
＝T(L
reg
)+T(L
cls
)
[0014]该损失由L
cls
是分类分支的损失函数和回归分支的损失函数L
reg
组成，T(
·
)是用于调整损失大小的函数，其作用是当损失较小时，进一步减小其影响，当损失较大时，进一步增大其影响，网络前向传播时网络尾部的分类分支和回归分支分别计算损失，再利用T(
·
)调整两分支损失大小，最后分类分支和回归分支的损失相加即为最终的损失将最终的损失送入网络一学习网络参数；
[0015]用于调整损失大小的函数T(
·
)的表达式为：
[0016][0017]其中，th是一个阈值，用于根据当前损失L的大小判断其对应的训练样本是否为简单负样本，若L大于阈值th，说明其对应的训练样本是困难负样本或正样本，通过函数e
L
将当前损失L增大，若L小于阈值th，说明其对应的训练样本是简单负样本，通过(e
L
‑
c)将当前损失L减小，c是一个超参数；
[0018]L
reg
是回归分支的损失函数，采用归一化坐标的smooth L1损失进行回归，设A
x
、A
y
表示锚盒的中心点坐标，A
w
和A
h
表示锚盒的形状，即宽和高，T
x
、T
y
表示真实目标坐标的中心点坐标，T
w
和T
h
表示真实目标的形状，即宽和高，然后将各中心点及形状之间的距离进行归一化：
[0019][0020][0021][0022][0023]δ[0]和δ[1]是锚盒和真实目标坐标的中心点坐标归一化后的距离，δ[2]和δ[3]是锚盒和真实目标宽和高归一化后的距离，将这些归一化后的距离送入smooth L1损失函数中进行回归，经过smooth L1损失回归后各归一化后的距离可以写为：
[0024][0025]其中，x是上述归一化后的各点及形状之间的距离δ[0]、δ[1]、δ[2]和δ[3]，σ是一个超参数，最终采用归一化坐标的smooth L1损失进行回归后的回归损失定义为：
[0026][0027]L
cls
是分类分支的损失函数，为交叉熵损失：
[0028][0029]其中，n为样本的个数，y
i
是设定的标签值，y
′
是网络的分类分支的输出值，即网络的分类分支的预测值。
[0030]进一步地，所述的第二部分利用离线训练的网络进行在线跟踪，在线跟踪步骤如下：
[0031]步骤一：利用检测所获取的可疑目标的位置信息，截取出可疑目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标跟踪算法的智慧工厂监控系统，其特征在于，包括终端服务器、视频图像采集模块和视频图像处理模块；所述的视频图像采集模块包含多个监控摄像头，用于实时采集工厂不同区域的环境视频图像数据，然后将采集到的工厂环境视频图像数据输出至图像处理模块；所述视频图像处理模块用于实时读取视频图像数据并进行处理，首先实时检测工厂环境中是否出现可疑目标，当出现可疑目标时生成报警信号输出值终端服务器，终端服务器接收到报警信号后进行报警；同时，根据检测到的目标位置信息利用设计的查询引导的目标跟踪方法跟踪可疑目标，当跟踪的可疑目标从当前摄像头的拍摄范围内消失时，利用设计的查询引导的目标跟踪方法在下一个摄像头的拍摄范围内找到同一个可疑目标进行持续性跟踪。2.根据权利要求1所述的图像采集模块，其特征在于，相邻摄像头之间的拍摄范围有一定重合，会出现可疑目标在两个摄像头拍摄范围内的情况。3.根据权利要求1所述的视频图像处理模块，其特征在于，在检测出工厂环境处出现可疑目标的同时给出可疑目标的位置信息。4.根据权利要求1所述的视频图像处理模块，其特征在于，所述设计的查询引导的目标跟踪方法包括两个部分，第一部分是利用设计的重要性感知损失函数离线训练跟踪网络，第二部分是利用离线训练的网络进行在线跟踪。5.根据权利要求4所述的第一部分利用设计的重要性感知损失函数离线训练跟踪网络，其特征在于，离线训练的网络选择的是SiamRPN的主干网络，网络尾部有两个分支，分别是分类分支和回归分支。6.根据权利要求4所述的第一部分利用设计的重要性感知损失函数离线训练跟踪网络，其特征在于，离线训练跟踪网络使用的数据是ImageNet数据集和在工厂采集的视频图像数据制作成的数据集，在工厂采集的视频图像数据是先由每个摄像头拍摄得到视频图像数据，然后将视频图像数据分成一系列图像在进行人工标注，标注完成即完成了将工厂视频数图像数据集制作成数据集；离线训练网络所使用的损失是设计的重要性感知损失：L
rc
＝T(L
reg
)+T(L
cls
)该损失由L
cls
是分类分支的损失函数和回归分支的损失函数L
reg
组成，T(
·
)是用于调整损失大小的函数，其作用是当损失较小时，进一步减小其影响，当损失较大时，进一步增大其影响，网络前向传播时网络尾部的分类分支和回归分支分别计算损失，再利用T(
·
)调整两分支损失大小，最后分类分支和回归分支的损失相加即为最终的损失，将最终的损失送入网络一学习网络参数；用于调整损失大小的函数T(
·
)的表达式为：其中，th是一个阈值，用于根据当前损失L的大小判断其对应的训练样本是否为简单负样本，若L大于阈值th，说明其对应的训练样本是困难负样本或正样本，通过函数e
|L|
将当前损失L增大，若L小于阈值th，说明其对应的训练样本是简单负样本，通过(e
|L|
‑
c)将当前损失L减小，c是一个超参数；
L
reg
是回归分支的损失函数，采用归一化坐标的smooth L1损失进行回归，设A
x
、A
y
表示锚盒的中心点坐标，A
w
和A
h
表示锚盒的形状，即宽和高，T
x
、T
y
表示真实目标坐标的中心点坐标，T
w
和T
h
表示真实目标的形状，即宽和高，然后将各中心点及形状之间的距离进行归一化：化：化：化：δ[0]和δ[1]是锚盒和真实目标坐标的中心点坐标归一化后的距离，δ[2]和δ[3]是锚盒和真实目标宽和高归一化后的距离，将这些归一...

【专利技术属性】
技术研发人员：刘堂斌，
申请(专利权)人：江西沃尔肯智能装备科技有限公司，
类型：发明
国别省市：