一种安防摄像头高准度智能识别目标跟踪系统及方法技术方案

本发明专利技术提供了一种安防摄像头高准度智能识别目标跟踪系统及方法，通过级联一系列RPN(Region Proposal Network，区域生成网络)，解决了类不平衡问题，同时充分挖掘跨层特征，实现了稳健的视觉跟踪功能。本发明专利技术首次提出了一种新的多阶段跟踪框架即孪生级联RPN，实现了一个基于孪生级联RPN的跟踪器，进一步提高了孪生级联RPN利用高级语义信息和低级空间信息的识别能力，通过多步回归，使定位更加准确，训练样本的分布顺序更加平衡；本发明专利技术的RPN的分类器在区分更困难的干扰物时依次更具辨别力，在复杂背景下目标定位更准确并且具有实时性。

【技术实现步骤摘要】
一种安防摄像头高准度智能识别目标跟踪系统及方法
本专利技术属于安防摄像头
，具体涉及一种安防摄像头高准度智能识别目标跟踪系统及方法。
技术介绍
在目标跟踪方面，Siamese-RPN已经取得了不错的结果，但可能会向背景漂移，尤其是在存在类似语义干扰的情况下。主要原因有两个：第一，训练样本的分布不平衡：(1)正样本远小于负样本，导致孪生网络训练无效；(2)大多数负样本是简单的负样本(非相似的非语义背景)，在学习区分分类器时几乎没有有用的信息。因此，分类器主要由容易分类的背景样本控制，当遇到困难的相似语义干扰时，分类器性能会降低。第二，低层次空间特征的探索还不够充分。在Siamese-RPN(和其他孪生网络的跟踪算法)中，只有最后一层包含更多语义信息的特征被用来区分目标/背景。然而，在跟踪过程中，背景干扰源和目标可能属于相同的类别，并且/或者具有相似的语义特征。在这种情况下，高级语义特征在区分目标/背景方面的识别性较低。除了上述问题外，单级Siamese-RPN还为目标定位应用了一个回归，即预先定义的锚点。当与目标有很高的重叠时，这些锚点一般具有很好的效果。然而，对于无模型视觉跟踪来说，目标对象的先验信息是未知的，很难估计目标的尺度是如何变化的。在单步回归中使用预先定义的粗糙锚点不足以精确定位。另一方面，在两级目标检测算法中解决了类别不平衡问题(例如FasterR-CNN)。第一个proposal阶段快速过滤掉大部分背景样本，第二个分类阶段采用抽样启发式方法，例如，用固定的比率，以保持前景和背景之间的可管理平衡。此外，两步的回归实现了精确的局部化，即使是对具有极端形状的对象。
技术实现思路
本专利技术要解决的技术问题是：提供一种安防摄像头高准度智能识别目标跟踪系统及方法，用于解决类不平衡问题，实现稳健的视觉跟踪功能。本专利技术为解决上述技术问题所采取的技术方案为：一种安防摄像头高准度智能识别目标跟踪系统，系统的初始神经网络模型为孪生级联RPN，包括依次连接的孪生神经网络模块和级联RPN模块；孪生神经网络模块分为N层卷积神经网络层，用于从图像中提取特征，并按层将特征发送给级联RPN模块；级联RPN模块包括L(L≤N)个阶段的级联的RPN，用于根据每个阶段的RPN的多级特征进行序列分类和回归；级联RPN模块还包括每个阶段的RPN对应的特征传递模块FTB和锚点模块；每个阶段的RPN对应的特征传递模块FTB的信号输入端分别连接当前层和上一层的卷积神经网络层的信号输出端，每个阶段的RPN对应的特征传递模块FTB的信号输出端分别连接当前阶段的RPN和下一个阶段的特征传递模块FTB的信号输入端，用于跨层融合特征使每个阶段的RPN共享高级语义功能以提高辨别能力；每个阶段的锚点模块的信号输入端连接上一个阶段的RPN的信号输出端，每个阶段的锚点模块的信号输出端连接当前阶段的RPN的信号输入端，用于逐步细化锚点并进行精确定位。按上述方案，孪生神经网络模块包括Z分支和X分支，Z分支和X分支相同，分别用于从目标模板Z和搜索区域X中提取特征；设n为正整数，Z分支的第m层特征为X分支的第m层特征为当n＝N时，Z分支和X分支的所有层对应共享参数；当n＜N时，孪生神经网络Z分支和X分支的部分层对应共享参数。进一步的，设第l个阶段的RPN为RPNl，用于接收来自孪生神经网络模块的conv-l层的融合特征Φl(z)、Φl(x)，和来自特征传递模块FTB的高级层的特征和进一步的，设第1个阶段的RPN1中，对Φl(z)和Φl(x)卷积得到[Φl(z)]cls，[Φl(x)]cls，[Φl(z)]reg，[Φl(x)]reg；则第l个阶段的锚点的分类分数和回归偏移量分别为：设第1个阶段的锚点的集合为A1，第l个阶段的锚点的集合为Al，则分类分数用于过滤Al中负置信度大于预设阈值θ的锚点后形成锚点的集合Al+1，以训练第l+1个阶段的RPNl+1；回归偏移量用于细化锚点的集合Al+1中锚点的中心位置和大小、给第l+1个阶段的RPNl+1的回归提供更好的初始化从而准确地定位。进一步的，设包括锚点框和真值框的框的中心坐标为(x，y)，框的宽度为w，框的高度为h；设第1个阶段的锚为第l个阶段的锚为每个阶段的锚由前一个阶段的回归偏移量逐步调整，则：设变量x*、y*、w*、h*为第l个阶段的真值框，第l个阶段锚点的集合Al中锚点的索引值为i，锚点i与真值框的真实距离为则通过计算：得到四维向量：设第l个阶段的RPNl的损失函数为包括分类损失Lcls和回归损失Lloc；平衡分类损失Lcls和回归损失Lloc的权重为λ，锚点i的标签为则：模型的损失函数lCRPN包括所有阶段的RPNl的损失函数，则：按上述方案，特征传递模块FTB包括依次连接的Deconv层、EltwSum层、ReLU层、插值层；Deconv层用于匹配不同源的特征尺寸；EltwSum层用于将浅层和深层的特征图在对应的通道上做加法运算、逐元素求和，融合不同的特征；ReLU层用于引入非线性因素，使一部分神经元的输出为0，造成网络的稀疏性，并且减少参数之间互相依存的关系，缓解过拟合的发生，同时节省计算量，避免反向传播时出现梯度消失的情况；插值层用于重新缩放融合特征，使得输出分类图和回归图对所有阶段的RPN具有相同的分辨率，确保每个阶段的RPN中锚点的真值框。按上述方案，还包括图像输入模块，图像输入模块的信号输出端连接孪生神经网络模块的信号输入端，用于接收摄录设备输入的图像或视频，并将目标模板Z和搜索区域X转发给孪生神经网络模块。按上述方案，还包括跟踪结果展示模块和目标信息模块；跟踪结果展示模块的信号输入端连接级联RPN模块的信号输出端，用于显示跟踪目标和准确度信息；目标信息模块的信号输入端连接级联RPN模块的信号输出端，用于存储和查询包括目标编号、衣服颜色、进入摄像范围时间、离开摄像范围时间的目标信息。一种安防摄像头高准度智能识别目标跟踪方法，包括以下步骤：S1：建立孪生级联RPN作为系统的初始神经网络模型，包括孪生神经网络模块、级联RPN模块、特征传递模块FTB、图像输入模块、跟踪结果展示模块、目标信息模块；孪生神经网络模块与级联RPN模块依次连接，图像输入模块的信号输出端连接孪生神经网络模块的信号输入端，跟踪结果展示模块的信号输入端和目标信息模块的信号输入端分别连接级联RPN模块的信号输出端；孪生神经网络模块分为N层卷积神经网络层，级联RPN模块包括L(L≤N)个阶段的级联的RPN、每个阶段的RPN对应的特征传递模块FTB和锚点模块；每个阶段的RPN对应的特征传递模块FTB的信号输入端分别连接当前层和上一层的卷积神经网络层的信号输出端，每个阶段的RPN对应的特征传递模块FTB的信号输出端分别连接当前本文档来自技高网...

【技术保护点】
1.一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：系统的初始神经网络模型为孪生级联，包括依次连接的孪生神经网络和级联RPN模块；/n孪生神经网络模块分为N层卷积神经网络层，用于从图像中提取特征，并按层将特征发送给级联RPN模块；/n级联RPN模块包括L(L≤N)个阶段的级联的RPN，用于根据每个阶段的RPN的多级特征进行序列分类和回归；/n级联RPN模块还包括每个阶段的RPN对应的特征传递模块FTB和锚点模块；每个阶段的RPN对应的特征传递模块FTB的信号输入端分别连接当前层和上一层的卷积神经网络层的信号输出端，每个阶段的RPN对应的特征传递模块FTB的信号输出端分别连接当前阶段的RPN和下一个阶段的特征传递模块FTB的信号输入端，用于跨层融合特征使每个阶段的RPN共享高级语义功能以提高辨别能力；/n每个阶段的锚点模块的信号输入端连接上一个阶段的RPN的信号输出端，每个阶段的锚点模块的信号输出端连接当前阶段的RPN的信号输入端，用于逐步细化锚点并进行精确定位。/n

【技术特征摘要】
1.一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：系统的初始神经网络模型为孪生级联，包括依次连接的孪生神经网络和级联RPN模块；
孪生神经网络模块分为N层卷积神经网络层，用于从图像中提取特征，并按层将特征发送给级联RPN模块；
级联RPN模块包括L(L≤N)个阶段的级联的RPN，用于根据每个阶段的RPN的多级特征进行序列分类和回归；
级联RPN模块还包括每个阶段的RPN对应的特征传递模块FTB和锚点模块；每个阶段的RPN对应的特征传递模块FTB的信号输入端分别连接当前层和上一层的卷积神经网络层的信号输出端，每个阶段的RPN对应的特征传递模块FTB的信号输出端分别连接当前阶段的RPN和下一个阶段的特征传递模块FTB的信号输入端，用于跨层融合特征使每个阶段的RPN共享高级语义功能以提高辨别能力；
每个阶段的锚点模块的信号输入端连接上一个阶段的RPN的信号输出端，每个阶段的锚点模块的信号输出端连接当前阶段的RPN的信号输入端，用于逐步细化锚点并进行精确定位。


2.根据权利要求1所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：孪生神经网络模块包括Z分支和X分支，Z分支和X分支相同，分别用于从目标模板Z和搜索区域X中提取特征；设n为正整数，Z分支的第m层特征为X分支的第m层特征为
当n＝N时，Z分支和X分支的所有层对应共享参数；
当n＜N时，孪生神经网络Z分支和X分支的部分层对应共享参数。


3.根据权利要求2所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：
设第l个阶段的RPN为RPNl，用于接收来自孪生神经网络模块的conv-l层的融合特征Φl(z)、Φl(x)，和来自特征传递模块FTB的高级层的特征和








4.根据权利要求3所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：
设第1个阶段的RPN1中，对Φl(z)和Φl(x)卷积得到[Φl(z)]cls，[Φl(x)]cls，[Φl(z)]reg，[Φl(x)]reg；则第l个阶段的锚点的分类分数和回归偏移量分别为：






设第1个阶段的锚点的集合为A1，第l个阶段的锚点的集合为Al，则分类分数用于过滤Al中负置信度大于预设阈值θ的锚点后形成锚点的集合Al+1，以训练第l+1个阶段的RPNl+1；
回归偏移量用于细化锚点的集合Al+1中锚点的中心位置和大小、给第l+1个阶段的RPNl+1的回归提供更好的初始化从而准确地定位。


5.根据权利要求4所述的一种安防摄像头高准度智能识别目标跟踪系统，其特征在于：
设包括锚点框和真值框的框的中心坐标为(x，y)，框的宽度为w，框的高度为h；设第1个阶段的锚为第l个阶段的锚为每个阶段的锚由前一个阶段的回归偏移量逐步调整，则：












设变量x*、y*、w*、h*为第l个阶段的真值框，第l个阶段锚点的集合Al中锚点的索引值为i，锚点i与真值框的真实距离为则通过计算：












得到四维向量：



设第l个阶段的RPNl的损失函数为包括分类损失Lcls和回归损...

【专利技术属性】
技术研发人员：吴锦梦，李兴珣，陈翩翩，舒鹏程，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：湖北;42