【技术实现步骤摘要】
改良的孪生卷积网络的目标跟踪与分割方法、系统及介质
本专利技术涉及计算机视觉
，具体涉及一种改良的孪生卷积网络的目标跟踪与分割方法、系统、终端及介质。
技术介绍
目标跟踪技术是计算机视觉任务中的一个重要分支，被广泛应用于自动驾驶，视频监控和机器人等领域。传统目标跟踪算法主要依赖于手工标注特征和相关滤波算法(如KCF，TLD等)，有着较高的帧率,但是准确率和鲁棒性较低，难以满足实际应用要求。近年来随着人工智能与深度学习的兴起，卷积神经网络算法逐步进入目标跟踪领域，并且取得了不俗的表现与成绩，其中以孪生卷积网络为基础的算法框架凭借其良好得性能表现和简洁的网络结构，在近几年国际计算机视觉顶会以及跟踪赛事中受到了极大关注。为了方便跟踪结果的表述，原先跟踪算法都是以坐标轴对齐的的矩形框作为目标跟踪结果返回。但随着跟踪精度的不断提升，数据集的难度在不断提升，在VOT2015时即提出使用旋转矩形框来作为标记。在VOT2016的时候提出自动的通过掩膜来生成旋转框的方法，但是仍然不能满足多元化的目标跟踪任务的需求。
【技术保护点】
1.一种改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，包括：/n获取输入图像信息；/n采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；/n将所述目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；/n将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素作为第一特征图中的每一个ROW对应的置信度；/n选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。/n
【技术特征摘要】
1.一种改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，包括：
获取输入图像信息；
采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；
将所述目标特征图和跟踪区域特征图做互相关操作，得到输出特征图；
将输出特征图进行卷积后分别送入语义分割分支和得分图分支，得到第一特征图和得分图，将第一特征图中的每个像素及其对应通道设定为ROW,得分图中的每一个像素作为第一特征图中的每一个ROW对应的置信度；
选择得分图中置信度最高的像素点在第一特征图上对应的ROW作为最终生成掩膜矩阵时所使用的ROW，采用Refinement模块根据ROW生成目标掩膜。
2.如权利要求1所述的改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，所述采用Refinement模块根据ROW生成目标掩膜的具体方法包括：
对最终生成掩膜矩阵时所使用的ROW进行反卷积得到第二特征图，将所述第二特征图与特征提取网络提取跟踪目标时所得到的中间特征图进行相加耦合；
将各个中间特征图经过三层模型降维，使各个中间特征图与ROW相同的通道数、宽和高，再将各个特征图进行相加；
将相加后得到的特征图通过最后一层卷积层得到第一矩阵，将第一矩阵进行二分类得到掩膜矩阵，所述掩膜矩阵的每个元素的值为0～1，将掩膜矩阵经过仿射变换映射回原图，并用设定的分割阈值将掩膜矩阵中的0～1之间的数值进行二值化，得到跟踪目标在原图中的目标掩膜，根据目标掩膜的最小外接矩形得到跟踪目标的边界框。
3.如权利要求1所述的改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，所述语义分割分支由1*1的卷积层构成；所述得分图分支由1*1的卷积层构成。
4.如权利要求2所述的改良的孪生卷积网络的目标跟踪与分割方法，其特征在于，所述分割阈值为0.35。
5.一种改良的孪生卷积网络的目标跟踪与分割系统，其特征在于，包括：图像获取模块、图像特征提取模块、互相关模块、第一分析模块和第二分析模块，
所述图像获取模块用于获取输入图像信息；
所述图像特征提取模块采用密集连接的卷积神经网络提取输入图像特征，得到目标特征图和跟踪区域特征图；
所述互相关模块将所...
【专利技术属性】
技术研发人员：盛校麟，李凡平，石柱国，
申请(专利权)人：北京以萨技术股份有限公司，青岛以萨数据技术有限公司，安徽以萨数据技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。