一种基于注意力和特征融合的分割与跟踪方法技术

本发明专利技术属于图像信息处理技术领域，尤其为一种基于注意力和特征融合的分割与跟踪方法，包括以下步骤：步骤1、构建基于SiamMask的基础分割和跟踪框架；步骤2、添加混合注意力模块；步骤3、加入特征融合；步骤4、模型训练，将样本图片输入到孪生网络中进行训练，训练过程是离线进行的；步骤5、模型测试。本发明专利技术通过增加混合注意力模板，通过相互依赖的通道特征和空间特征增强网络的特征学习能力，生成更具辨别力的对象表示，从而大幅提升模型性能。从而大幅提升模型性能。从而大幅提升模型性能。

【技术实现步骤摘要】
一种基于注意力和特征融合的分割与跟踪方法


[0001]本专利技术涉及图像信息处理
，具体为一种基于注意力和特征融合的分割与跟踪方法。

技术介绍

[0002]单目标跟踪是计算机视觉研究领域的热点之一，并得到广泛应用，相机的跟踪对焦、无人机的自动目标跟踪等都需要用到了单目标跟踪技术，另外还有特定物体的跟踪，比如人体跟踪，交通监控系统中的车辆跟踪，人脸跟踪和智能交互系统中的手势跟踪等，随着研究人员不断地深入研究，视觉目标跟踪在近十几年里有了突破性的进展，使得视觉跟踪算法不仅仅局限于传统的机器学习方法，更是结合了近些年人工智能热潮—深度学习和相关滤波器等方法，并取得了鲁棒、精确结果，随着深度学习在语音识别，图像分类以及目标检测等领域的巨大成功，越来越多的研究将深度学习框架应用于目标跟踪任务中，目标跟踪技术得到了更加全面的发展，并且其在多个社会领域当中，也得到了较为广泛的应用，特别是在当前的社会环境中，社会各个层面对于高科技跟踪方式的需求呈现出一种不断提升的状态，这也进一步突出了目标跟踪技术的重要性。
[0003]目标跟踪就是在连续的视频序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力和特征融合的分割与跟踪方法，其特征在于：包括以下步骤：步骤1、构建基于SiamMask的基础分割和跟踪框架；步骤2、添加混合注意力模块；步骤3、加入特征融合；步骤4、模型训练，将样本图片输入到孪生网络中进行训练，训练过程是离线进行的；步骤5、模型测试。2.根据权利要求1所述的一种基于注意力和特征融合的分割与跟踪方法，其特征在于：所述步骤1中，包括孪生子网络、特征提取网络ResNet
‑
50、深度可分离卷积的互相关操作层、输出的三分支；其中孪生子网络层用于衡量两个输入的相似程度，ResNet
‑
50层、深度可分离卷积的互相关操作层用于产生多个候选窗口响应特征，输出的三个分支为掩膜分支，包围盒分支，评分分支。3.根据权利要求1所述的一种基于注意力和特征融合的分割与跟踪方法，其特征在于：所述步骤2中添加混合注意力模块包括通道注意力和空间注意力，其中，两个注意力模块并联，输入在分别通过通道注意力和空间注意力模块后相加，得到更为精准校准的特征图；通道注意力：将特征图通过全局平均池化方法将[C，H，W]变为[C，1，1]然后使用两个1
×1×
1卷积进行信息处理，得到C维的向量再使用sigmoid函数进行归一化，得到对应的mask最后通过通道相乘，得到经过信息校准过的特征图；空间注意力：直接对特征图使用1
×1×
1卷积，将[C，H，W]变为[1，H，W]的特征，然后使用sigmoid进行激活得到空间注意力图，最后直接施加到原始特征图中，完成空间的信息校准。4.根据权利要求1所述的一种基于注意力和特征融合的分割与跟踪方法，其特征在于：所述步骤3中，为了加强主干网络CNN特征表达，模型设计分为三部分；自底向上的结构，自顶向下的结构，横向连接的结构。针对特征提取网络ResNet
‑
50只使用了前四阶段，且在第四阶段的第一层卷积中使用了膨胀率为2的空洞卷积核，改进了特征融合策略，将ResNet卷积块conv2，conv3，conv4的输出定义为{C2，C3，C4}，其中输出的特征图的尺寸不变的层，归为一个stage，每个stage的最后一层输出的特征被抽取出来，经过下采样使输出分别为原图的{1/4，1/8，1/16}倍，然后与自顶向下经过上采样生成的特征图通过横向连接进行融合，最后经过3*3的卷积进行处理得到输出P2，P3，P4。5.根据权利要求1所述的一种基于注意力和特征融合的分割与跟踪方法，其特征在于：所述步骤4模型训练包括下列步骤：S1、将样本图片输入到孪生网络中进...

【专利技术属性】
技术研发人员：黄丹丹，胡力洲，刘智，陈广秋，杨明婷，于斯宇，郝文豪，王一雯，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：