【技术实现步骤摘要】
本专利技术涉及计算机视觉与图像处理领域，特别是涉及一种基于卷积和注意力相结合的轻量级特征提取网络的目标跟踪方法及系统。
技术介绍
1、目标跟踪是计算机视觉中的一个重要研究方向，其目的是在给定被跟踪对象初始状态的情况下估计视频序列中的对象位置。目前，目标跟踪广泛应用于视觉定位、自动驾驶系统以及智能城市等视觉领域。尽管目标跟踪已经取得了众多成果，但是目标跟踪任务仍然面临一些问题，例如，光照变化、尺度变化、背景干扰、物体遮挡、运动与模糊等因素，现有方法的效果仍未达到理想状态，设计高精度跟踪器仍然是一项具有挑战性的任务。
2、卷积神经网络与注意力是目标跟踪中的两种主要技术，在特征学习方面具有优越的性能。卷积神经网络通过邻域卷积运算，可有效地从相关特征图中提取局部信息。但是，卷积神经网络有限的感受野导致难以捕获全局依赖性。注意力机制使用图像块作为输入表示，并对输入特征的上下文应用加权平均运算，可以有效的捕捉全局信息，但是对相邻图像块之间盲相似性匹配可能会导致高冗余。
3、基于卷积神经网络与基于注意力的跟踪器是两种不同的方法，但都实现了较好的跟踪性能。具体来说，一些跟踪器利用卷积神经网络作为特征提取网络提取模板分支和搜索分支的特征，然后通过基于注意力的特征融合网络计算特征的相似度分数，从而进行跟踪。其他一些跟踪器，利用基于注意力的变换器分别作为特征提取网络和特征融合网络，实现了高性能的跟踪。但是，一般基于注意力的变换器网络的模型较大，会影响跟踪的性能和速度。因此，本专利技术提出一种基于卷积和注意力相结合特征提取的目标
技术实现思路
1、本专利技术的目的是提供一种基于卷积和注意力相结合特征提取的目标跟踪方法及系统，可通过卷积和注意力相结合的轻量级特征提取网络提升目标跟踪效率和准确性。
2、为实现上述目的，本专利技术提供了如下方案：
3、一种基于卷积和注意力相结合特征提取的目标跟踪方法，包括：
4、对给定的第一帧图像以及每一后续帧图像中的搜索区域分别进行初始化，得到所述第一帧图像对应的目标模板图像和每一所述后续帧图像对应的搜索图像；
5、构建特征提取网络；所述特征提取网络包括两个结构相同的特征提取子网络；两个所述特征提取子网络分别用于对所述目标模板图像和搜索图像进行特征提取；所述特征提取子网络包括卷积模块、依次串联连接的多个分层特征模块和第一完全连接层；多个所述分层特征模块依次记为第一分层特征模块，第二分层特征模块，...，第m分层特征模块；所述卷积模块的输入为所述第一帧图像或每一所述后续帧图像，所述卷积模块的输出为所述第一分层特征模块的输入，所述第m分层特征模块的输出为所述第一完全连接层的输入，所述第一完全连接层的输出为所述特征提取网络提取出的特征；每一所述分层特征模块包括层归一化分支、全局分支、局部分支和融合分支；所述层归一化分支的输入为所述卷积模块的输出；所述层归一化分支的输出分别为所述全局分支的输入和所述局部分支的输入；所述全局分支用于采用自注意力操作提取全局信息；所述局部分支用于采用注意力和卷积相结合的操作提取局部信息；所述融合分支用于对全局分支输出的所述全局信息和所述局部分支输出的所述局部信息进行融合；
6、将所述目标模板图像和每一所述搜索图像分别应用各自的所述特征提取子网络进行特征提取，得出目标模板图像提取特征和搜索图像提取特征；
7、将所述目标模板图像提取特征输入至跟踪模型，并对每一所述搜索图像提取特征分别与所述跟踪模型输出的结果进行卷积操作，获得每一所述后续帧图像中搜索区域的目标响应位置。
8、可选的，将所述目标模板图像和每一所述搜索图像分别应用各自的所述特征提取子网络进行特征提取，具体包括：
9、对所述目标模板图像和所述搜索图像分别切割成多个块，得到切割后的目标模板图像和切割后的搜索图像；所述切割后的目标模板图像中的块和所述切割后的搜索图像中的块重叠；
10、对待处理图像利用所述卷积模块进行卷积处理，得到卷积后特征；所述待处理图像为所述切割后的目标模板图像或所述切割后的搜索图像；
11、将第m-1分层特征模块输出的特征输入至第m分层特征模块的所述层归一化分支，得出归一化特征；
12、将所述归一化特征输入至所述第m分层特征的所述全局分支，得到所述全局信息；
13、将所述归一化特征输入至所述第m分层特征的所述局部分支，得到所述局部信息；
14、将所述全局信息和所述局部信息经所述第m分层特征的所述融合分支，得到融合特征；m＝1，2，...，m；当m＝1时，所述第m-1分层特征模块输出的特征为所述卷积后特征；
15、判断m是否等于m；若否，则令m＝m+1，并返回步骤“将第m-1分层特征模块输出的特征输入至第m分层特征模块的所述层归一化分支”；若是，则将所述第m分层特征模块输出的特征输入至所述第一完全连接层，得到所述目标模板图像提取特征或所述搜索图像提取特征；当所述待处理图像为所述切割后的目标模板图像时，则所述第一完全连接层输出的是所述目标模板图像提取特征；当所述待处理图像为所述切割后的搜索图像时，则所述第一完全连接层输出的是所述搜索图像提取特征。
16、可选的，将所述归一化特征输入至所述第m分层特征的所述全局分支，得到所述全局信息，具体包括：
17、对所述归一化特征执行线性变换操作，得到三个特征图，分别记为全局的查询q、全局的键k和全局的值v；
18、对所述全局的键k和所述全局的值v执行下采样操作；
19、对所述全局的查询q、下采样后的键k和下采样后的值v直线标准注意力操作，得到所述全局信息。
20、可选的，将所述归一化特征输入至所述第m分层特征的所述局部分支，得到所述局部信息，具体包括：
21、对所述归一化特征执行线性变换操作，得到三个特征图，分别记为局部的查询q、局部的键k和局部的值v；
22、对所述局部的查询q、所述局部的键k和所述局部的值v分别执行权重全局共享的深度卷积操作，得出查询q局部聚合特征、键k局部聚合特征和值v局部聚合特征；
23、对所述查询q局部聚合特征和所述键k局部聚合特征执行hardmard乘积运算，得到乘积运算结果；
24、对所述乘积运算结果依次经过第二完全连接层、第一激活层、第二完全连接层和第二激活层，得到上下文感知信息；
25、对所述上下文感知信息和所述值v局部聚合特征执行hardmard乘积运算，得到所述局部信息。
26、可选的，将所述全局信息和所述局部信息经所述第m分层特征的所述融合分支，得到融合特征，具体包括：
27、将所述全局信息和所述局部信息执行级联操作，得到级联后特征；
28、将所述级联后特征经过第四完全连接层，得到所述融合特征。
29、本专利技术提供一种基于卷积和注意力相结合特征提取的目标跟踪系统，包括：
3本文档来自技高网...
【技术保护点】
1.一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，包括：
2.根据权利要求1所述的一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，将所述目标模板图像和每一所述搜索图像分别应用各自的所述特征提取子网络进行特征提取，具体包括：
3.根据权利要求2所述的一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，将所述归一化特征输入至所述第m分层特征的所述全局分支，得到所述全局信息，具体包括：
4.根据权利要求2所述的一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，将所述归一化特征输入至所述第m分层特征的所述局部分支，得到所述局部信息，具体包括：
5.根据权利要求1所述的一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，将所述全局信息和所述局部信息经所述第m分层特征的所述融合分支，得到融合特征，具体包括：
6.一种基于卷积和注意力相结合特征提取的目标跟踪系统，其特征在于，包括：
7.根据权利要求6所述的一种基于卷积和注意力相结合特征提取的目标跟踪系统，其特征
8.根据权利要求7所述的一种基于卷积和注意力相结合特征提取的目标跟踪系统，其特征在于，所述全局特征提取单元具体包括：
9.根据权利要求7所述的一种基于卷积和注意力相结合特征提取的目标跟踪系统，其特征在于，所述局部特征提取单元具体包括：
10.根据权利要求6所述的一种基于卷积和注意力相结合特征提取的目标跟踪系统，其特征在于，所述特征融合单元具体包括：
...【技术特征摘要】
1.一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，包括：
2.根据权利要求1所述的一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，将所述目标模板图像和每一所述搜索图像分别应用各自的所述特征提取子网络进行特征提取，具体包括：
3.根据权利要求2所述的一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，将所述归一化特征输入至所述第m分层特征的所述全局分支，得到所述全局信息，具体包括：
4.根据权利要求2所述的一种基于卷积和注意力相结合特征提取的目标跟踪方法，其特征在于，将所述归一化特征输入至所述第m分层特征的所述局部分支，得到所述局部信息，具体包括：
5.根据权利要求1所述的一种基于卷积和注意力相结合特征提取的目标跟...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。