【技术实现步骤摘要】
本专利技术属于计算机视觉图像处理领域，具体涉及一种行人重识别时提取注意力特征图的方法。
技术介绍
1、进入新世纪以来，社会公共安全问题越来越受到人们的重视。视觉系统被广泛应用于各种公共场所，而监控视频里面最重要的关注对象就是行人，识别特定行人对于违章判断、刑事侦查、智慧城市以及相册分类等都有着非常重要的意义，因此行人重识别(reid)近几年在学界受到了非常广泛的关注。
2、但是由于不同摄像设备之间的差异，同时行人兼具刚性和柔性的特性，外观易受穿着、遮挡、姿态和视角等不确定因素影响，使得行人重识别问题成为一个十分有挑战性的课题。为了尽可能地提高准确度，一些研究者做了很多工作，这些工作基本上可以分为基于姿态变换的、基于属性网络的、基于分块的。基于姿态变换的和基于属性网络的方法来提取行人特征需要额外训练网络，并且需要占用大量gpu内存，其效率往往比较低下；而基于水平分块来提取局部特征的这种方式虽然比较高效，但是这种简单的分块往往不能解决那些姿态错位和不对齐的问题。
技术实现思路
1、本专利技术的目的是针对现有技术中存在的问题，提供了一种基于多层次注意力模型的行人重识别方法，能提取更加鲁棒性的注意力特征图，使得检索度更加准确。
2、技术方案如下：
3、一种行人重识别时提取注意力特征图的方法，包括如下步骤：
4、步骤1：获取行人图片f；
5、步骤2：在卷积神经网络最后一个layer层嵌入一个自相关注意力模块(self-relevan
6、步骤3：将行人图片f输入卷积神经网络，经过各layer层的并行组合注意力模块和自相关注意力模块的处理；
7、步骤4：计算交叉熵损失lid、难样本挖掘三元组(triplet)损失lt和中心损失lc，并将三个损失函数混合获得最终损失l；
8、步骤5：使用最终损失函数优化神经网络模型，计算平均准确率(map)和cmc曲线，获得最终提取的注意力特征图。
9、进一步的，并行组合注意力模块中设置有呈并行结构的通道注意力模块(channelattention module,cam)和空间注意力模块(spatial attention module,sam)，通道注意力模块中设置有一个主要用于减少参数冗余计算，防止特征图退化的共享全连接网络模块(shared fully connected module,sfcm)，在空间注意力模块中，设置了一个最大池化层、一个水平池化层和一个7×7的卷积层。
10、更进一步的，共享全连接网络由两个全连接层组成。
11、更进一步的，步骤3中卷积神经网络对行人图片f的处理包括如下步骤：
12、步骤31：对行人图片f进行全局平均池化和最大池化操作，生成两个不同的空间特征图和
13、步骤32：将和送入共享全连接网络模块生成通道注意力其中w0∈rc/r×c,w1∈rc×c/r，b0∈rc/r，b1∈rc；
14、步骤33：空间注意力模块利用1×1的卷积将特征f∈rc×h×w降维到rc/r×h×w，在通道维度进行压缩和集成，然后沿通道方向应用平均池化和最大池化操作得到两个特征图并将他们拼接起来生成一个更加有效的特征，之后再进行卷积操作，根据公式得到二维的空间注意力；
15、步骤34：根据公式m(f)＝σ(mc(f)+ms(f))得到注意力特征m(f)，其中σ为sigmoid激活函数，两个分支在相加之前都被调整大小为rc×h×w；
16、步骤35：将注意力特征m(f)与输入的图片f同位素元素相乘，然后将其添加到原始输入图片f上，得到特征图
17、步骤36：将特征图f'输入自相关注意力模块输出为a，最终得到特征图
18、再进一步的，步骤35中，自相关注意力模块对于给定的3维特征图rc×h×w展开使其成为rc×hw，然后将每个空间位置上的c维特征向量作为一个特征节点，为空间位置赋予编号为1,2...n(n＝hw)，将n个特征节点表示为xi∈rc，其中i＝1,2...n，得到节点i到节点j的亲和矩阵：ri,j＝f(xi)tξ(xj)，ri.j∈rhw×hw，其中f和ξ代表激活函数，同样得到节点j到节点i的亲和矩阵rj,i，再将得到的亲和矩阵改变维度，使其改变成维度为rhw×h×w，最后让两者拼接再经过1×1的卷积核降低维度，输出特征a。
19、进一步的，步骤4中交叉熵损失计算式为：其中m为类别的数量，yic为软标签其值在(0，1)之间，pic为样本i属于类别c的预测概率；难样本挖掘三元组损失计算式为：其中p代表行人的数量，k代表每个行人拥有k张照片，da，p，da，n分别代表样本图片与正样本和负样本的特征距离，取特征距离最大正样本对和特征距离最小的负样本对，α代表偏置常数，α设置为0.3；中心损失计算式为：其中cyi表示第yi个类别的特征中心，xi表示全连接层之前的特征。m表示batch的大小；最终的损失函数计算式为：l＝lid+lt+βlc，其中β为中心损失的权重。
20、更进一步的，β取值为0.0001-0.001。
21、有益效果：
22、1)本专利技术通过由通道注意力模块和空间注意力模块组合成并行组合注意力模块,并增加了一个全连接共享模块，不仅减少了参数的运算，还能获得了更加鲁棒的注意力特征图。
23、2)设置的自相关注意力模块，能更加专注于各个特征节点之间的关联并对全局的结构信息进行建模，与并行注意力模块相互补充，并且共同有助于行人重识别。
24、3)两个注意力模块可以嵌入到任何卷积神经网络。
25、4)设计多层次注意力网络，联合多个损失优化网络，使其网络模型更加鲁棒，实验准确度大幅提升。
本文档来自技高网...【技术保护点】
1.一种行人重识别时提取注意力特征图的方法，其特征在于：包括如下步骤：
2.如权利要求1所述的一种行人重识别时提取注意力特征图的方法，其特征在于：所述的并行组合注意力模块中设置有呈并行结构的通道注意力模块和空间注意力模块，通道注意力模块中设置有一个共享全连接网络模块，在空间注意力模块中，设置了一个最大池化层、一个水平池化层和一个7×7的卷积层。
3.如权利要求2所述的一种行人重识别时提取注意力特征图的方法，其特征在于：所述的共享全连接网络由两个全连接层组成。
4.如权利要求2所述的一种行人重识别时提取注意力特征图的方法，其特征在于：所述的步骤3中卷积神经网络对行人图片F的处理包括如下步骤：
5.如权利要求4所述的一种行人重识别时提取注意力特征图的方法，其特征在于：步骤35中，自相关注意力模块对于给定的3维特征图RC×H×W展开使其成为RC×HW，然后将每个空间位置上的c维特征向量作为一个特征节点，为空间位置赋予编号为1,2...N(N＝HW)，将N个特征节点表示为xi∈RC，其中i＝1,2...N，得到节点i到节点j的亲和矩阵：ri
6.如权利要求1所述的一种行人重识别时提取注意力特征图的方法，其特征在于：所述的步骤4中交叉熵损失计算式为：其中M为类别的数量，yic为软标签其值在(0，1)之间，pic为样本i属于类别c的预测概率；难样本挖掘三元组损失计算式为：其中p代表行人的数量，k代表每个行人拥有k张照片，da，p，da，n分别代表样本图片与正样本和负样本的特征距离，取特征距离最大正样本对和特征距离最小的负样本对，α代表偏置常数，α设置为0.3；中心损失计算式为：其中cyi表示第yi个类别的特征中心，xi表示全连接层之前的特征。m表示batch的大小；最终的损失函数计算式为：L＝LID+LT+βLC，其中β为中心损失的权重。
7.如权利要求6所述的一种行人重识别时提取注意力特征图的方法，其特征在于：所述的β取值为0.0001-0.001。
...【技术特征摘要】
1.一种行人重识别时提取注意力特征图的方法，其特征在于：包括如下步骤：
2.如权利要求1所述的一种行人重识别时提取注意力特征图的方法，其特征在于：所述的并行组合注意力模块中设置有呈并行结构的通道注意力模块和空间注意力模块，通道注意力模块中设置有一个共享全连接网络模块，在空间注意力模块中，设置了一个最大池化层、一个水平池化层和一个7×7的卷积层。
3.如权利要求2所述的一种行人重识别时提取注意力特征图的方法，其特征在于：所述的共享全连接网络由两个全连接层组成。
4.如权利要求2所述的一种行人重识别时提取注意力特征图的方法，其特征在于：所述的步骤3中卷积神经网络对行人图片f的处理包括如下步骤：
5.如权利要求4所述的一种行人重识别时提取注意力特征图的方法，其特征在于：步骤35中，自相关注意力模块对于给定的3维特征图rc×h×w展开使其成为rc×hw，然后将每个空间位置上的c维特征向量作为一个特征节点，为空间位置赋予编号为1,2...n(n＝hw)，将n个特征节点表示为xi∈rc，其中i＝1,2...n，得到节点i到节点j的亲和矩阵...
【专利技术属性】
技术研发人员：魏丹，梁丹阳，王兆强，罗素云，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。