一种基于改进的多尺度困难三元组损失函数的行人重识别方法技术

技术编号:39793565 阅读:16 留言:0更新日期:2023-12-22 02:28
本发明专利技术属于计算机视觉领域,尤其涉及行人重识别领域

【技术实现步骤摘要】
一种基于改进的多尺度困难三元组损失函数的行人重识别方法


[0001]本专利技术属于计算机视觉
,尤其涉及行人重识别领域


技术介绍

[0002]行人重识别是在两个空间上无重叠的监控摄像头下判断图像或者视频序列中是否存在特定行人的技术

行人重识别是目前计算机视觉中比较热门的领域,在许多方向都有着很广泛的应用,比如自动驾驶

智慧交通和智能安防等领域

随着人工智能的深入发展,行人重识别方法也从基于传统机器学习方法为主逐渐过渡到了如今的深度学习方法

目前针对行人重识别任务的主要方法有基于表征学习的行人重识别方法

基于度量学习的行人重识别方法以及基于局部分割的行人重识别方法等,取得了较好的识别效果

但在网络训练过程中,经常会遇到不能对困难正负样本对进行有效在线挖掘的问题,即在进行相似性距离度量的时候,会出现同一个
ID
之间的距离大于不同
ID
之间的距离较小的情况
(
类内距离大于类间距离
)
,模型会错误地将负样本视为同一个
ID
的正样本

尤其是这种情况严重时,网络模型的性能下降明显

因此,通过设计一种行人重识别方法,能够更好的改善这种问题,进而更高效地检索特定行人目标,对于提升模型的总体性能有着非常重要的意义


技术实现思路

[0003](<br/>一
)
解决的技术问题:
[0004]目前针对行人重识别任务的主要方法有基于表征学习的行人重识别方法

基于度量学习的行人重识别方法以及基于局部分割的行人重识别方法等,取得了较好的识别效果

但在网络训练过程中,经常会遇到不能对困难正负样本对进行有效在线挖掘的问题,即在进行相似性距离度量的时候,会出现同一个
ID
之间距离大于不同
ID
之间距离的情况
(
类内距离大于类间距离
)
,模型会错误地将负样本视为同一个
ID
的正样本

尤其是这种情况严重时,网络模型的性能下降明显

[0005](

)
技术方案:
[0006]为实现以上目的,本专利技术提出了一种基于改进的多尺度困难三元组损失函数的行人重识别方法,该方法的原理图如附图1所示,该方法的具体做法如下:
[0007]首先,在基础特征获取阶段,模型采用
ResNeSt50

conv1、conv2_x、conv3_x、conv4_x(x
表示该层子序列的统称
)
等模块作为特征获取网络,其中
conv2_x、conv3_x

conv4_x
分别包含
3、4
和6个
Bottleneck
,每一个
Bottleneck
的第二层卷积网络模块都在
ResNet50
的基础上将
Conv2d
模块替换成了
SplAtConv2d
模块,
SplAtConv2d
模块中包括三组
conv2d
,卷积核分别为3×3,1×1,1×
1。
其中低尺度特征空间参与距离计算的行人样本特征来自主干网络
conv3_x
提取得到的特征,中尺度特征空间参与距离计算的行人样本特征来自主干网络
conv4_x
提取得到的特征,高尺度特征空间参与距离计算的行人样本特征来自主干网络
conv5_x
提取得到的特征

在对行人
ID
进行分类时采用了加入标签平滑正则化
的交叉熵损失函数,进行相似度度量优化而采用的损失函数是本专利技术提出的多尺度困难三元组损失函数

最后采用损失平衡加权的策略对两个损失函数进行联合优化,以达到对特定
ID
的行人检索的目的

该方法的原理图见附图
1。
[0008]其中本专利技术所提出的多尺度困难三元组损失函数原理如下:
[0009]本专利技术要求针对设定的低



高三种不同尺度的特征空间,锚样本分别对应有不同尺度下的正负样本其中低尺度特征空间参与距离计算的行人样本特征来自主干网络
conv3_x
提取得到的特征,中尺度特征空间参与距离计算的行人样本特征来自主干网络
conv4_x
提取得到的特征,高尺度特征空间参与距离计算的行人样本特征来自主干网络
conv5_x
提取得到的特征

[0010]则一个批次
P
×
K
个样本共同组成3×
P
×
K
个样本对个样本对定义三个尺度特征空间的距离函数分别为
D
L
(
·
)

D
M
(
·
)

D
H
(
·
)
,对三个尺度特征空间分别求平均距离

[0011]以
d
L
代表低尺度空间的平均距离,计算如下:
[0012][0013]以
d
M
代表中尺度空间的平均距离,计算如下:
[0014][0015][0016]以
d
H
代表高尺度空间的平均距离,计算如下:
[0017][0018]接下来计算各个尺度特征空间对应的经过归一化操作的距离,即利用各个尺度空间对应样本的距离再除以各自对应的平均距离,这样方便在进行数值比较的时候能够规范统一尺度

[0019]以
d

L
代表对应样本的低尺度空间的归一化距离,计算如下:
[0020][0021]以
d

M
代表对应样本的中尺度空间的归一化距离,计算如下:
[0022][0023]以
d

H
代表代表对应样本的高尺度空间的归一化距离,计算如下:
[0024][0025]通过比较
d

L
、d

M

d

H
的数值大小,挑选出数值最小的一组作为困难正负样本,分别记作和并计算对应尺度的损失值

遍历完
P
×
K
个样本,重复
(4)

(6)...

【技术保护点】

【技术特征摘要】
1.
一种基于改进的多尺度困难三元组损失函数的行人重识别方法,其特征在于,具体实现步骤如下:步骤
S1
:对行人数据集进行数据预处理操作,包括数据增强和数据标准化等操作,其中数据增强包括随机大小剪裁

转置

水平翻转

垂直翻转

随机仿射变换

标准化

步骤
S2
:将预处理后的图片数据输入到
ImageNet
上的
ResNeSt50
预训练模型中进行训练,提取具有一定语义信息的行人特征

步骤
S3
:针对设定的低



高三种不同尺度的特征空间,锚样本分别对应有不同尺度下的正负样本其中低尺度特征空间参与距离计算的行人样本特征来自主干网络
conv3_x
提取得到的特征,中尺度特征空间参与距离计算的行人样本特征来自主干网络
conv4_x
提取得到的特征,高尺度特征空间参与距离计算的行人样本特征来自主干网络
conv5_x
提取得到的特征

步骤
S4
:则一个批次
P
×
K
个样本共同组成3×
P
×
K
个样本对个样本对定义三个尺度特征空间的距离函数分别为
D
L
(
·
)

D
M
(
·
)

D
H
(
·
)
,对三个尺度特征空间分别求平均距离

步骤
S5
:以
d
L
代表低尺度空间的平均距离,计算如下:步骤
S6
:以
d
M
代表中尺度空间的平均距离,计算如下:步骤
S7
:以
d
H
代表高尺度空间的平均距离,计算如下:代表高尺度空间的平均距离,计算如下:步骤
S8
:接下来计算各个尺度特征空间对应的经过归一化操作的距离,即利用各个尺度空间对应样本的距离再除以各自对应的平均距离,这样方便在进行数值比较的时候能够规范统一尺度

步骤
S9
:以
d

L
代表对应样本的低尺度空间的归一化距离,计算如下:
步骤
S10
:以
d

M
代表对应样本的中尺度空间的归一化距离,计算如下:步骤
S11
:以
d

H
代表代表对应样本的高尺度空间的归一化距离,计算如下:步骤
S12
:如附图图1所示,通过比较
d

L
、d

M

d

H
的数值大小,挑选出数值最小的一组作为困难正负样本,分别记作和并计算对应尺度的损失值

遍历完
P
×
K
个样本,重复步骤...

【专利技术属性】
技术研发人员:马永军曾鑫
申请(专利权)人:天津科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1