当前位置: 首页 > 专利查询>河南大学专利>正文

一种基于深度主动学习和模型压缩的行人重识别方法技术

技术编号:36600947 阅读:20 留言:0更新日期:2023-02-04 18:15
本发明专利技术涉及图像处理技术领域,具体涉及一种基于深度主动学习和模型压缩的行人重识别方法;采用基于主动学习的行人重识别策略得到样本并对其进行标注,将标注过的样本送入ResNet101网络中进行训练,得到训练好的网络模型;采用基于知识蒸馏的模型压缩方法对训练好的网络模型进行压缩;获取行人Re

【技术实现步骤摘要】
一种基于深度主动学习和模型压缩的行人重识别方法


[0001]本专利技术涉及图像处理
,具体涉及一种基于深度主动学习和模型压缩的行人重识别方法。

技术介绍

[0002]行人重识别(re

identification,Re

ID)旨在判断来自不同场景和不同摄像头中的行人是否一致,在安全监控、行人搜索和刑事调查等领域具有重要意义。近年来,基于深度学习的行人Re

ID方法已经有了很大进步并具有较高的性能;其中,监督类的行人Re

ID方法在训练模型前,大多需要先收集同一行人在不同摄像头下的一对图像,然后人工地对每一对图像标注ID,进而获得数据集;基于此方法获得的数据集使得一些监督类的行人Re

ID方法取得了不错的效果。
[0003]然而,在实际应用中,一些较为前沿的监督类方法很难直接应用,其原因有两方面,一方面,通过摄像头收集的行人图像数据量很大,制作完整标注的成本较高。另一方面,即使完成了对大量行人图像的标注任务,监督类方法需要对所有数据集进行训练才能达到一定效果,当使用的数据集较小时,深度学习的优势会减弱,此外,监督类方法无区分地对待所有图像,没有探究图像中的固有信息。为了解决这些困难,研究者开始关注无监督和半监督方法;但是,与基于监督学习的方法相比,基于无监督和半监督学习的行人Re

ID模型本质上较弱,在实际的应用中会影响行人Re

ID的性能,在此情况下,主动学习提供了一种有效选择样本集进行标注的方法。与以上方法不同的是,在主动学习设置中,算法可以选择要标注的样本,使训练出的模型性能较高。
[0004]采用主动学习算法选择最有信息量的训练数据去优化深度模型,从而在不需要大量额外数据标注的前提下,使深度模型经过学习后具备较高的性能;与监督类学习方法不同的是,主动学习选择出最有信息量的样本传输给一位或多位人类标注者,由他们进行样本标注;这个过程最关键的部分是决定哪些样本更加具有信息量,更加值得传输给人类标注者进行标注。
[0005]过去,不同的选择方法已经在多种计算机视觉任务中发展起来,例如分类、识别和目标检测。最近,也有一些利用主动学习结合深度学习模型进行行人Re

ID的工作,但是目前所提供的方法仍然存在两方面的问题,一个问题是,这些方法使用模型的置信度分数作为样本选择的依据,然而模型在训练前期的可信度较低,所以采用这些方法选择的样本并不一定是最具有信息量的;另一个问题是,他们采用的深度学习模型的规模较大,不利于在实际应用中的部署和推广。

技术实现思路

[0006]为了解决上述中深度学习模型的规模较大,不利于在实际应用中的部署和推广的技术问题,本专利技术的目的在于提供一种基于深度主动学习和模型压缩的行人重识别方法,所采用的技术方案具体如下:
[0007]收集多个来自摄像头a和摄像头b在不同时间不同地点拍摄到的同一行人图像,并组成图像数据集;
[0008]将ResNet101结构作为行人Re

ID网络模型的主干网络,利用主干网络提取行人图像特征;所述网络模型的损失函数为交叉熵损失函数;
[0009]采用基于主动学习的行人重识别策略首先从一个大小为S的小型预热行人图像集合开始,利用网络模型和查询函数ψ(U,S,γ(
·
)),获取S个行人图像集;并对S个行人图像集人工标注标签;然后从无标签的数据集U中移除S个行人图像集;重复上述过程,直到网络模型达到标准性能或数据用尽时停止;其中,γ(
·
)为查询策略;S大于1;
[0010]在每次迭代过程中,具有梯度嵌入计算和采样计算两种计算过程;在计算梯度嵌入过程中,根据网络模型对预测出的类别的确定度,决定网络模型最后一层的梯度嵌入的范数大小;
[0011]在计算梯度嵌入之后,采用k

means++算法聚类出大小为S的一批样本进行标注,并将其送入ResNet101网络中进行训练,得到训练好的网络模型;
[0012]采用基于知识蒸馏的模型压缩方法对所述训练好的网络模型进行压缩,首先给定一个初始学生模型和一个在行人Re

ID数据集中训练过的教师模型;其中,在训练学生模型时,冻结教师模型,采用双流方式循环地将教师模型的知识传递给学生模型;同时,监督知识传递过程中的传递进度和传递方向;
[0013]获取行人Re

ID网络模型的特征输出,根据特征间的局部L2范数,得到特征信息传递差距的特征蒸馏损失;
[0014]将所述特征蒸馏损失加入学生模型,得到学生模型的总体损失。
[0015]优选的,将所述网络模型最后一层的梯度记为则:
[0016][0017]其中,为网络模型最后一层的梯度;L
reid
为交叉熵损失函数;W为网络模型最后一层的权重;f(x;θ)为网络模型的表达式,表达式中θ为网络模型的权重参数,x为行人图像;y为行人图像x的真实标签。
[0018]优选的,所述传递方向为:
[0019][0020]其中,L
logit
为知识传递的传递方向,l
s
为学生模型的逻辑输出,l
t
为教师模型的逻辑输出,D
KL
为教师模型与学生模型之间的KL散度。
[0021]优选的,所述特征间的局部L2范数为:
[0022][0023]其中,d
f
(T,S)为特征间的局部L2范数,T为教师模型的特征向量,S为学生模型的特征向量,T
i
为教师模型特征向量的第i个分量,S
i
是学生模型特征向量的第i个分量;d
f
为代表局部L2范数的符号;W为行人图像的宽度,H为行人图像的高度,C为行人图像的通道数。
[0024]优选的,所述特征蒸馏损失为:
[0025]L
overhaul
=d
f
(σ(f
t
),r(f
s
))
[0026]其中,L
overhaul
为特征蒸馏损失;f
t
为教师模型输出的特征;f
s
为学生模型输出的特征;σ(
·
)为非线性函数,r(
·
)为回归器;d
f
为代表局部L2范数的符号。
[0027]优选的,所述总体损失为:
[0028]L
kd
=L
logit
+αL
overhaul
+L
reid
[0029]其中,L
kd
为总体损失,L
logit
为知识传递的传递方向,L
overhaul
为特征蒸馏损失;L
reid...

【技术保护点】

【技术特征摘要】
1.一种基于深度主动学习和模型压缩的行人重识别方法,其特征在于,该方法包括以下步骤:收集多个来自摄像头a和摄像头b在不同时间不同地点拍摄到的同一行人图像,并组成图像数据集;将ResNet101结构作为行人Re

ID网络模型的主干网络,利用主干网络提取行人图像特征;所述网络模型的损失函数为交叉熵损失函数;采用基于主动学习的行人重识别策略首先从一个大小为S的小型预热行人图像集合开始,利用网络模型和查询函数ψ(U,S,γ(
·
)),获取S个行人图像集;并对S个行人图像集人工标注标签;然后从无标签的数据集U中移除S个行人图像集;重复上述过程,直到网络模型达到标准性能或数据用尽时停止;其中,γ(
·
)为查询策略;S大于1;在每次迭代过程中,具有梯度嵌入计算和采样计算两种计算过程;在计算梯度嵌入过程中,根据网络模型对预测出的类别的确定度,决定网络模型最后一层的梯度嵌入的范数大小;在计算梯度嵌入之后,采用k

means++算法聚类出大小为S的一批样本进行标注,并将其送入ResNet101网络中进行训练,得到训练好的网络模型;采用基于知识蒸馏的模型压缩方法对所述训练好的网络模型进行压缩,首先给定一个初始学生模型和一个在行人Re

ID数据集中训练过的教师模型;其中,在训练学生模型时,冻结教师模型,采用双流方式循环地将教师模型的知识传递给学生模型;同时,监督知识传递过程中的传递进度和传递方向;获取行人Re

ID网络模型的特征输出,根据特征间的局部L2范数,得到特征信息传递差距的特征蒸馏损失;将所述特征蒸馏损失加入学生模型,得到学生模型的总体损失。2.根据权利要求1所述的一种基于深度主动学习和模型压缩的行人重识别方法,其特征在于,将所述网络模型最后一层的梯度记为则:其中,为网络模型最后一层的梯度;L
reid
为交叉熵损失函数;W为网络模型最后一层的权重;f(x;θ)为网络模型的表达式,表达式中θ为网络模型的权重参数,x为行人图像;y为行人图像x的真实标签。3.根据权利要求1所述的一种基于深度主动学习和模型压缩...

【专利技术属性】
技术研发人员:付春玲侯巍郑文奎
申请(专利权)人:河南大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1