基于知识更新和知识整合的终身学习行人再识别方法技术

本发明专利技术公开了一种基于知识更新和知识整合的终身学习行人再识别方法和装置，具体将终身学习中任务学习过程分为知识回放，知识更新和知识整合三个阶段。知识回放接收本地任务数据和缓冲区任务数据，借助记忆模型产生的伪标签维护工作模型。与此同时，工作模型产生的响应传递到记忆模型自我更新，从而生成更优质的伪标签。这两种模式交替更新模型参数，实现双向的信息传递。任务训练结束后，进入知识整合阶段。在模型层面，本发明专利技术设计了一种滑动平均的方法实现工作和记忆模型的整合，以促进下一阶段的部署训练。在测试阶段，本发明专利技术提供了一种特征空间的整合以提升在可见和不可见域预测结果的泛化性。测结果的泛化性。测结果的泛化性。

【技术实现步骤摘要】
基于知识更新和知识整合的终身学习行人再识别方法


[0001]本专利技术涉及一种面向终身学习的行人再识别方法，属于深度学习、计算机视觉领域。

技术介绍

[0002]深度学习已经被广泛运用到人工智能应用，并深度赋能计算机视觉等领域。随着监控安防、智慧城市、无人驾驶等方向的日益发展和成熟，行人再识别逐渐成为一项关键技术。行人再识别旨在从不同相机捕获到的行人队列中找出相同身份的行人。行人图片中可能存在较大的扰动(遮挡，姿态变化，相机视角等)是行人再识别任务的主要挑战。
[0003]当前深度学习主导下的行人再识别任务在训练过程中遵循训练集独立同分布的假设，然而出于现实应用的需求和数据集隐私的保护，面向终身学习的行人再识别克服了原有设定的局限，能可持续地从不同分布的数据集中获得知识，最终学习到具有抗遗忘能力和强泛化能力的行人再识别模型。
[0004]评价终身学习模型的学习能力，一般分为两个角度：正向迁移和反向迁移。现有的终身学习方法使用蒸馏、重演和参数正则化等技术减少负的反向迁移，即避免模型的灾难性遗忘。这些方法存在以下缺陷：1)保持了模型的稳定性(stability)，但是降低了模型的可塑性(plasticity)，即损害了部分新任务的性能。2)只考虑了反向迁移，缺乏对正向迁移的思考。

技术实现思路

[0005]本专利技术要解决的技术问题是：为了实现正向迁移和反向迁移，目前为止，终身学习行人再识别技术存在的主要问题为：1)分布不匹配：逐步增加的任务数据之间存在着天然的分布差异，而现有的方法在不同任务之间采用直接蒸馏的方式，忽略了这种分布差异，进而影响了前向迁移的能力，降低了模型的可塑性(plasticity)；2)表征能力不匹配：不同时刻输入的数据集，本身具有不同的规模，现有的方法将以往的模型蒸馏到当前模型，可能给出具有偏向性(bias)的监督信号，从而影响模型的泛化性。
[0006]为了解决上述技术问题，本专利技术的技术方案公开了一种基于知识更新和知识整合的终身学习行人再识别方法和装置，包括以下步骤：
[0007]步骤1：在初始任务t＝0开始阶段，t是当前任务序号，给定数据集随机采样一个批次的图片得到N
b
是批次大小，是第i张图片，并输入到基于卷积神经网络(CNN)的工作模型，进行特征提取并得到softmax预测分数q(
·
)是工作模型采用的softmax函数；
[0008]步骤2：学习工作模型对当前任务行人图片的判别性，计算基于当前批次图片的交叉熵损失函数其中是第i个预测分数的第
项数值；
[0009]步骤3：进一步在度量空间优化特征分布，对提取的当前批次特征采用三元组损失函数其中，d(
·
,
·
)代表欧式距离函数，m是设定的阈值参数，表示由工作模型提取的当前批次下第i个行人的锚点特征、正例特征和负例特征；
[0010]步骤4：结合交叉熵损失函数和三元组损失函数得到t＝0阶段的损失函数L0，并经过反向梯度传播更新网络参数，直到达到预设的迭代次数；
[0011]步骤5：对于t>0时刻的任务，学习网络里兼有记忆模型和工作模型，目标是通过记忆模型和工作模型的联合学习，提升对当前任务和之前任务的效果，提升模型整体的泛化性；
[0012]在任务t开始时，模型首先进入知识回放阶段，此时的输入为t时刻的数据集缓冲存储区M
t
用于存储0～t
‑
1时刻的所见到的部分样本及其标签，工作模型和记忆模型的学习率分别为γ、η；从和M
t
中分别随机采样一个批次的样本和分别输送到工作模型和记忆模型，输出相应的softmax预测分数，即其中，p(
·
)、q(
·
)代表以(
·
)作为输入分别经过工作模型和记忆模型所输出的预测分数；
[0013]步骤6：为了防止工作模型在旧任务上的遗忘，在预测分数层面进行知识蒸馏以解决灾难性的遗忘，记忆模型生成的预测分数被用作伪标签指导工作模型的学习，抗遗忘损失函数表示为其中，T表示蒸馏温度，SD(
·
)表示梯度分离算子，JS(
·
)表示Jesen
‑
Shannon散度；
[0014]步骤7：为了让模型更好地适应到当前任务，设计相应的适应性损失函数其中，适应性损失函数包括一个当前任务的交叉熵损失和一个当前任务的三元组损失
[0015][0016][0017]表示由工作模型提取的当前批次下第i个行人的锚点特征、正例特征和负例特征；表示由记忆模型提取的当前批次下第i个行人的锚点特
征、正例特征和负例特征；
[0018]步骤8：获得知识回放阶段工作模型的总体损失函数进而由总体损失函数L
w
进行梯度反向传播，并由梯度下降算法更新工作模型的参数即对于其中，θ是工作模型的参数，包括特征提取器和分类器的参数。是由当前批次训练样本得到的损失函数L
w
计算得到的梯度，γ取1；
[0019]步骤9：知识更新阶段：
[0020]负责对记忆模型的更新，即用工作模型的知识对记忆模型的响应做校正，以达到更平滑的知识迁移；
[0021]步骤10：增强记忆模型处理当前任务的能力，计算记忆损失函数包括交叉熵损失和三元组损失
[0022][0023][0024]其中，交叉熵损失计算于当前任务的样本，而三元组损失计算于缓冲存储区的样本；
[0025]步骤11：作用于记忆模型的损失被整体计算为进而由L
m
进行梯度反向传播，并更新工作模型的参数即对于即对于其中，η取0.1；
[0026]步骤12：重复步骤6至步骤11，直至交替训练结束；
[0027]步骤13：结束知识回放和知识更新后，进行知识整合，在此阶段，学习网络里分别存有两个训练完毕的工作模型和记忆模型进行模型空间的整合，为下一阶段的训练和部署做准备，得到的复合模型能从记忆模型中获取更大比例的知识，从而对过去的知识做更好的整合；
[0028]步骤14：其次进行特征空间的知识整合用于测试，给定待测试的图片，分别输入工作模型和记忆模型的特征提取器，得到两个特征向量和为了更好得利用工作模型和记忆模型所捕捉的模式，采用串联的方式得到一个混合的特征最后将得到的混合的特征用于行人检索；
[0029]步骤15：任务t结束后，进行缓冲储存模块M
t
的更新，首先初始化M
t+1
＝M
t
，从新任务的标签库中随机选取多个ID，并获取每个ID的特征平均值作为该ID在特征空间的原型；
[0030]步骤16：对于每个选中的ID，在其特征空间中选择两个相距最远的特征，并更新对
应图片和标签入库缓冲储存区，以更好刻画新任务类别的决策边界；
[0031]步骤17：拓展新分类器，并初始化新分类器在新任务上的神经元本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识更新和知识整合的终身学习行人再识别方法，其特征在于，包括以下步骤：步骤1：在初始任务t＝0开始阶段，t是当前任务序号，给定数据集随机采样一个批次的图片得到N
b
是批次大小，是第i张图片，并输入到基于卷积神经网络(CNN)的工作模型，进行特征提取并得到softmax预测分数q(
·
)是工作模型采用的softmax函数；步骤2：为了学习工作模型对当前任务行人图片的判别性，计算基于当前批次图片的交叉熵损失函数其中是第i个预测分数的第项数值；步骤3：为了进一步在度量空间优化特征分布，对提取的当前批次特征采用三元组损失函数其中，d(
·
，
·
)代表欧式距离函数，m是设定的阈值参数，表示由工作模型提取的当前批次下第i个行人的锚点特征、正例特征和负例特征；步骤4：结合交叉熵损失函数和三元组损失函数得到t＝0阶段的损失函数L0，并经过反向梯度传播更新网络参数，直到达到预设的迭代次数；步骤5：对于t＞0时刻的任务，学习网络里兼有记忆模型和工作模型，目标是通过记忆模型和工作模型的联合学习，提升对当前任务和之前任务的效果，提升模型整体的泛化性；在任务t开始时，模型首先进入知识回放阶段，此时的输入为t时刻的数据集缓冲存储区M
t
用于存储0～t
‑
1时刻的所见到的部分样本即其标签，工作模型和记忆模型的学习率分别为γ、η；从和M
t
中分别随机采样一个批次的样本和分别输送到工作模型和记忆模型，输出相应的softmax预测分数，即其中，p(
·
)、q(
·
)代表以(
·
)作为输入分别经过工作模型和记忆模型所输出的预测分数；步骤6：为了防止工作模型在旧任务上的遗忘，在预测分数层面进行知识蒸馏以解决灾难性的遗忘，记忆模型生成的预测分数可被用作伪标签指导工作模型的学习，抗遗忘损失函数表示为其中，T表示蒸馏温度，SD(
·
)表示梯度分离算子，JS(
·
)表示Jesen
‑
Shannon散度；步骤7：为了让模型更好地适应到当前任务，设计相应的适应性损失函数其中，适应性损失函数包括一个当前任务的交叉熵损失和一个当前任务的三元组损失和一个当前任务的三元组损失
表示由工作模型提取的当前批次下第i个行人的锚点特征、正例特征和负例特征；表示由记忆模型提取的当前批次下第i个行人的锚点特征、正例特征和负例特征；步骤8：获得知识回放阶段工作模型的总体损失函数进而由总体损失函数L
w
进行梯度反向传播，并由梯度下降算法更新工作模型的参数即对于其中，θ是工作模型的参数，包括特征提取器和分类器的参数，是由当前批次训练样本得到的损失函数L
w
计算得到的梯度，γ取1；步骤9：知识更新阶段：负责对记忆模型的更新，即用工作模型的知识对记忆模型的响应做校正，以达到更平滑的知识迁移；步骤10：增强记忆模型处理当前任务的能力，计算记忆损失函数包括交叉熵损失和三元组损失三元组损失三元组损失其中，交叉熵损失计算于当前任务的样本，而三元组损失计算于缓冲存储区的样本；步骤11：作用于记忆模型的损失被整体计算为进而由L
m
进行梯度反向传播，并更新工作模型的参数即对于即对于其中，η取0.1；步骤12：重复步骤6至步骤11，直至交替训练结束；步骤13：结束知识回放和知识更新后，进行知识整合，在此阶段，学习网络里分别存有两个训练完毕的工作模型和记忆模型进行模型空间的整合从而为未来新阶段的训练做准备，通过模型空间的整合得到的复合模型从记忆模型中获取更大比例的知识，从而使其更具有稳定性，即能够对过去的知识做更好的整合；
步骤14：其次进行特征空间的知识整合用于测试，给定待测试的图片，分别输入工作模型和记忆模型的特征提取器，得到两个特征向量和为了更好得利用工作模型和记忆模型所捕捉的模式，采用串联的方式得到一个混合的特征最后将得到的混合的特征用于行人检索；步骤15：任务t结束后，进行缓冲储存模块M
t
的更新，首先初始化M
t+1
＝M
t
，从新任务的标签库中随机选取多个ID，并获取每个ID的特征平均值作为该ID在特征空间的原型；步骤16：对于每个选中的ID，在其特征空间中选择两个相距最远...

【专利技术属性】
技术研发人员：汪婧雅，余春霖，石野，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：