一种基于卷积长短时记忆网络的渐进迁移学习方法技术

本发明专利技术公开了一种基于卷积长短时记忆网络的渐进迁移学习方法，包括：(1)选择经过预训练后的基础网络模型；(2)基于批相关卷积单元构建一个旁枝网络，将旁枝网络与预训练后的基础网络相结合构成渐进迁移学习网络；所述旁枝网络中的每一层批相关卷积单元对应于基础网络中的一个卷积单元；基础网络中的卷积单元的输出在输入到下一层卷积单元的同时输入到旁枝网络中的批相关卷积单元中；(3)对渐进迁移学习网络进行训练，训练过程使用随机梯度下降算法和交叉熵损失函数；(4)训练结束，对训练得到的模型进行行人重识别应用。利用本发明专利技术，可以缓解批数据数据分布与数据集整体分布差异导致的模型微调效果不佳的问题。

An incremental transfer learning method based on convolution long short memory network

【技术实现步骤摘要】
一种基于卷积长短时记忆网络的渐进迁移学习方法
本专利技术属于计算机视觉
，尤其是涉及一种基于卷积长短时记忆网络的渐进迁移学习方法。
技术介绍
行人重识别问题旨在利用目标人物照片作为输入检索出该目标人物在其他时间点、不同摄像头下被拍摄到的历史记录。行人重识别系统因其广泛的应用，如无人超市、目标人物追踪与分析、搜寻遗失老人及小孩等，在现实生活中有着丰富的应用场景。因此，行人重识别问题近年来在计算机视觉领域引起了广泛的关注。由于真实的应用场景内存在剧烈的照明变化、行人姿态的变化、摄像机角度变化、遮挡、着装变化等差异性变化，使得行人重识别问题具有挑战性。如何在存在大量环境变化的情况下学习判别性的特征表达是行人重识别人物的基本问题之一。早期的主流行人重识别方法，如ShengcaiLiao等人发表在2015年《ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition》的论文《PersonRe-identificationbyLocalMaximalOccurrenceRepresentationandMetricLearning》，通过人工获取的特征来解决行人重识别问题。这些方法中的大部分集中在底层的信息上，如人穿的衣服颜色和纹理信息等。当光照条件发生较大变化或人们更换衣服时，这些底层的特征将会变得十分不可靠。近年来，随着深度学习方法的兴起以及大规模数据集如CUHK03、Market-1501、MSMT17等的公布，使行人重识别技术得到了繁荣发展。比较突出是利用深度卷积网络自动学习身份敏感和视点不敏感的行人特征进行重新识别的基于分类或排序模型的方法，如WeiLi等人发表在2014年《ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition》的《DeepReID:DeepFilterPairingNeuralNetworkforPersonRe-Identification》以及LiangZheng等人发表在2017年《ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition》的论文《PersonRe-identificationintheWild》。尽管基于深度神经卷积网络的方法取得了显著的进展，但一些关键问题仍然没有得到足够的重视，并且阻碍了行人重识别方法的产品化。首先，行人重识别场景具有差异性的环境特征，因此现有的公开数据集间存在较大差异。这一差异导致在其他数据集上训练得到特征提取模型不能直接在新场景中使用，使得在每一个新场景下都需要标注大量的训练样本，通过使用这些训练样本对预训练的特征提取模型进行微调。其次，目前深度神经卷积网络多使用mini-batch的批训练方式。而该训练方式存在一个缺陷，即每个随机采样的mini-batch内部的数据分布与训练数据集整体存在差异，这使得模型在新场景中进行微调时不能获得很好的微调效果。
技术实现思路
本专利技术提供了一种基于卷积长短时记忆网络的渐进迁移学习方法，以减轻由mini-batch数据分布与整体数据分布偏置导致的预训练模型在新数据集上微调效果不佳的问题，进而提升模型的行人重识别准确度。本专利技术的技术方案如下：一种基于卷积长短时记忆网络的渐进迁移学习方法，包括：(1)选择经过预训练后的基础网络模型；(2)基于批相关卷积单元构建一个旁枝网络，将旁枝网络与预训练后的基础网络相结合构成渐进迁移学习网络；所述旁枝网络中的每一层批相关卷积单元对应于基础网络中的一个卷积单元；基础网络中的卷积单元的输出在输入到下一层卷积单元的同时输入到旁枝网络中的批相关卷积单元中；(3)对渐进迁移学习网络进行训练，训练过程使用随机梯度下降算法和交叉熵损失函数；(4)训练结束，对训练得到的模型进行行人重识别应用。本专利技术通过使用BConv-Cell组成旁枝网络，与预训练的基础网络模型相结合共同训练。通过使用BConv-Cell中收集的数据集整体信息，在梯度反向传播过程中修正批数据的梯度估计，从而缓解批数据数据分布与数据集整体分布差异导致的模型微调效果不佳的问题。步骤(1)中，所述的基础网络模型可以为目前大部分的卷积神经网络模型，例如DenseNet、ResNet、MGN或AlexNet。步骤(2)中，所述批相关卷积单元用于在进行特征提取的同时收集数据集的整体特征，具体步骤为：(2-1)批数据输入批相关卷积单元后，首先通过一个卷积层提取特征；(2-2)将提取的到的特征进行类似于长短时记忆网络的门运算，得到输入批数据的整体特征；(2-3)得到的整体特征在下一个批数据到来时用于步骤(2-2)中的门运算。批相关卷积单元(BConv-Cell)的关键公式为：ib＝σ(Wxi*xb+bi)fb＝σ(Wxf*xb+bf)ob＝σ(Wxo*xb+bo)其中，ib,fb,ob分别是第b批数据作为输入时的输入门控单元、遗忘门控单元和输出门控单元的输出，xb是第b批数据，Cb是收集得到的整体信息，Wxi,Wxf,Wxc,Wxo是对应的门的权值矩阵，yb是批相关卷积单元最终的输出，σ(*)是非线性激活函数，在本专利中使用的是sigmoid函数，tanh(*)代表Tanh激活函数，bi,bf,bc,bo是对应的偏置值。为了可以在保持模型参数量与结构不变的同时获得与渐进迁移学习网络(PTL)相当的效果，步骤(3)结束后，使用训练好的渐进迁移学习网络作为老师模型，使用经过预训练后的基础网络作为学生模型，训练过程使用随机梯度下降算法和改进的模型蒸馏损失函数，并将训练后的学生模型作为步骤(4)中的模型进行行人重识别应用。上述方法称为模型蒸馏方法，在学习老师模型输出的同时加入了CrossEntropyLoss修正学生模型以获得更好的效果，所述改进的模型蒸馏损失函数为：Ldisill＝(1-λ)LCE+λLl1其中，LCE表示学生模型输出与真值之间的交叉熵损失函数(CrossEntropyLoss)，Ll1为学生模型输出与老师模型输出的平均绝对误差(L1loss)，λ控制两个loss比例的超参，在使用中经验性的选择为0.8，具有较好的训练效果。与现有技术相比，本专利技术具有以下有益效果：1、本专利技术通过使用BConv-Cell组成旁枝网络，与预训练的基础网络模型相结合共同训练。通过使用BConv-Cell中收集的数据集整体信息，在梯度反向传播过程中修正批数据的梯度估计，从而缓解批数据数据分布与数据集整体分布差异导致的模型微调效果不佳的问题2、本方法只需使用新场景中的少量已标注训练数据通过模型微调的方式即可提高预训练模型在新场景中的效果。附图说明图1为本专利技术一种基于卷积长短时记忆网络的渐进迁移学习方法的流程示意图；图2为本专利技术实施例中渐进式迁移网络的结构示意图；图3为本专利技术实施例中BConv-Cell的结构示意图；图4为本专利技术实施例中提出的模型蒸馏方法的示意图。具体实施方式下面结合附图和实施例对本专利技术做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本专利技术的理解，而对其不起任何限定作用。如图1所示，一种本文档来自技高网...

【技术保护点】
1.一种基于卷积长短时记忆网络的渐进迁移学习方法，其特征在于，包括：(1)选择经过预训练后的基础网络模型；(2)基于批相关卷积单元构建一个旁枝网络，将旁枝网络与预训练后的基础网络相结合构成渐进迁移学习网络；所述旁枝网络中的每一层批相关卷积单元对应于基础网络中的一个卷积单元；基础网络中的卷积单元的输出在输入到下一层卷积单元的同时输入到旁枝网络中的批相关卷积单元中；(3)对渐进迁移学习网络进行训练，训练过程使用随机梯度下降算法和交叉熵损失函数；(4)训练结束，对训练得到的模型进行行人重识别应用。

【技术特征摘要】
1.一种基于卷积长短时记忆网络的渐进迁移学习方法，其特征在于，包括：(1)选择经过预训练后的基础网络模型；(2)基于批相关卷积单元构建一个旁枝网络，将旁枝网络与预训练后的基础网络相结合构成渐进迁移学习网络；所述旁枝网络中的每一层批相关卷积单元对应于基础网络中的一个卷积单元；基础网络中的卷积单元的输出在输入到下一层卷积单元的同时输入到旁枝网络中的批相关卷积单元中；(3)对渐进迁移学习网络进行训练，训练过程使用随机梯度下降算法和交叉熵损失函数；(4)训练结束，对训练得到的模型进行行人重识别应用。2.根据权利要求1所述的基于卷积长短时记忆网络的渐进迁移学习方法，其特征在于，步骤(1)中，所述的基础网络模型为DenseNet、ResNet、MGN或AlexNet。3.根据权利要求1所述的基于卷积长短时记忆网络的渐进迁移学习方法，其特征在于，步骤(2)中，所述批相关卷积单元用于在进行特征提取的同时收集数据集的整体特征，具体步骤为：(2-1)批数据输入批相关卷积单元后，首先通过一个卷积层提取特征；(2-2)将提取的到的特征进行门运算，得到输入批数据的整体特征；(2-3)得到的整体特征在下一个批数据到来时用于步骤(2-2)中的门运算。4.根据权利要求1或3所述的基于卷积长短时记忆网络的渐进迁移学习方法，其特征在于，...

【专利技术属性】
技术研发人员：余正旭，蔡登，金仲明，魏龙，黄建强，华先胜，何晓飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33