本发明专利技术公开了一种深度学习全局优化方法、识别方法、装置及介质，其中优化方法包括：获取训练数据集；获取用于深度学习的训练批次，并更新特征向量；根据更新后的记忆集特征向量、未更新的记忆集标签来更新记忆集标签；筛选记忆集中对模型优化最重要的k个样本；根据当前批次的特征向量与对应的标签、筛选出的记忆集中对模型优化最重要的样本与对应的标签。本发明专利技术通过进行全局优化可以保证深度模型训练时得到最大限度的样本多样性，为模型的性能提升提供条件；另外，对样本特征进行筛选，大大地减少了训练所需的硬件资源和时间资源。本发明专利技术可广泛应用于人工智能领域。广泛应用于人工智能领域。广泛应用于人工智能领域。
【技术实现步骤摘要】
一种深度学习全局优化方法、识别方法、装置及介质
[0001]本专利技术涉及人工智能领域，尤其涉及一种深度学习全局优化方法、识别方法、装置及介质。
技术介绍
[0002]深度学习模型已经成为多种应用场景中必不可少的组成部分。训练一个深度学习模型需要大量的训练样本。在许多应用了深度学习技术的任务中，模型训练是由样本驱动的。即模型通过学习样本与样本之间的相似与差异，从而掌握相关的特征，具备实现任务目标的能力。样本多样性的大小决定着模型最终性能的优劣。然而，由于硬件限制，目前的深度学习模型都是基于批次训练的，导致样本的多样性被严重限制了。具体地说，就是在同一时间内模型只能获得少量样本的信息，由这些样本的多样性远远低于整个训练集的多样性，这就极大地影响了模型的性能。
[0003]深度学习模型的训练除了需要训练样本，还需要与之相对应的标签。例如，在图像分类任务中，训练样本是图片，标签是该图片的类别。研究人员根据图片的标签与图片间的相似度设计损失函数，来为模型的训练提供方向。然而，无论是人工标注还是算法标注，都会不可避免地产生错误，给训练样本标注错误的标签。模型为了拟合这些带有错误标签的训练样本(简称错误样本)，可能会出现如收敛速度降低，性能下降等现象。并且，在全局优化时，错误样本的负面影响会更大。
技术实现思路
[0004]为至少一定程度上解决现有技术中存在的技术问题之一，本专利技术的目的在于提供一种深度学习全局优化方法、识别方法、装置及介质。
[0005]本专利技术所采用的技术方案是：
[0006]一种深度学习全局优化方法，包括以下步骤：
[0007]S1、获取训练数据集其中，x
i
是训练图像，y
i
是对应的标签，i是这对数据的索引，N为训练集样本总数量；将训练数据集导入深度模型f(x)，对于训练图像x
i
，模型输出特征向量为f
i
＝(x
i
)；预设记忆集用于储存训练集Train中x
i
经深度模型f(x)输出的特征向量f
i
；
[0008]S2、获取用于深度学习的训练批次，每一个批次由b个训练集Train中的样本组成，表示为Batch＝(x
i
,y
i
)|
i∈B
，B为训练集Train中b个样本的索引的集合；对于每个批次模型Batch，深度模型f(x)的输出为f
i
＝f(x
i
)|
i∈B
；对于训练图像x
i
在记忆集中的特征向量根据该向量之前的特征向量与该批次输出的特征向量f
i
来更新；设更新特征的函数为UP_f()，则更新过程表示为其中表示更新之前的
[0009]S3、根据更新后的记忆集特征向量未更新的记忆集标签来更新记忆
集标签设更新标签的函数为UP_y()，则更新过程表示为其中表示更新之前的
[0010]S4、根据当前批次内的特征向量f
i
|
i∈B
与记忆集中的特征向量对于每个特征向量f
i
|
i∈B
，筛选出记忆集中对模型优化最重要的k个样本其中Ki表示关于f
i
最重要的k个样本的索引；
[0011]S5、根据当前批次的特征向量f
i
|
i∈B
与对应的标签y
i
|
i∈B
、筛选出的记忆集中对模型优化最重要的样本与对应的标签对深度模型f(x)的参数进行优化学习。
[0012]进一步地，通过以下方式更新特征向量
[0013]直接赋值法：深度模型f(x)每输出一个批次的特征向量f
i
＝f(x
i
)|
i∈B
，记忆集中对应的特征向量或者，
[0014]滑动平均更新法：获取滑动系数λ，深度模型f(x)每输出一个批次的特征向量f
i
＝f(x
i
)|
i∈B
，则记忆集中对应的特征向量
[0015]进一步地，通过以下方式更新标签
[0016]最近邻法：对于记忆集中的样本x
i
的特征向量计算记忆集中其他特征向量与之间的距离，根据距离由近到远排序；选取距离最近的1个特征向量的标签，将出现次数最多的标签作为的新标签；或者，
[0017]类心法：对于记忆集中的样本x
i
的特征向量计算该特征向量与各个类别中心的距离，并选择距离最近的类别作为的新标签。
[0018]进一步地，通过以下方式选出记忆集中对模型优化最重要的k个样本
[0019]最近邻法：对于记忆集中的样本x
i
的特征向量计算记忆集中其他特征向量与之间的距离，根据距离由近到远排序，保留距离最近的k个特征向量；或者，
[0020]最难正负样本法：对于记忆集中的样本x
i
的特征向量计算记忆集中其他特征向量与之间的距离，根据距离由近到远排序，保留与标签相同的距离最远的k/2个特征向量以及标签不同的距离最近的k/2个特征向量。
[0021]进一步地，所述对深度模型f(x)的参数进行优化学习，包括：
[0022]采用经验风险最小化原则对深度模型f(x)的参数进行优化学习。
[0023]进一步地，经验风险的公式如下：
[0024][0025]其中L
m
(
·
)代表涉及当前批次里样本与记忆集中重要样本的损失函数。
[0026]本专利技术所采用的另一技术方案是：
[0027]一种目标识别方法，包括以下步骤：
[0028]构建目标识别模型；
[0029]获取训练集，采用如上所述的一种深度学习全局优化方法训练并优化所述目标识别模型；
[0030]获取待识别图像，将待识别图像输入训练后的所述目标识别模型，输出识别结果。
[0031]本专利技术所采用的另一技术方案是：
[0032]一种行人重识别方法，包括以下步骤：
[0033]构建行人重识别模型；
[0034]获取训练集，采用如上所述的一种深度学习全局优化方法训练并优化所述行人重识别模型；
[0035]获取视频图像，将视频图像输入训练后的所述行人重识别模型，输出识别结果。
[0036]本专利技术所采用的另一技术方案是：
[0037]一种装置，包括：
[0038]至少一个处理器；
[0039]至少一个存储器，用于存储至少一个程序；
[0040]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上所述方法。
[0041]本专利技术所采用的另一技术方案是：
[0042]一种计算机可读存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种深度学习全局优化方法，其特征在于，包括以下步骤：获取训练数据集其中，x
i
是训练图像，y
i
是对应的标签，i是这对数据的索引，N为训练集样本总数量；将训练数据集导入深度模型f(x)，对于训练图像x
i
，模型输出特征向量为f
i
＝f(x
i
)；预设记忆集用于储存训练集Train中x
i
经深度模型f(x)输出的特征向量f
i
；获取用于深度学习的训练批次，每一个批次由b个训练集Train中的样本组成，表示为Batch＝(x
i
，y
i
)|
i∈B
，B为训练集Train中b个样本的索引的集合；对于每个批次模型Batch，深度模型f(x)的输出为f
i
＝f(x
i
)|
i∈B
；对于训练图像x
i
在记忆集中的特征向量f
im
，根据该向量之前的特征向量与该批次输出的特征向量f
i
来更新；设更新特征的函数为UP_f()，则更新过程表示为其中表示更新之前的f
im
；根据更新后的记忆集特征向量未更新的记忆集标签来更新记忆集标签设更新标签的函数为UP_y()，则更新过程表示为其中表示更新之前的根据当前批次内的特征向量f
i
|
i∈B
与记忆集中的特征向量对于每个特征向量f
i
|
i∈B
，筛选出记忆集中对模型优化最重要的k个样本其中Ki表示关于f
i
最重要的k个样本的索引；根据当前批次的特征向量f
i
|
i∈B
与对应的标签y
i
|
i∈B
、筛选出的记忆集中对模型优化最重要的样本与对应的标签对深度模型f(x)的参数进行优化学习。2.根据权利要求1所述的一种深度学习全局优化方法，其特征在于，通过以下方式更新特征向量f
im
：直接赋值法：深度模型f(x)每输出一个批次的特征向量f
i
＝f(x
i
)|
i∈B
，记忆集中对应的特征向量f
im
＝f
i
；或者，滑动平均更新法：获取滑动系数λ，深度模型f(x)每输出一个批次的特征向量f
i
＝f(x
i
)|
i∈B
，则记忆集中对应的特征向量3.根据权利要求1所述的一种深度学习全局优化方法，其特征在于，通过...
【专利技术属性】
技术研发人员：刘翼飞，梁亚玲，陈子恒，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。