训练图像分类模型的方法技术

一种训练神经网络的计算机实现的方法，用于将图像分类为多个类中的一个类，所述方法包括：从所述神经网络提取每个类的多个子类中心向量；将图像输入所述神经网络，其中，所述图像与预定义类相关联；使用所述神经网络生成与所述输入图像对应的嵌入向量；确定所述嵌入向量和所述多个子类中心向量中的每个子类中心向量之间的相似度分数；使用目标函数根据多个所述相似度分数更新所述神经网络的参数；从所述神经网络提取多个更新的参数；根据所述提取的更新参数更新每个子类中心向量。更新参数更新每个子类中心向量。更新参数更新每个子类中心向量。

【技术实现步骤摘要】
【国外来华专利技术】训练图像分类模型的方法


[0001]本专利技术涉及训练用于图像分类的神经网络，尤其涉及一种训练用于对具有噪声标签的数据集进行图像分类的神经网络的方法。

技术介绍

[0002]使用带有裕度惩罚的深度卷积神经网络(Deep Convolutional Neural Network，DCNN)嵌入的图像表示是现有图像分类(例如，人脸识别)的首选方法。DCNN通常在姿态归一化步骤之后将图像映射到实现类内紧密性和类间差异的特征嵌入。
[0003]为了训练DCNN，必须将数据集中的每个图像都标记为与身份类相关。每个身份类旨在仅包含特定类型/分类的图像。有几种技术可用来标记每个图像；然而，这类技术有可能导致不正确的标记，称为标签噪声。

技术实现思路

[0004]本说明书公开了用于实现对标签噪声更具鲁棒性的图像分类的神经网络系统。
[0005]根据本专利技术的第一方面，提供了一种训练神经网络的计算机实现的方法，用于将图像分类为多个类中的一个类，所述方法包括：从所述神经网络提取每个类的多个子类中心向量；将图像输入所述神经网络，其中，所述图像与预定义类相关联；使用所述神经网络生成与所述输入图像对应的嵌入向量；确定所述嵌入向量和所述多个子类中心向量中的每个子类中心向量之间的相似度分数；使用目标函数根据多个所述相似度分数更新所述神经网络的参数；从所述神经网络提取多个更新的参数；根据所述提取的更新参数更新每个子类中心向量。
[0006]所述方法还可以包括在更新所述神经网络的所述参数之前：将另一图像输入所述神经网络，其中，所述图像与预定义类相关联；使用所述神经网络生成与所述输入图像对应的另一个嵌入向量；确定所述另一个嵌入向量和所述多个子类中心向量中的每个子类中心向量之间的另一个相似度分数；其中，更新所述神经网络的所述参数还基于所述另一个相似度分数。
[0007]所述方法还可以包括：使用所述相似度分数确定每个类的最接近子类中心向量，其中，所述目标函数可以包括多中心损失项，所述多中心损失项将所述预定义类中的所述嵌入向量和所述最接近子类中心向量之间的相似度分数与每个其它类中的所述嵌入向量和所述最接近子类中心向量之间的相似度分数进行比较。所述多中心损失项可以是基于裕度的softmax损失函数。所述嵌入向量和每个子类中心向量可以被归一化，并且所述相似度分数可以是所述嵌入向量和所述子类中心向量之间的角度。
[0008]每个类可以包括主导子类，并且所述方法还可以包括：对于每个类，确定所述类中的主导子类中心向量和每个其它子类中心向量之间的类内相似度分数，其中，所述目标函数包括使用所述类内相似度分数的类内紧密性项。
[0009]每个子类中心向量可以被归一化，并且所述类内相似度分数可以是所述类中的所
述主导子类中心向量和另一个子类中心向量之间的角度。
[0010]所述神经网络可以包括多个连接层，并且可以使用从所述神经网络的最后一个全连接层提取的更新参数来更新每个子类中心向量。
[0011]每个类可以包括主导子类，所述方法还可以包括：如果某个类的非主导子类的所述子类中心向量与所述主导子类中心向量之间的距离超过阈值距离，则从所述类中丢弃所述非主导子类。
[0012]从类中丢弃非主导子类可以根据满足的阈值条件来执行。所述阈值条件可以是超过训练轮的第一阈值数量。所述方法还可以包括：根据满足的另一个阈值条件丢弃所有非主导子类。所述另一个阈值条件可以是超过训练轮的第二阈值数量。
[0013]所述图像可以是人脸图像。
[0014]所述类可以对应于所述图像的分类条件，并且所述图像可以来自包含标签噪声的批次，使得所述批次可以包括至少一个图像，所述至少一个图像标记为与不对应于所述至少一个图像的分类条件的类相关。
[0015]根据本专利技术的另一方面，提供了一种计算机实现的图像分类方法，所述方法包括：向神经网络输入第一图像，以将所述第一图像映射到嵌入向量；使用所述神经网络，基于所述嵌入向量识别对应于所述第一图像的类，其中，所述神经网络已使用本文公开的方法中的任一种方法进行训练。
[0016]根据本专利技术的另一方面，提供了一种系统，所述系统包括：一个或多个处理器；以及存储器，所述存储器包括计算机可读指令，当所述计算机可读指令由所述一个或多个处理器执行时，使所述系统执行本文公开的任何方法。
[0017]根据本专利技术的另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机可读指令，当所述计算机可读指令由计算设备执行时，使所述计算设备执行本文公开的任何方法。
附图说明
[0018]现结合以下附图通过示例的方式描述本专利技术的某些实施例。
[0019]图1示出了从样本生成嵌入向量的方法的示意图；
[0020]图2示出了使用基于多中心的目标函数训练用于图像分类的神经网络的方法的示意图；
[0021]图3示出了基于多中心的目标函数的示意图；
[0022]图4示出了三元组损失、元组损失、ArcFace损失和基于多中心的损失的比较；
[0023]图5示出了特定类的子类的示意图；
[0024]图6示出了训练用于图像分类的神经网络的方法的流程图；
[0025]图7示出了训练用于图像分类的神经网络的方法的流程图；
[0026]图8示出了训练用于图像分类的神经网络的方法的流程图；
[0027]图9示出了用于执行人脸识别的计算机系统的示例。
具体实施方式
[0028]在本文描述的实施例中，除了由神经网络输出的嵌入向量之外，还使用从神经网
络推导出的子类中心向量来训练图像分类神经网络(例如人脸识别神经网络)。
[0029]与在噪声数据上训练神经网络的其它方法相比，使用子类中心向量形成基于多中心的损失函数可以使基于噪声数据训练的神经网络具有更高的图像分类性能。例如，图像分类神经网络可能具有较低的错误率。它还可以允许直接在原始数据集上执行神经网络的训练，从而减少对原始数据集进行资源密集型手动清理的需要。
[0030]在下文中，将结合人脸图像来描述各实施例(例如，图像分类任务是人脸识别)。然而，应当理解的是，这些方法也可以应用于其它图像分类任务，例如医学图像分类、手写数字分类和对象图像分类。图1示出了从输入图像102生成嵌入向量106的方法100的示意图。输入图像102可以包括人脸图像。将输入图像102输入神经网络104，所述神经网络通过多个神经网络层处理输入图像102以生成嵌入向量106，所述嵌入向量对输入图像102中的特征和/或属性进行编码。嵌入向量106用于根据嵌入向量106的分量的值将图像分类为多个图像类108中的一个类。
[0031]输入图像102(I)包括数组(例如二维数组或三维数组)中的一组像素值。例如，在彩色图像中，H是人脸图像的高度(以像素为单位)，W是人脸图像的宽度(以像素为单位)，并且图像具有三个颜色通道(例如RGB或CIELAB)。在一些实施例中，图像I可以是黑白/灰度图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种训练神经网络的计算机实现的方法，其特征在于，用于将图像分类为多个类中的一个类，所述方法包括：从所述神经网络提取每个类的多个子类中心向量；将图像输入所述神经网络，其中，所述图像与预定义类相关联；使用所述神经网络生成与所述输入图像对应的嵌入向量；确定所述嵌入向量和所述多个子类中心向量中的每个子类中心向量之间的相似度分数；使用目标函数根据多个所述相似度分数更新所述神经网络的参数；从所述神经网络提取多个更新的参数；根据所述提取的更新参数更新每个子类中心向量。2.根据权利要求1所述的方法，其特征在于，所述方法还包括在更新所述神经网络的所述参数之前：将另一图像输入所述神经网络，其中，所述图像与预定义类相关联；使用所述神经网络生成与所述输入图像对应的另一个嵌入向量；确定所述另一个嵌入向量和所述多个子类中心向量中的每个子类中心向量之间的另一个相似度分数；其中，更新所述神经网络的所述参数还基于所述另一个相似度分数。3.根据上述权利要求中任一项所述的方法，其特征在于，所述方法还包括：使用所述相似度分数确定每个类的最接近子类中心向量，其中，所述目标函数包括多中心损失项，所述多中心损失项将所述预定义类中的所述嵌入向量和所述最接近子类中心向量之间的相似度分数与每个其它类中的所述嵌入向量和所述最接近子类中心向量之间的相似度分数进行比较。4.根据权利要求3所述的方法，其特征在于，所述多中心损失项是基于裕度的softmax损失函数。5.根据上述权利要求中任一项所述的方法，其特征在于，所述嵌入向量和每个子类中心向量被归一化，并且所述相似度分数是所述嵌入向量和所述子类中心向量之间的角度。6.根据上述权利要求中任一项所述的方法，其特征在于，每个类包括主导子类，并且所述方法还包括：对于每个类，确定所述类中的主导子类中心向量和每个其它子类中心向量之间的类内相似度分数，其中，所述目标函数包括使用所述类内相似度分数的类内紧密性项。7.根据权利要求6所述的方法，其特征在于，每个子类中心向量被归一化，并且所述类内相似度分数是所述类中的所述主...

【专利技术属性】
技术研发人员：邓健康，斯特凡诺斯，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：