用于图像处理的方法、装置、电子设备和介质制造方法及图纸

本公开的实施例涉及用于图像处理的方法、装置、电子设备和介质。方法包括生成训练数据集中的图像样本的第一样本特征。方法还包括从图像分类模型的分类网络获取类别特征集合。方法还包括基于第一样本特征、类别特征集合和参考样本特征集合，生成针对图像样本的对抗正样本集合和对抗负样本集合。方法还包括基于对抗正样本集合、对抗负样本集合和类别特征集合，更新图像分类模型。基于这样的方式，能够构造出有区分难度的对抗正样本集合和对抗负样本集合，修正图像分类模型针对尾部类别的决策边界，由此能够在原始训练数据不均衡的长尾环境下对图像分类模型进行有效训练。下对图像分类模型进行有效训练。下对图像分类模型进行有效训练。

【技术实现步骤摘要】
用于图像处理的方法、装置、电子设备和介质


[0001]本公开的实施例涉及图像处理
，并且更具体地，涉及用于图像处理的方法、装置、计算设备、计算机可读存储介质和计算机程序产品。

技术介绍

[0002]基于深度学习的图像分类技术已经被广泛应用于图像分析。然而，在一些领域中收集图像训练数据并对训练数据进行标注是有难度的，并且训练数据可能是高度不均衡。一些类别的训练数据很多，而另一些类别的训练数据很少，存在长尾效应。这导致训练效果不理想，难以达到预期性能。

技术实现思路

[0003]有鉴于此，本公开的实施例提出了基于对比学习来处理图像分类任务中的长尾问题的技术方案。
[0004]根据本公开的第一方面，提供了一种用于图像处理的方法。方法包括基于图像分类模型的特征提取网络，生成训练数据集中的图像样本的第一样本特征。方法还包括从图像分类模型的分类网络获取类别特征集合，其中每个类别特征对应于与图像分类模型相关联的类别。方法还包括基于第一样本特征、类别特征集合和参考样本特征集合，生成针对图像样本的对抗正样本集合和对抗负样本集合，参考样本特征集合中的参考样本特征是基于特征提取网络从训练数据集中的多个图像样本生成的。方法还包括基于对抗正样本集合、对抗负样本集合和类别特征集合，更新图像分类模型。
[0005]这里，图像分类模型包括特征提取网络和分类网络。参考样本特征集合是图像分类模型提取出的样本特征，表示其对图像的语义理解。类别特征集合中的类别特征表示图像分类模型的类别的原型(prototype)。在本文中，类别特征和原型可互换地使用。类别特征可以被理解为针对该类别的“典型”特征，与其相似度越高，预测结果为该类别的可能性越大。图像分类模型基于类别特征和图像样本特征对图像进行分类。因此，将类别特征和参考样本特征进行有效组合，可以得到对当前图像样本来说有“难度”的对比学习样本，即，容易混淆并导致使图像分类模型产生错误预测结果的样本。通过这样的方式，能够构造出有区分难度的对抗正样本集合和对抗负样本集合，修正图像分类模型针对尾部类别的决策边界，由此能够在原始训练数据不均衡的长尾环境下对图像分类模型进行有效训练。
[0006]在第一方面的一些实施例中，图像分类模型还可以包括与特征提取网络连接的至少一个编码器，并且生成图像样本的第一样本特征包括：基于特征提取网络和至少一个编码器，从图像样本生成第一样本特征。基于这样的方式，从图像分类模型提取的用于训练的样本特征不同于用于预测的样本特征，由此能够提高模型训练的准确度。在一些实施例中，至少一个编码器可以包括第一编码器，使用第一编码器从当前的图像样本生成第一样本特征。第一编码器可以被在线更新。
[0007]在第一方面的一些实施例中，方法还可以包括：基于特征提取网络和至少一个编
码器，从图像样本所在的批次中的图像样本生成样本特征；将所生成的样本特征添加到参考样本特征集合；以及从参考样本特征集合中移除最早批次的参考样本特征。基于这样的方式，能够在训练过程动态维护和更新参考样本特征集合，例如，参考样本集合通过先入先出(FIFO)的方式来维护。在一些实施例，至少一个编码器可以包括第二编码器，使用第二编码器来生成参考样本特征集合中的样本特征。第一编码器和第二编码器可以不同，并且第二编码器可以被离线更新，具体地，可以在图像分类模型的训练过程中基于第一编码器来更新，例如，通过动量机制来更新。
[0008]在第一方面的一些实施例中，分类网络可以包括全连接网络，从分类网络获取类别特征集合包括基于全连接网络的权重，确定类别特征集合。基于这样的方式，可以容易地获取表示各个类别的原型，例如，与待预测的图像的样本特征具有最大相似度的原型的类别被确定为预测结果。
[0009]在第一方面的一些实施例中，方法还可以包括，针对类别特征集合中的每个类别特征：基于特征提取网络，生成图像样本所在的批次中类别与类别特征相对应的至少一个图像样本的样本特征；基于至少一个图像样本的样本特征和类别特征，确定在该批次处的针对类别特征的局部校准因子；通过跨批次的移动平均，从局部校准因子确定针对类别特征的全局校准因子；以及利用全局校准因子来调整类别特征。基于这样的方式，能够消除或减轻训练数据不平衡带来的类别特征倾向于头部类别的问题。
[0010]在第一方面的一些实施例中，更新所述图像分类模型可以包括：基于对抗正样本集合、对抗负样本集合和类别特征集合的经调整的类别特征，更新图像分类模型。基于这样的方式，训练得到的图像分类模型在长尾类别上具有更好的性能。
[0011]在第一方面的一些实施例中，生成对抗正样本集合可以包括：确定参考样本特征集合中类别与图像样本相同的参考样本特征，以生成第一候选正样本集合；从候选正样本集合中选择具有错误预测类别的参考样本特征；将具有错误预测类别的参考样本特征和对应于错误预测类别的类别特征进行组合，以生成第二候选正样本集合；以及基于第二候选正样本集合，生成对抗正样本集合。基于这样的方式，所生成的对抗正样本的真实类别与当前图样样本相同，并且具有被图像分类模型错误预测的样本特征，属于有难度的正样本。利用这样的对抗正样本，降低了针对这一类别的假阴性的可能性，提高了图像分类模型的识别准确度。
[0012]在第一方面的一些实施例中，将具有错误预测类别的参考样本特征和对应于错误预测类别的类别特征进行组合，以生成第二候选正样本集合可以包括：对具有错误预测类别的参考样本特征和对应于错误预测类别的类别特征进行加权求和，其中，针对参考样本特征的第一权重和针对类别特征的第二权重是随机的，并且第一权重大于第二权重。基于这样的方式，能够增加对抗正样本的随机性，提高图像分类模型的泛化能力。
[0013]在第一方面的一些实施例中，生成对抗负样本集合可以包括：从参考样本特征集合中确定类别与图像样本不同的参考样本特征，以生成第一候选负样本集合；基于与第一样本特征的比较，从第一候选负样本特征集合中选择参考样本特征；以及将所选择的参考样本特征和与图像样本的类别对应的类别特征进行组合，以生成第二候选负样本集合；以及基于第二候选负样本集合，生成对抗负样本集合。基于这样的方式，所生成的对抗负样本的真实类别与当前图像样本不同，并且具有与当前图像易混淆的样本特征，属于有难度的
负样本。利用这样的对抗负样本，降低了针对这一类别的假阳性的可能性，提高了图像分类模型的识别准确度。
[0014]在第一方面的一些实施例中，基于与第一样本特征的比较，从候选负样本特征集合中选择参考样本特征可以包括：确定第一候选负样本集合中的参考样本特征与第一样本特征的距离；以及选择与第一样本特征距离最近的若干个参考样本特征。基于这样的方式，可以从参考样本特征中选择与当前图像样本更为相似的样本特征，生成更有难度的对抗负样本。
[0015]在第一方面的一些实施例中，将所选择的参考样本特征和与所述图像样本的类别对应的类别特征进行组合，以生成第二候选负样本集合包括：对所选择的参考样本特征和与图像样本的类别对应的类别特征进行加权本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于图像处理的方法，包括：基于图像分类模型的特征提取网络，生成训练数据集中的图像样本的第一样本特征；从所述图像分类模型的分类网络获取类别特征集合，其中每个类别特征对应于与所述图像分类模型相关联的类别；基于所述第一样本特征、所述类别特征集合和参考样本特征集合，生成针对所述图像样本的对抗正样本集合和对抗负样本集合，所述参考样本特征集合中的参考样本特征是基于所述特征提取网络从所述训练数据集中的多个图像样本生成的；以及基于所述对抗正样本集合、所述对抗负样本集合和所述类别特征集合，更新所述图像分类模型。2.根据权利要求1所述的方法，其中，所述图像分类模型还包括与所述特征提取网络连接的至少一个编码器，并且生成图像样本的第一样本特征包括：基于所述特征提取网络和所述至少一个编码器，从所述图像样本生成所述第一样本特征。3.根据权利要求2所述的方法，还包括：基于所述特征提取网络和所述至少一个编码器，从所述图像样本所在的批次中的图像样本生成样本特征；将所生成的样本特征添加到所述参考样本特征集合；以及从所述参考样本特征集合中移除最早批次的参考样本特征。4.根据权利要求1所述的方法，其中，所述分类网络包括全连接网络，从所述分类网络获取所述类别特征集合包括：基于所述全连接网络的权重，确定所述类别特征集合。5.根据权利要求1所述的方法，还包括：针对所述类别特征集合中的每个类别特征：基于所述特征提取网络，生成所述图像样本所在的批次中类别与所述类别特征相对应的至少一个图像样本的样本特征；基于所述至少一个图像样本的样本特征和所述类别特征，确定在所述批次处的针对所述类别特征的局部校准因子；通过跨批次的移动平均，从所述局部校准因子确定针对所述类别特征的全局校准因子；以及利用所述全局校准因子来调整所述类别特征。6.根据权利要求5所述的方法，其中，更新所述图像分类模型包括：基于所述对抗正样本集合、所述对抗负样本集合和所述类别特征集合的经调整的类别特征，更新所述图像分类模型。7.根据权利要求1至6中任一项所述的方法，其中，生成对抗正样本集合包括：确定所述参考样本特征集合中类别与所述图像样本相同的参考样本特征，以生成第一候选正样本集合；从所述第一候选正样本集合中选择具有错误预测类别的参考样本特征；将所述具有错误预测类别的参考样本特征和对应于所述错误预测类别的类别特征进行组合，以生成第二候选正样本集合；以及基于所述第二候选正样本集合，生成所述对抗正样本集合。
8.根据权利要求1至6中任一项所述的方法，其中，生成对抗负样本集合，包括：从所述参考样本特征集合中确定类别与所述图像样本不同的参考样本特征，以生成第一候选负样本集合；基于与所述第一样本特征的比较，从所述第一候选负样本特征集合中选择参考样本特征；以及...

【专利技术属性】
技术研发人员：边成，潘俊文，张志诚，李永会，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：