【技术实现步骤摘要】
用于图像处理的方法、装置、电子设备和介质
[0001]本公开的实施例涉及图像处理
，并且更具体地，涉及用于图像处理的方法、装置、计算设备、计算机可读存储介质和计算机程序产品。
技术介绍
[0002]基于深度学习的图像分类技术已经被广泛应用于图像分析。然而，在一些领域中收集图像训练数据并对训练数据进行标注是有难度的，并且训练数据可能是高度不均衡。一些类别的训练数据很多，而另一些类别的训练数据很少，存在长尾效应。这导致训练效果不理想，难以达到预期性能。
技术实现思路
[0003]有鉴于此，本公开的实施例提出了基于对比学习来处理图像分类任务中的长尾问题的技术方案。
[0004]根据本公开的第一方面，提供了一种用于图像处理的方法。方法包括基于图像分类模型的特征提取网络，生成训练数据集中的图像样本的第一样本特征。方法还包括从图像分类模型的分类网络获取类别特征集合，其中每个类别特征对应于与图像分类模型相关联的类别。方法还包括基于第一样本特征、类别特征集合和参考样本特征集合，生成针对图像样本的对抗正样本集合和...
【技术保护点】
【技术特征摘要】
1.一种用于图像处理的方法，包括：基于图像分类模型的特征提取网络，生成训练数据集中的图像样本的第一样本特征；从所述图像分类模型的分类网络获取类别特征集合，其中每个类别特征对应于与所述图像分类模型相关联的类别；基于所述第一样本特征、所述类别特征集合和参考样本特征集合，生成针对所述图像样本的对抗正样本集合和对抗负样本集合，所述参考样本特征集合中的参考样本特征是基于所述特征提取网络从所述训练数据集中的多个图像样本生成的；以及基于所述对抗正样本集合、所述对抗负样本集合和所述类别特征集合，更新所述图像分类模型。2.根据权利要求1所述的方法，其中，所述图像分类模型还包括与所述特征提取网络连接的至少一个编码器，并且生成图像样本的第一样本特征包括：基于所述特征提取网络和所述至少一个编码器，从所述图像样本生成所述第一样本特征。3.根据权利要求2所述的方法，还包括：基于所述特征提取网络和所述至少一个编码器，从所述图像样本所在的批次中的图像样本生成样本特征；将所生成的样本特征添加到所述参考样本特征集合；以及从所述参考样本特征集合中移除最早批次的参考样本特征。4.根据权利要求1所述的方法，其中，所述分类网络包括全连接网络，从所述分类网络获取所述类别特征集合包括：基于所述全连接网络的权重，确定所述类别特征集合。5.根据权利要求1所述的方法，还包括：针对所述类别特征集合中的每个类别特征：基于所述特征提取网络，生成所述图像样本所在的批次中类别与所述类别特征相对应的至少一个图像样本的样本特征；基于所述至少一个图像样本的样本特征和所述类别特征，确定在所述批次处的针对所述类别特征的局部校准因子；通过跨批次的移动平均，从所述局部校准因子确定针对所述类别特征的全局校准因子；以及利用所述全局校准因子来调整所述类别特征。6.根据权利要求5所述的方法，其中，更新所述图像分类模型包括：基于所述对抗正样本集合、所述对抗负样本集合和所述类别特征集合的经调整的类别特征，更新所述图像分类模型。7.根据权利要求1至6中任一项所述的方法，其中，生成对抗正样本集合包括：确定所述参考样本特征集合中类别与所述图像样本相同的参考样本特征，以生成第一候选正样本集合；从所述第一候选正样本集合中选择具有错误预测类别的参考样本特征；将所述具有错误预测类别的参考样本特征和对应于所述错误预测类别的类别特征进行组合，以生成第二候选正样本集合；以及基于所述第二候选正样本集合，生成所述对抗正样本集合。
8.根据权利要求1至6中任一项所述的方法，其中，生成对抗负样本集合，包括：从所述参考样本特征集合中确定类别与所述图像样本不同的参考样本特征，以生成第一候选负样本集合；基于与所述第一样本特征的比较，从所述第一候选负样本特征集合中选择参考样本特征；以及...
【专利技术属性】
技术研发人员：边成，潘俊文，张志诚，李永会，
申请(专利权)人：抖音视界有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。