基于相似度转移的弱监督细粒度图片分类方法及系统技术方案

技术编号:41527352 阅读:18 留言:0更新日期:2024-06-03 23:02
本发明专利技术公开了基于相似度转移的弱监督细粒度图片分类方法及系统。本发明专利技术通过类别名称作为关键字在搜索网站上查询来免费获得大尺寸图像,作为有潜力的带有标签名的弱标签数据源。本发明专利技术提出并训练了一个similarityNet网络,这个网络能输出一个相似度二维向量来很好判断两张图片是否属于同一类别。其次本发明专利技术通过网络延伸出一种给webimages提供权重得分的方法,并配合加权分类loss能有效的去噪webimages数据后并将其作为训练样本运用在弱监督细粒度图片分类任务中,从而解决了细粒度图片分类缺乏大量人为标注大量图片数据集的问题。

【技术实现步骤摘要】

本专利技术属于图像识别,具体涉及一种基于相似度转移的弱监督细粒度图片分类方法及系统


技术介绍

1、近年来深度学习在计算机视觉任务上取得显著的进步,这一进步的很大一部分来自于可用的大规模标注数据集。特别是在细粒度图片分类这一任务中,细粒度类别与已知基本类别之间的细微差异极大的推动了对丰富样本的需求,但是,对于一个新的细粒度类别图片进行图片标注要求标注人员拥有相关的专家知识。因此标记良好的训练图像的标注成本变得较为高昂,从而限制了细粒度图片分类任务的发展。在具体的实践中,我们可能只有少量标记良好的已知基础类别的数据集,但是标注好的新细粒度类别图片缺比较稀缺,所以当下细粒度图片识别任务最关键的问题是如何花费最少的成本并且能够正确得识别出新的细粒度类别,其中基础类别和新类别之间没有重叠。

2、这样的场景就促进了弱监督学习的产生。弱监督的定义取决于不同的任务,并且同一个任务也可以有不同级别的弱标注,也就是不同程度的"弱"。比如,对于图像分类任务来说,有噪音的图像标签属于弱标注。对于目标检测任务和语义分割任务来说,图像标签属于弱标注。说到不同程度的"弱"本文档来自技高网...

【技术保护点】

1.基于相似度转移的弱监督细粒度图片分类方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于相似度转移的弱监督细粒度图片分类方法,其特征在于,在训练主分类器的时候额外施加图正则化loss使得两幅相似的样本图片的特征向量更为相似,以防特征空间被噪声样本干扰。

3.根据权利要求1或2所述的基于相似度转移的弱监督细粒度图片分类方法,其特征在于,在步骤二训练similarityNet的过程中使用对抗性损失,使得在训练过程中base类别和novel类别变得更加难以区分,使得相似度转移变得更可靠。

4.根据权利要求1所述的基于相似度转移的弱监督细粒度图片...

【技术特征摘要】

1.基于相似度转移的弱监督细粒度图片分类方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于相似度转移的弱监督细粒度图片分类方法,其特征在于,在训练主分类器的时候额外施加图正则化loss使得两幅相似的样本图片的特征向量更为相似,以防特征空间被噪声样本干扰。

3.根据权利要求1或2所述的基于相似度转移的弱监督细粒度图片分类方法,其特征在于,在步骤二训练similaritynet的过程中使用对抗性损失,使得在训练过程中base类别和novel类别变得更加难以区分,使得相似度转移变得更可靠。

4.根据权利要求1所述的基于相似度转移的弱监督细粒度图片分类方法,其特征在于,主分类器由resnet-50和一个分类全连接层构成,通过将数据集中每张图片的样本权重wc,i加权到分类loss中,在分类loss的约束下抑制噪声图片对主分类器的影响并且能促进非噪声图片对分类器分类的鲁棒性做出更多贡献;分类loss公式为:

5.根据权利要求4所述的基于相似度转移的弱监督细粒度图片分类方法,其特征在于,使用转移的相似性来纠正误导的特征图结构;具体来说,使用通过转移相似性形成的典型特征图正则化来调节特征,使得语义相似的图片特征变得更为接近;具体形式上,对于每个batch中的m张图片,首先利用在base训练集上训练的similaritynet网络得到每两两张图片的相似度二维向量然后通过计算得到相似度矩阵该矩阵为对称矩阵,则图正则化损失公式如下:

【专利技术属性】
技术研发人员:周文晖曾凡昱郑磊郭紫俐戴国骏张桦孙颖飞丁煜袁鹏举梅文龙
申请(专利权)人:杭州电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1