【技术实现步骤摘要】
一种基于深度学习的含噪数据下的多标签图像识别方法
[0001]本专利技术涉及计算机视觉和图像多标签分类
,更具体地,涉及一种基于深度学习的含噪数据下的多标签图像识别方法。
技术介绍
[0002]随着互联网技术的不断发展,人工智能技术日益成熟,深度学习已经成为人工智能技术中最火的分支之一。深度学习因其性能表现优异,框架丰富、调用方便、入门简单而备受欢迎。然而,传统的深度学习算法需要大量人工标注的样本作为数据集,这些数据集通常样本量巨大,常多达上万甚至数十万个样本,且要求每个样本的标签准确无误。因此,制作适于训练的优质数据集需要很大的人力和资金成本,给深度学习的进一步发展带来较大的阻碍。另一方面,互联网上存在大量含有标签噪声的数据,即部分数据的标签是错误的,利用爬虫可以很方便地获得这些数据。传统的深度学习算法只能利用干净的、标签正确的数据进行训练,对于多标签含噪数据,传统的深度学习算法并不能利用这些数据,从而造成数据资源的浪费。
[0003]以橘子图片的识别为例,网络上有许多标签为“橘子”的图片,通过对这些图片进行分析后发现,有许多图片是错误标注的,如把与橘子形状、外观相似的柠檬的图片标注为“橘子”,将这类错误标注称为第一类错误标注;又或者将与橘子相去甚远的物体,如橘黄色的夕阳标注为“橘子”,将这类错误标注称为第二类错误标注。如果直接将这些带有错误标签的数据用于训练传统的深度学习网络,网络将会学习到许多错误的数据,导致模型的泛化效果很差,难以落地应用。面对这种情况,有两种方法进行改善:其一是人工重新为图片标 ...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的含噪数据下的多标签图像识别方法,其特征在于,包括以下步骤:S1:获取多标签含噪数据集并进行预处理;S2:建立双分支多标签修正神经网络模型;S3:将预处理后的多标签含噪数据集输入双分支多标签修正神经网络模型中进行对比学习训练,获得优化后的双分支多标签修正神经网络模型;S4:获取待修正的含噪图片,利用优化后的双分支多标签修正神经网络模型对待修正的含噪图片进行修正,获得待修正的含噪图片的修正标签,根据修正标签对待修正的含噪图片进行图像识别。2.根据权利要求1所述的一种基于深度学习的含噪数据下的多标签图像识别方法,其特征在于,所述步骤S1中,获取多标签含噪数据集并进行预处理的具体方法为:根据预设的K个多标签分类类别k获取多标签含噪数据集;将获得的多标签含噪数据集划分为训练集和验证集,所述训练集包括N张图片,每张图片标注有伪标签,将训练集记为X;将训练集再次划分为两个图片数量相等的第一子训练集D1和第二子训练集D2,其中,,,,表示第i张图片及其对应的伪标签;确定每个子训练集中图片的长宽数据和伪标签的值,其中,图片的长记为H,图片的宽记为W;完成多标签含噪数据集的预处理。3.根据权利要求2所述的一种基于深度学习的含噪数据下的多标签图像识别方法,其特征在于,确定每个子训练集中图片的伪标签的值的具体方法为:判断每个子训练集中的图片是否属于预设的多标签分类类别k,如果属于,则第i张图片相对多标签分类类别k的伪标签的值,否则。4.根据权利要求1所述的一种基于深度学习的含噪数据下的多标签图像识别方法,其特征在于,所述步骤S2中的双分支多标签修正神经网络模型具体为:所述双分支多标签修正神经网络模型包括并列设置的第一标签修正子模型M1和第二标签修正子模型M2;所述第一标签修正子模型M1和第二标签修正子模型M2的结构相同且模型参数不同;所述第一标签修正子模型M1或第二标签修正子模型M2包括依次连接的特征提取器、实例对比学习模块、类别原型对比学习模块、分类器和标签修正模块。5.根据权利要求4所述的一种基于深度学习的含噪数据下的多标签图像识别方法,其特征在于,所述步骤S3中,将预处理后的多标签含噪数据集输入双分支多标签修正神经网络模型中进行对比学习训练,获得优化后的双分支多标签修正神经网络模型,具体方法为:S3.1:将第一子训练集D1中的图片和第二子训练集D2中的图片共同输入双分支多标签修正神经网络模型中,其中,满足;S3.2:分别利用第一标签修正子模型M1和第二标签修正子模型M2中的特征提取器对输入的图片和图片进行特征提取,分别获得第一特征和第二特征,以及第三
特征和第四特征;S3.3:将第一特征和第二特征共同输入第一标签修正子模型M1的实例对比学习模块,将第三特征和第四特征共同输入第二标签修正子模型M2的实例对比学习模块,对图片的第一特征和第三特征进行第一次对比学习,对图片的第二特征和第四特征进行第一次对比学习,并设置第一损失函数分别对第一标签修正子模型M1和第二标签修正子模型M2的实例对比学习模块进行参数更新;S3.4:将第一特征输入第一标签修正子模型M1的类别原型对比学习模块,与预设的第一类别原型特征进行第二次对比学习,将第四特征输入第二标签修正子模型M2的类别原型对比学习模块,与预设的第二类别原型特征进行第二次对比学习,并设置第二损失函数分别对第一标签修正子模型M1和第二标签修正子模型M2的类别原型对比学习模块进行参数更新;S3.5:将第一特征输入第一标签修正子模型M1的分类器中,计算输出图片的分类概率;将第四特征输入第二标签修正子模型M2的分类器中,计算输出图片的分类概率;S3.6:将图片的分类概率输入第一标签修正子模型M1的标签修正模块,对图片的伪标签进行标签修正,获得图片的修正标签;将图片的分类概率输入第二标签修正子模型M2的标签修正模块,对图片的伪标签进行标签修正,获得图片的修正标签;并设置第三损失函数分别计算第一标签修正子模型M1的标签修正模块和第二标签修正子模型M2的标签修正模块的交叉熵损失,进行参数更新;S3.7:根据第一损失函数、第二损失函数和第三损失函数设置总损失函数对双分支多标签修正神经网络模型进行参数更新,获得优化后的双分支多标签修正神经网络模型。6.根据权利要求5所述的一种基于深度学习的含噪数据下的多标签图像识别方法,其特征在于,所述步骤S3.3的具体方法为:将第一特征和第二特征共同输入第一标签修正子模型M1的实例对比学习模块,将第三特征和第四特征共同输入第二标签修正子模型M2的...
【专利技术属性】
技术研发人员:陈添水,徐志华,黄衍聪,柯梓铭,付晨博,范耀洲,杨志景,
申请(专利权)人:广东工业大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。