一种基于深度学习的含噪数据下的多标签图像识别方法技术

本发明专利技术提供一种基于深度学习的含噪数据下的多标签图像识别方法，包括获取多标签含噪数据集并进行预处理；建立双分支多标签修正神经网络模型；将预处理后的多标签含噪数据集输入双分支多标签修正神经网络模型中进行对比学习训练，获得优化后的双分支多标签修正神经网络模型；获取待修正的含噪图片，利用优化后的双分支多标签修正神经网络模型对待修正的含噪图片进行修正，根据修正标签对待修正的含噪图片进行图像识别；本发明专利技术能够对多标签含噪数据集进行标签修正，节省人力物力成本，实现对数据资源的高效利用；同时预测结果更具有鲁棒性；另外，本发明专利技术根据对训练图片的预测值规定了上下界，能够减弱噪声，避免对噪声的过拟合。合。合。

【技术实现步骤摘要】
一种基于深度学习的含噪数据下的多标签图像识别方法


[0001]本专利技术涉及计算机视觉和图像多标签分类
，更具体地，涉及一种基于深度学习的含噪数据下的多标签图像识别方法。

技术介绍

[0002]随着互联网技术的不断发展，人工智能技术日益成熟，深度学习已经成为人工智能技术中最火的分支之一。深度学习因其性能表现优异，框架丰富、调用方便、入门简单而备受欢迎。然而，传统的深度学习算法需要大量人工标注的样本作为数据集，这些数据集通常样本量巨大，常多达上万甚至数十万个样本，且要求每个样本的标签准确无误。因此，制作适于训练的优质数据集需要很大的人力和资金成本，给深度学习的进一步发展带来较大的阻碍。另一方面，互联网上存在大量含有标签噪声的数据，即部分数据的标签是错误的，利用爬虫可以很方便地获得这些数据。传统的深度学习算法只能利用干净的、标签正确的数据进行训练，对于多标签含噪数据，传统的深度学习算法并不能利用这些数据，从而造成数据资源的浪费。
[0003]以橘子图片的识别为例，网络上有许多标签为“橘子”的图片，通过对这些图片进行分析后发现，有许多图片是错误标注的，如把与橘子形状、外观相似的柠檬的图片标注为“橘子”，将这类错误标注称为第一类错误标注；又或者将与橘子相去甚远的物体，如橘黄色的夕阳标注为“橘子”，将这类错误标注称为第二类错误标注。如果直接将这些带有错误标签的数据用于训练传统的深度学习网络，网络将会学习到许多错误的数据，导致模型的泛化效果很差，难以落地应用。面对这种情况，有两种方法进行改善：其一是人工重新为图片标注，这将耗费极大的人力物力；其二是直接丢弃这部分数据集，而这也白白浪费了数据资源。
[0004]因此，如何方便地利用这些含噪数据集来训练神经网络，是深度学习未来发展急需解决的问题之一，也是大数据时代发展的趋势。
[0005]目前的现有技术公开了一种基于元学习的弱监督图像多标签分类方法，通过提出一个基于标签信息增强的图像多标签分类模型，采用编码
‑
解码架构的神经网络，以序列标注的形式，依次判断标签序列中的标签是否相关，获得图像的相关标签；应对弱监督环境存在的监督信息不足导致模型过拟合现象，还提出了基于元学习的教师
‑
学生网络架构训练方法，进一步提高图像标注的准确率；现有技术中方法只侧重于解决因标签缺失而无法有效建模的问题，对于无标签或标签错误的图片无法进行有效修正，对于含有大量噪声和错误标签的数据集标注的准确率也较低。

技术实现思路

[0006]本专利技术为克服上述现有技术在对含有多种噪声标签的数据集进行修正时效果不佳的缺陷，提供一种基于深度学习的含噪数据下的多标签图像识别方法，能够对多标签含噪数据集进行标签修正，节省人力物力成本，实现对数据资源的高效利用。
[0007]为解决上述技术问题，本专利技术的技术方案如下：一种基于深度学习的含噪数据下的多标签图像识别方法，包括以下步骤：S1：获取多标签含噪数据集并进行预处理；S2：建立双分支多标签修正神经网络模型；S3：将预处理后的多标签含噪数据集输入双分支多标签修正神经网络模型中进行对比学习训练，获得优化后的双分支多标签修正神经网络模型；S4：获取待修正的含噪图片，利用优化后的双分支多标签修正神经网络模型对待修正的含噪图片进行修正，获得待修正的含噪图片的修正标签，根据修正标签对待修正的含噪图片进行图像识别。
[0008]优选地，所述步骤S1中，获取多标签含噪数据集并进行预处理的具体方法为：根据预设的K个多标签分类类别k获取多标签含噪数据集；将获得的多标签含噪数据集划分为训练集和验证集，所述训练集包括N张图片，每张图片标注有伪标签，将训练集记为X；将训练集再次划分为两个图片数量相等的第一子训练集D1和第二子训练集D2，其中，，，，表示第i张图片及其对应的伪标签；确定每个子训练集中图片的长宽数据和伪标签的值，其中，图片的长记为H，图片的宽记为W；完成多标签含噪数据集的预处理。
[0009]优选地，确定每个子训练集中图片的伪标签的值的具体方法为：判断每个子训练集中的图片是否属于预设的多标签分类类别k，如果属于，则第i张图片相对多标签分类类别k的伪标签的值，否则。
[0010]优选地，所述步骤S2中的双分支多标签修正神经网络模型具体为：所述双分支多标签修正神经网络模型包括并列设置的第一标签修正子模型M1和第二标签修正子模型M2；所述第一标签修正子模型M1和第二标签修正子模型M2的结构相同且模型参数不同；所述第一标签修正子模型M1或第二标签修正子模型M2包括依次连接的特征提取器、实例对比学习模块、类别原型对比学习模块、分类器和标签修正模块。
[0011]优选地，所述步骤S3中，将预处理后的多标签含噪数据集输入双分支多标签修正神经网络模型中进行对比学习训练，获得优化后的双分支多标签修正神经网络模型，具体方法为：S3.1：将第一子训练集D1中的图片和第二子训练集D2中的图片共同输入双分支多标签修正神经网络模型中，其中，满足；S3.2：分别利用第一标签修正子模型M1和第二标签修正子模型M2中的特征提取器对输入的图片和图片进行特征提取，分别获得第一特征和第二特征，以及第三特征和第四特征；S3.3：将第一特征和第二特征共同输入第一标签修正子模型M1的实例对比学习模块，将第三特征和第四特征共同输入第二标签修正子模型M2的实例对比
学习模块，对图片的第一特征和第三特征进行第一次对比学习，对图片的第二特征和第四特征进行第一次对比学习，并设置第一损失函数分别对第一标签修正子模型M1和第二标签修正子模型M2的实例对比学习模块进行参数更新；S3.4：将第一特征输入第一标签修正子模型M1的类别原型对比学习模块，与预设的第一类别原型特征进行第二次对比学习，将第四特征输入第二标签修正子模型M2的类别原型对比学习模块，与预设的第二类别原型特征进行第二次对比学习，并设置第二损失函数分别对第一标签修正子模型M1和第二标签修正子模型M2的类别原型对比学习模块进行参数更新；S3.5：将第一特征输入第一标签修正子模型M1的分类器中，计算输出图片的分类概率；将第四特征输入第二标签修正子模型M2的分类器中，计算输出图片的分类概率；S3.6：将图片的分类概率输入第一标签修正子模型M1的标签修正模块，对图片的伪标签进行标签修正，获得图片的修正标签；将图片的分类概率输入第二标签修正子模型M2的标签修正模块，对图片的伪标签进行标签修正，获得图片的修正标签；并设置第三损失函数分别计算第一标签修正子模型M1的标签修正模块和第二标签修正子模型M2的标签修正模块的交叉熵损失，进行参数更新；S3.7：根据第一损失函数、第二损失函数和第三损失函数设置总损失函数对双分支多标签修正神经网络模型进行参数更新，获得优化后的双分支多标签修正神经网络模型。
[0012]优选地，所述步骤S3.3的具体方法为：将第一特征和第二特征共同输入第一标签修正子模型M1的实例对比学习模块，将第三特征和第四特征共同输入第二标签修正子模型M2的实例对比学习模块；对于图片，根据第一特征和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的含噪数据下的多标签图像识别方法，其特征在于，包括以下步骤：S1：获取多标签含噪数据集并进行预处理；S2：建立双分支多标签修正神经网络模型；S3：将预处理后的多标签含噪数据集输入双分支多标签修正神经网络模型中进行对比学习训练，获得优化后的双分支多标签修正神经网络模型；S4：获取待修正的含噪图片，利用优化后的双分支多标签修正神经网络模型对待修正的含噪图片进行修正，获得待修正的含噪图片的修正标签，根据修正标签对待修正的含噪图片进行图像识别。2.根据权利要求1所述的一种基于深度学习的含噪数据下的多标签图像识别方法，其特征在于，所述步骤S1中，获取多标签含噪数据集并进行预处理的具体方法为：根据预设的K个多标签分类类别k获取多标签含噪数据集；将获得的多标签含噪数据集划分为训练集和验证集，所述训练集包括N张图片，每张图片标注有伪标签，将训练集记为X；将训练集再次划分为两个图片数量相等的第一子训练集D1和第二子训练集D2，其中，，，，表示第i张图片及其对应的伪标签；确定每个子训练集中图片的长宽数据和伪标签的值，其中，图片的长记为H，图片的宽记为W；完成多标签含噪数据集的预处理。3.根据权利要求2所述的一种基于深度学习的含噪数据下的多标签图像识别方法，其特征在于，确定每个子训练集中图片的伪标签的值的具体方法为：判断每个子训练集中的图片是否属于预设的多标签分类类别k，如果属于，则第i张图片相对多标签分类类别k的伪标签的值，否则。4.根据权利要求1所述的一种基于深度学习的含噪数据下的多标签图像识别方法，其特征在于，所述步骤S2中的双分支多标签修正神经网络模型具体为：所述双分支多标签修正神经网络模型包括并列设置的第一标签修正子模型M1和第二标签修正子模型M2；所述第一标签修正子模型M1和第二标签修正子模型M2的结构相同且模型参数不同；所述第一标签修正子模型M1或第二标签修正子模型M2包括依次连接的特征提取器、实例对比学习模块、类别原型对比学习模块、分类器和标签修正模块。5.根据权利要求4所述的一种基于深度学习的含噪数据下的多标签图像识别方法，其特征在于，所述步骤S3中，将预处理后的多标签含噪数据集输入双分支多标签修正神经网络模型中进行对比学习训练，获得优化后的双分支多标签修正神经网络模型，具体方法为：S3.1：将第一子训练集D1中的图片和第二子训练集D2中的图片共同输入双分支多标签修正神经网络模型中，其中，满足；S3.2：分别利用第一标签修正子模型M1和第二标签修正子模型M2中的特征提取器对输入的图片和图片进行特征提取，分别获得第一特征和第二特征，以及第三
特征和第四特征；S3.3：将第一特征和第二特征共同输入第一标签修正子模型M1的实例对比学习模块，将第三特征和第四特征共同输入第二标签修正子模型M2的实例对比学习模块，对图片的第一特征和第三特征进行第一次对比学习，对图片的第二特征和第四特征进行第一次对比学习，并设置第一损失函数分别对第一标签修正子模型M1和第二标签修正子模型M2的实例对比学习模块进行参数更新；S3.4：将第一特征输入第一标签修正子模型M1的类别原型对比学习模块，与预设的第一类别原型特征进行第二次对比学习，将第四特征输入第二标签修正子模型M2的类别原型对比学习模块，与预设的第二类别原型特征进行第二次对比学习，并设置第二损失函数分别对第一标签修正子模型M1和第二标签修正子模型M2的类别原型对比学习模块进行参数更新；S3.5：将第一特征输入第一标签修正子模型M1的分类器中，计算输出图片的分类概率；将第四特征输入第二标签修正子模型M2的分类器中，计算输出图片的分类概率；S3.6：将图片的分类概率输入第一标签修正子模型M1的标签修正模块，对图片的伪标签进行标签修正，获得图片的修正标签；将图片的分类概率输入第二标签修正子模型M2的标签修正模块，对图片的伪标签进行标签修正，获得图片的修正标签；并设置第三损失函数分别计算第一标签修正子模型M1的标签修正模块和第二标签修正子模型M2的标签修正模块的交叉熵损失，进行参数更新；S3.7：根据第一损失函数、第二损失函数和第三损失函数设置总损失函数对双分支多标签修正神经网络模型进行参数更新，获得优化后的双分支多标签修正神经网络模型。6.根据权利要求5所述的一种基于深度学习的含噪数据下的多标签图像识别方法，其特征在于，所述步骤S3.3的具体方法为：将第一特征和第二特征共同输入第一标签修正子模型M1的实例对比学习模块，将第三特征和第四特征共同输入第二标签修正子模型M2的...

【专利技术属性】
技术研发人员：陈添水，徐志华，黄衍聪，柯梓铭，付晨博，范耀洲，杨志景，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：