在标签含噪情况下基于质量嵌入的图像分类方法及系统技术方案

本发明专利技术提供一种在标签含噪情况下基于质量嵌入的图像分类方法及系统，包括：网络图片标签收集步骤；标签质量因子嵌入步骤：在有监督的图像分类模型中引入标签质量因子，用于控制带噪标签的预测值生成和吸收来自错误标签的误差回传信息；利用最大化对数似然函数，设计加入标签质量因子之后的优化目标函数；网络模型构建步骤：利用深度神经网络对优化目标函数进行建模；网络参数训练步骤：将训练图片和带噪声的标签输入网络模型，使用变种的随机梯度下降法端到端的联动训练模型，同时更新模型参数；图像分类步骤。本发明专利技术将图片真实标签、用户提供标签和图片标签质量三个变量统一建模，形成对含噪标签的监督学习，能得到较为准确的图像分类结果。

Image classification method and system based on mass embedding in the case of label noise

The invention provides a label in the noisy case and system, image classification method based on the embedded network quality include: the image tag collection step; label quality factor into the steps of introducing a label quality factor in supervised image classification model in noisy labels is used to control the predictive value of error feedback information from generation and absorption wrong label; by using maximum likelihood function, design optimization function after adding label quality factor; network model construction steps: modeling the optimization objective function by using the depth neural network; network parameters training steps: training images and noisy input tag network model, end to end the linkage training model of stochastic gradient use the variant descent method and update the model parameters; image classification procedures. The invention constructs unified modeling of three variables of picture real label, user supplied label and picture label quality, forming supervised learning for noisy tags, and obtaining accurate image classification results.

【技术实现步骤摘要】
在标签含噪情况下基于质量嵌入的图像分类方法及系统
本专利技术涉及计算机视觉和数据挖掘领域，具体地，特别涉及标签含有噪声情况下的图片标签学习方法及系统。
技术介绍
图像识别是人工智能领域的一项基础而重要的任务，其应用跨越了自然科学，医药学，工业等多个领域。随着深度学习的迅猛发展，利用卷积神经网络训练得到的图像分类器获得了空前成功。然而深度学习框架下的图像分类学习依赖于大规模高品质的训练数据，包括清晰的图像和精确的标签。这样的训练数据往往来自于人工收集和标注，这将消耗大量的人力物力，使得处理新领域的图像识别问题变得相对昂贵和低效。由于网络技术，社交媒体的迅速发展以及人们对网络自媒体的热爱，互联网络中存在数不胜数的图片数据。图片社交平台如Flickr和网易LOFTER拥有近千百万的用户提供的图片数据以及标签信息。如果能将这些图片和标签数据用于深度神经网络模型的训练，将大大提升数据集的种类和数量，帮助深度神经网络更快速的迁移到不同领域的图像识别问题中。使用互联网用户上传的图片和标签作为训练数据可以很好的解决人工标记数据的局限，但是也会带来相应的问题和挑战。大型人工标记数据集提供的图片数据品质好且标签完备，因此基于此类数据集训练得到的神经网络分类器模型准确率高。相比之下，网络图片以及用户标签存在质量不佳标签不准确的特性。如果利用存在大量噪声的图片标签数据，会大大降低模型的预测可靠度。因此，研究如何充分利用网络图片以及用户提供标签这一取之不尽的数据资源，进行有效的图片标签学习得到了更多的关注。传统的利用带噪标签进行图片标签学习的方法有设计鲁棒的损失函数、统计查询、模拟噪声特性等等。其中一些方法需要一部分干净的标签数据来辅助训练图像分类器；另外一些尝试建立模型模拟数据噪声的分布，图片中真实标签与用户提供标签之间的差异带来的噪声，却没有考虑的图片质量好坏，以及用户提供标签的准确程度，其分类识别的的效果达不到预期。
技术实现思路
本专利技术的目的是克服现有技术的不足，提供一种在标签含噪情况下基于质量嵌入的图像分类方法及系统，以解决现有技术中使用带噪声的标签图片训练图像分类器时不考虑图片标签本身质量的问题。根据本专利技术的一个方面，提供一种在标签含噪情况下基于质量嵌入的图像分类方法，包括：网络图片标签收集步骤：从网络图片分享平台上获取大量图片和用户提供的标签信息，按照所需种类进行过滤和整理，以便用于图像分类器的训练；标签质量因子嵌入步骤：在有监督的图像分类模型中引入标签质量因子，用于控制带噪标签的预测值生成和吸收来自错误标签的误差回传信息；利用最大化对数似然函数，设计加入标签质量因子之后的优化目标函数；网络模型构建步骤：利用深度神经网络对优化目标函数进行建模，得到整体网络模型，其包括四个子模型，分别为编码模型、采样模型、解码模型和分类模型；网络参数训练步骤：将网络图片标签收集步骤得到的训练图片和带噪声的标签输入网络模型构建步骤得到的整体网络模型，使用变种的随机梯度下降法端到端的联动训练上述四个子模型，同时更新四个子模型的模型参数；图像分类步骤：对于要求分类的新图片，输入至训练好的分类模型，得到对图片真实标签的预测。优选地，所述网络图片标签收集步骤，运用了网络爬虫技术，在图片社交网站上收集所需要的大量图片以及用户标注的标签，并按照所需种类对标签和图片进行过滤和整理，比如保留含有总数m类中一个或一个以上标签的图片。优选地，所述标签质量因子嵌入步骤，在现有的有监督的图像分类模型中，加入图片标签质量因子的嵌入，使新的优化目标函数为：其中xm和ym分别是第m张图片的像素集合和相应用户提供的噪声标签，zm和sm分别是代表图片真实标签和标签质量的隐藏变量，M代表用于训练的图片总数。新的优化目标函数由于加入了标签质量因子，对训练数据集中错误的标签造成的不良影响有吸收作用。同时，由于该目标函数的梯度函数难以计算，因此首先转而优化其证据下界(ELBO)，同时利用重参技巧简化训练所需的计算资源，得到最终的优化目标函数公式组合。优选地，所述网络模型构建步骤，利用深度神经网络对最终的优化目标函数公式组合分别进行建模，得到整体网络模型，其包括四个子模型：编码模型、采样模型、解码模型和分类模型；其中，所述编码模型，采用卷积神经网络，用于从图片内容X生成噪声标签的先验预测并联合噪声标签y对标签质量分布q(S|X,Y)和真实标签分布q(Z|X,Y)进行预测。其中，所述采样模型，用于将编码模型生成的标签质量分布q(S|X,Y)和真实标签分布q(Z|X,Y)映射为确切值S和Z。其中，所述解码模型，所采用的方法为神经网络，其输入为采样模型的输出标签质量S和真实标签Z，用于生成对噪声标签的后验预测q(Y|Z,S)。其中，所述分类模型，所采用的方法为卷积神经网络，其利用图片生成对真实标签Z的预测。优选地，所述网络参数训练步骤，利用解码模型恢复的噪声标签后验预测q(Y|Z,S)进行有监督的模型训练，计算编码模型、采样模型、解码模型的回传梯度，更新这三个子模型的参数，同时，利用在编码模型中得到的真实标签分布q(Z|X,Y)对分类模型进行有监督的模型训练，计算神经网络回传梯度，更新分类模型的参数。优选地，所述图像分类步骤，将所需要进行图像分类的图片输入训练好的分类模型中，得到对图像真实标签的预测，同时产生图像的分类结果。根据本专利技术的第二方面，提供一种在标签含噪情况下基于质量嵌入的图像分类系统，包括：网络图片标签收集模块：从网络图片分享平台上获取大量图片和用户提供的标签信息并按照所需种类进行过滤和整理；标签质量因子嵌入模块：在传统有监督的图像分类模型中引入标签质量因子来控制带噪标签的预测值生成和吸收来自错误标签的误差回传信息，计算图像分类模型对应的对数似然函数作为训练的优化目标函数；网络模型构建模块：用于利用深度神经网络对所述优化目标函数进行建模，分别得到编码模型、采样模型和解码模型和分类模型四个子模型；网络参数训练模块：将训练图片和带噪声的标签输入整体网络模型，使用变种的随机梯度下降法端到端的联动训练四个子模型，同时更新这四个子模型的参数；新图像分类任务处理模块：对于要求分类的新图片，输入至训练好的分类模型，得到对图片真实标签的预测。优选地，所述标签质量因子嵌入模块，在现有的有监督的图像分类模型中，加入图片标签质量因子的嵌入，使新的优化目标函数为：其中xm和ym分别是第m张图片的像素集合和相应用户提供的噪声标签，zm和sm分别是代表图片真实标签和标签质量的隐藏变量，M代表用于训练的图片总数；新的优化目标函数由于加入了标签质量因子，对训练数据集中错误的标签造成的不良影响有吸收作用，同时，该新的优化目标函数的梯度函数难以计算，因此首先转而优化其证据下界，同时利用重参技巧简化训练所需的计算资源，得到最终的优化目标函数公式组合。优选地，所述网络模型构建模块，利用深度神经网络对最终的优化目标函数公式组合分别进行建模，得到四个模型：编码模型、采样模型、解码模型和分类模型；其中：所述编码模型，采用卷积神经网络，用于从图片内容X生成噪声标签的先验预测并联合噪声标签y对标签质量分布q(S|X,Y)和真实标签分布q(Z|X,Y)进行预测；所述采样模型，用于将编码模型生成的标签质量分布q(S|本文档来自技高网...

【技术保护点】
一种在标签含噪情况下基于质量嵌入的图像分类方法，其特征在于：包括：网络图片标签收集步骤：从网络图片分享平台上获取大量图片和用户提供的标签信息，按照所需种类进行过滤和整理，以便用于图像分类器的训练；标签质量因子嵌入步骤：在有监督的图像分类模型中引入标签质量因子，用于控制带噪标签的预测值生成和吸收来自错误标签的误差回传信息；利用最大化对数似然函数，设计加入标签质量因子之后的优化目标函数；网络模型构建步骤：利用深度神经网络对优化目标函数进行建模，得到四个模型，分别为编码模型、采样模型、解码模型和分类模型；网络参数训练步骤：将网络图片标签收集步骤得到的训练图片和带噪声的标签输入网络模型构建步骤得到的上述网络模型，使用变种的随机梯度下降法端到端的联动训练上述四个模型，同时更新模型参数，得到训练好的网络模型；图像分类步骤：对于要求分类的新图片，输入至训练好的分类模型，得到对图片真实标签的预测，同时产生图像的分类结果。

【技术特征摘要】
1.一种在标签含噪情况下基于质量嵌入的图像分类方法，其特征在于：包括：网络图片标签收集步骤：从网络图片分享平台上获取大量图片和用户提供的标签信息，按照所需种类进行过滤和整理，以便用于图像分类器的训练；标签质量因子嵌入步骤：在有监督的图像分类模型中引入标签质量因子，用于控制带噪标签的预测值生成和吸收来自错误标签的误差回传信息；利用最大化对数似然函数，设计加入标签质量因子之后的优化目标函数；网络模型构建步骤：利用深度神经网络对优化目标函数进行建模，得到四个模型，分别为编码模型、采样模型、解码模型和分类模型；网络参数训练步骤：将网络图片标签收集步骤得到的训练图片和带噪声的标签输入网络模型构建步骤得到的上述网络模型，使用变种的随机梯度下降法端到端的联动训练上述四个模型，同时更新模型参数，得到训练好的网络模型；图像分类步骤：对于要求分类的新图片，输入至训练好的分类模型，得到对图片真实标签的预测，同时产生图像的分类结果。2.根据权利要求1所述在标签含噪情况下基于质量嵌入的图像分类方法，其特征在于：所述标签质量因子嵌入步骤中，在现有的有监督的图像分类模型中，加入图片标签质量因子的嵌入，使新的优化目标函数为：其中xm和ym分别是第m张图片的像素集合和相应用户提供的噪声标签，zm和sm分别是代表图片真实标签和标签质量的隐藏变量，M代表用于训练的图片总数；新的优化目标函数由于加入了标签质量因子，对训练数据集中错误的标签造成的不良影响有吸收作用，同时，该新的优化目标函数的梯度函数难以计算，因此首先转而优化其证据下界，同时利用重参技巧简化训练所需的计算资源，得到最终的优化目标函数公式组合。3.根据权利要求2所述在标签含噪情况下基于质量嵌入的图像分类方法，其特征在于：所述网络模型构建步骤，利用深度神经网络对最终的优化目标函数公式组合分别进行建模，得到四个模型：编码模型、采样模型、解码模型和分类模型；其中：所述编码模型，采用卷积神经网络，用于从图片内容X生成噪声标签的先验预测并联合噪声标签y对标签质量分布q(S|X,Y)和真实标签分布q(Z|X,Y)进行预测；所述采样模型，用于将编码模型生成的标签质量分布q(S|X,Y)和真实标签分布q(Z|X,Y)映射为确切值S和Z；所述解码模型，采用神经网络，其输入为采样模型的输出标签质量S和真实标签Z，用于生成对噪声标签的后验预测q(Y|Z,S)；所述分类模型，采用卷积神经网络，其利用图片生成对真实标签Z的预测。4.根据权利要求3所述在标签含噪情况下基于质量嵌入的图像分类方法，其特征在于：所述网络参数训练步骤，利用解码模型恢复的噪声标签后验预测q(Y|Z,S)进行有监督的模型训练，计算编码模型、采样模型、解码模型的回传梯度，更新模型参数，同时，利用在编码模型中得到的真实标签分布q(Z|X,Y)对分类模型进行有监督的模型训练，计算神经网络回传梯度，更新模型参数。5.根据权利要求1-4任一项所述在标签含噪情况下基于质量嵌入的图像分类方法，其特征在于：所述网络图片标签收集步骤中，运用了网络爬虫技术，在图...

【专利技术属性】
技术研发人员：张娅，姚江超，王嘉杰，王延峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31