图像多标签分类方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种图像多标签分类方法，涉及图像分类技术领域，用于解决现有图像单标签分类不准确的问题，该方法包括以下步骤：接收图像及所述图像的标注数据，将预处理后的所述图像及所述图像的标注数据按预设比例分成训练集及测试集；将所述训练集输入预设卷积神经网络模型进行训练；将图像特征数据输入Attention机制模型进行标签相关性学习，得到初始模型；通过所述测试集对所述初始模型进行校正测试，输出多标签分类模型。本发明专利技术还公开了一种图像多标签分类装置、电子设备和计算机存储介质。本发明专利技术通过卷积神经网络加Attention机制进行图像标签分类学习，进而获得一个可识别图像多标签的模型。

Image multi label classification method, device, equipment and media

【技术实现步骤摘要】
图像多标签分类方法、装置、设备及介质
本专利技术涉及图像分类
，尤其涉及一种图像多标签分类方法、装置、设备及介质。
技术介绍
图像分类技术是当前应用最为广泛的人工智能技术之一，图像分类指的是从给定的分类集合中为图像分配标签的过程，这些标签通常是来自预先定义好的指定类别集。目前的图像分类技术主要是单标签图像分类技术，即对一个图像只分配一个标签，单标签图像分类技术已是成熟的现有技术；但是在很多时候，单标签并不能充分表达图像中所包含的具体内容，例如，一张图像中有爆炸和军装，常用的内容审核图像单标签分类是看爆炸和军装哪个类别标签在图片中占比较大，就给这张图像分配哪个标签，但得到图像中既有爆炸标签又有军装标签的结果才更能充分表达图像内容。因此，亟需一种可以为图像匹配多标签的方法。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种图像多标签分类方法，其通过卷积神经网络提取标签的图像特征，并通过Attention机制模型得到各标签之间的相关性，进而得到一个高准确度的图像多标签分类模型。本专利技术的目的之一采用以下技术方案实现：一种图像多标签分类方法，包括以下步骤：接收图像及所述图像的标注数据，并对所述图像进行预处理，将预处理后的所述图像及所述图像的标注数据按预设比例分成训练集及测试集；将所述训练集输入预设卷积神经网络模型进行训练，得到图像特征数据；将所述图像特征数据及所述预设卷积神经网络模型的中间计算参数，输入Attention机制模型进行标签相关性学习，得到初始模型；通过所述测试集对所述初始模型进行校正测试，将满足评价指标的所述初始模型作为多标签分类模型输出。进一步地，所述预处理包括图像均衡化、图像翻转、仿射变换、图像增强、图像格式转换、数据去重中的一种或多种。进一步地，所述预设卷积神经网络模型为DenseNet模型。进一步地，所述图像为同一标签集合下的图像。进一步地，通过所述测试集对所述初始模型进行校正测试，还包括以下步骤：构建损失函数，通过随机梯度下降法优化所述初始模型；通过测试集对优化后的所述初始模型进行测试；当优化后的所述初始模型达到或超过评价指标时，所述初始模型作为多标签分类模型。进一步地，所述损失函数为交叉熵损失函数。进一步地，所述评价指标包括召回率、精准率、准确率和综合评价指标。本专利技术的目的之二在于提供一种图像多标签分类装置，其通过卷积神经网络提取标签的图像特征，并通过Attention机制模型得到各标签之间的相关性，进而得到一个高准确度的图像多标签分类模型。本专利技术的目的之二采用以下技术方案实现：一种图像多标签分类装置，其包括：接收模块，用于接收图像及所述图像的标注数据，并对所述图像进行预处理，将预处理后的所述图像及所述图像的标注数据按预设比例分成训练集及测试集；训练模块，用于将所述训练集输入预设卷积神经网络模型进行训练，得到图像特征数据；并将所述图像特征数据及所述预设卷积神经网络模型的中间计算参数，输入Attention机制模型进行标签相关性学习，得到初始模型；测试模块，用于通过所述测试集对所述初始模型进行校正测试，将满足评价指标的所述初始模型作为多标签分类模型输出。本专利技术的目的之三在于提供执行专利技术目的之一的电子设备，其包括处理器、存储介质以及计算机程序，所述计算机程序存储于存储介质中，所述计算机程序被处理器执行时实现上述的图像多标签分类方法。本专利技术的目的之四在于提供存储专利技术目的之一的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像多标签分类方法。相比现有技术，本专利技术的有益效果在于：本专利技术通过卷积神经网络模型结合Attention机制模型可以学习到各标签之间以及标签及图像之间的相关性，有效地提高了多标签分类的精度，通过得到的多标签分类模型，就可以实现对图像的多标签分类。附图说明图1是实施例一的图像多标签分类方法的流程图；图2是实施例二的模型微调方法的流程图；图3是实施例三的图像多标签分类装置的结构框图；图4是实施例四的电子设备的结构框图。具体实施方式以下将结合附图，对本专利技术进行更为详细的描述，需要说明的是，以下参照附图对本专利技术进行的描述仅是示意性的，而非限制性的。各个不同实施例之间可以进行相互组合，以构成未在以下描述中示出的其他实施例。实施例一实施例一提供了一种图像多标签分类方法，旨在特征提取网络提取图像特征，得到图像特征与各标签的对应关系，并利用Attention机制模型学习得到各标签之间的相关性，以得到一个高精度的图像多标签分类模型。请参照图1所示，一种图像多标签分类方法，包括以下步骤：S110、接收图像及所述图像的标注数据，并对所述图像进行预处理，将预处理后的所述图像及所述图像的标注数据按预设比例分成训练集及测试集；S110中的预处理包括图像均衡化、图像翻转、仿射变换、图像增强、图像格式转换、数据去重中的一种或多种。上述的预处理主要是为了让图像数据分布平衡，并且通过图像翻转、图像增强等处理可以增加训练时的数据量。为了增加训练的准确度，本实施例所涉及的图像都是同一标签集合下的图像，例如所有图像都是{爆炸，枪支，军装，血腥}这一标签集合下的图像，S110中的图像标注数据指的是图像标签及标签在图像上的对应位置；图像标注数据包括人工标注好的图像标注数据，以及通过本实施例中多标签分类模型识别出的图像标注数据，即通过多标签模型识别出的图像及对应标签可以继续用来进行模型训练，以增加模型识别的准确率。为了便于测试最终模型的准确度，本实施例还会将图像划分为训练集和测试集，训练集和测试集的预设比例本实施例不作具体限定，可以根据实际图像数量进行划分，例如训练集:测试集=9:1。S120、将所述训练集输入预设卷积神经网络模型进行训练，得到图像特征数据；在S120中的预设卷积神经网络本实施例中选用DenseNet模型。相比于传统的卷积网络模型，DenseNet脱离了加深网络层数(ResNet)和加宽网络结构(Inception)来提升网络性能的定式思维,从特征的角度考虑,通过特征重用和旁路(Bypass)设置达到更好的效果和更少的参数。在DenseNet中，通过特征在channel上的连接来实现特征重用，即每个层从前面的所有层获得额外的输入，并将自己的特征映射传递到后续的所有层，使用级联方式，每一层都在接受来自前几层的“集体知识（collectiveknowledge）”，通过DenseNet的特征重用机制，可以缓解梯度消失现象，减少了模型参数。将图像及图像的标注文件输入到DenseNet模型中，就可以得到图像的特征及该图像特征对应的标签名称，DenseNet的具体计算过程是常见的现有技术，本实施例不本文档来自技高网...

【技术保护点】
1.一种图像多标签分类方法，其特征在于，包括以下步骤：/n接收图像及所述图像的标注数据，并对所述图像进行预处理，将预处理后的所述图像及所述图像的标注数据按预设比例分成训练集及测试集；/n将所述训练集输入预设卷积神经网络模型进行训练，得到图像特征数据；/n将所述图像特征数据及所述预设卷积神经网络模型的中间计算参数，输入Attention机制模型进行标签相关性学习，得到初始模型；/n通过所述测试集对所述初始模型进行校正测试，将满足评价指标的所述初始模型作为多标签分类模型输出。/n

【技术特征摘要】
1.一种图像多标签分类方法，其特征在于，包括以下步骤：
接收图像及所述图像的标注数据，并对所述图像进行预处理，将预处理后的所述图像及所述图像的标注数据按预设比例分成训练集及测试集；
将所述训练集输入预设卷积神经网络模型进行训练，得到图像特征数据；
将所述图像特征数据及所述预设卷积神经网络模型的中间计算参数，输入Attention机制模型进行标签相关性学习，得到初始模型；
通过所述测试集对所述初始模型进行校正测试，将满足评价指标的所述初始模型作为多标签分类模型输出。


2.如权利要求1所述的图像多标签分类方法，其特征在于，所述预处理包括图像均衡化、图像翻转、仿射变换、图像增强、图像格式转换、数据去重中的一种或多种。


3.如权利要求1所述的图像多标签分类方法，其特征在于，所述预设卷积神经网络模型为DenseNet模型。


4.如权利要求1所述的图像多标签分类方法，其特征在于，所述图像为同一标签集合下的图像。


5.如权利要求1所述的图像多标签分类方法，其特征在于，通过所述测试集对所述初始模型进行校正测试，还包括以下步骤：
构建损失函数，通过随机梯度下降法优化所述初始模型；
通过测试集对优化后的所述初始模型进行测试；
当优化后的所述初始模型达到或超过评价指标...

【专利技术属性】
技术研发人员：包月青，黄小刚，李宏宇，李晓林，
申请(专利权)人：同盾控股有限公司，
类型：发明
国别省市：浙江;33