多标签图像分类方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种多标签图像分类方法、装置及电子设备，一方面利用利用池化层和全连接层对第一特征图像进行分类，得到第一标签分类预测结果。另一方面根据全连接层的参数和第一特征图像，对第一特征图像进行特征过滤，得到第二特征图像；其中全连接层的参数和卷积层的参数是基于度量学习算法优化的；然后对第二特征图像进行池化处理，得到第二标签分类预测结果。最后综合考虑第一标签分类预测结果和第二标签分类预测结果，得到目标标签分类预测结果。该方式从两个方面进行标签分类，以基于第二特征图得到的第二标签分类预测结果，对第一标签分类预测结果进行修正，减少标签组合数量，辅助提高多标签图像识别精度。

【技术实现步骤摘要】
多标签图像分类方法、装置及电子设备
本专利技术涉及图像处理
，尤其是涉及一种多标签图像分类方法、装置及电子设备。
技术介绍
多标签的图像分类(Multi-labelimageclassification)是计算机视觉中一项非常重要的研究课题。因为真实的场景下拍出来的图片总是包含多个物体，因此图像包含了多个标签，分类的结果组合数目相比单标签是指数级别的增长。所以相比于单标签图像分类问题，多标签图像分类问题难度更大，精度更低，也更具有研究意义。传统的方法多是使用图(Graph)来对标签之间的关系进行建模，以此来人为的给最后预测的结果加上约束，以便减少分类结果的数目。这样的方法非常取决于人的先验知识和所建图(graph)的好坏，具有很大的局限性。近年来深度学习(Deeplearning)的快速发展，使用神经网络来建模标签之间的关系的方法也越来越多，这种方法可以突破上述的局限，但是目前深度学习的方法多是使用了注意力(Attention)机制，基于单标签分类的方法来提升精度。因此目前就如何在真正意义上利用对标签之间的关系，来提高多标签图像识别精度的问题，仍然没有很好的解决方法。专利技术内本文档来自技高网...

【技术保护点】
1.一种多标签图像分类方法，其特征在于，包括：提取待处理图像的第一特征图像；将所述第一特征图像依次经过池化层和全连接层处理，得到第一标签分类预测结果；根据所述全连接层的参数与所述第一特征图像，得到第二特征图像，所述第二特征图像包括预设类别的每个标签对应的子特征图像；其中，所述全连接层的参数和卷积层的参数是基于度量学习算法优化的；对所述第二特征图像进行池化处理，得到第二标签分类预测结果；根据所述第一标签分类预测结果和所述第二标签分类预测结果，得到目标标签分类预测结果。

【技术特征摘要】
1.一种多标签图像分类方法，其特征在于，包括：提取待处理图像的第一特征图像；将所述第一特征图像依次经过池化层和全连接层处理，得到第一标签分类预测结果；根据所述全连接层的参数与所述第一特征图像，得到第二特征图像，所述第二特征图像包括预设类别的每个标签对应的子特征图像；其中，所述全连接层的参数和卷积层的参数是基于度量学习算法优化的；对所述第二特征图像进行池化处理，得到第二标签分类预测结果；根据所述第一标签分类预测结果和所述第二标签分类预测结果，得到目标标签分类预测结果。2.根据权利要求1所述的方法，其特征在于，还包括：根据目标标签分类预测结果，确定第一损失函数；根据预先设定的度量学习损失函数和所述第一损失函数，确定最终损失函数；其中所述度量学习损失函数是基于度量学习算法设定的。3.根据权利要求2所述的方法，其特征在于，还包括：在训练过程中，基于所述度量学习损失函数及各个所述标签之间的相关性，优化所述全连接层的参数和卷积层的参数。4.根据权利要求3所述的方法，其特征在于，所述基于所述度量学习损失函数及各个所述标签之间的相关性，利用反向传播算法，优化所述全连接层的参数和卷积层的参数包括：基于度量学习算法，将每个标签对应的子特征图像映射到预设空间内，并分别计算各个子特征图像在所述预设空间内的间距；利用反向传播算法，基于所述度量学习损失函数及各个标签之间的相关性，优化所述全连接层的参数和卷积层的参数，以调整所述各个子特征图像在所述预设空间内的间距。5.根据权利要求4所述的方法，其特征在于，所述调整所述各个子特征图像在所述预设空间内的间距包括：在所述每个标签对应的子特征图像中，将属于当前输入的图像的标签对应的子特征图像作为相关性图像，将不属于当前输入的图像的标签对应的子特征图像作为非相关性图像；将所述相关性图像在所述预设空间内的间距拉近，并将所述非相关性图像拉...

【专利技术属性】
技术研发人员：魏秀参，陈钊民，
申请(专利权)人：南京旷云科技有限公司，徐州旷视数据科技有限公司，北京旷视科技有限公司，
类型：发明
国别省市：江苏,32