一种基于深度学习的图像自动标注方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习的图像自动标注方法及装置，包括：利用深度学习技术提取待标注图像的视觉特征；利用图像库构建待标注图像的候选标签集，并利用深度学习技术从待标注图像的候选标签集中提取待标注图像的语义特征；融合待标注图像的视觉特征和语义特征以得到待标注图像的高层特征；根据待标注图像的高层特征，利用深度学习技术计算图像库中各标签在标注待标注图像时的概率；根据待标注图像的高层特征，利用深度学习技术预测待标注图像所需的标签个数；根据所计算的标签概率和所预测的标签个数，利用概率最高的前N个标签对待标注图像进行标注；本发明专利技术能够建立低层特征和高层语义标签之间的联系，从而提升图像标注的准确度。

【技术实现步骤摘要】
一种基于深度学习的图像自动标注方法及装置
本专利技术属于图像处理领域，更具体地，涉及一种基于深度学习的图像自动标注方法及装置。
技术介绍
图像是对客观对象的写真，生动地描述了对象在视觉方面的信息，是最重要的信息源之一。图像标注，就是给图像标注一些丰富的、恰当的可以准确描述图像内容的关键词。由于能够在语义层面描述图像，图像标注不仅在图像分析与理解领域有着广泛的应用，在城市管理、生物医学工程等相关学科也有着广泛的应用。传统的图像标注，主要是通过人工的方式来给图像标注若干关键词。而在当前的大数据时代，由于存在耗时、费力、主观性强等缺点，人工标注的方式已经不再适用了。图像自动标注可以有效的弥补这些缺点。图像自动标注技术大多通过图像的语义内容或探索图像视觉特征以及语义特征之间的相似性，从关键词词典中选择合适的标签，对待标注图像进行标注。其关键就在于建立低层特征和高层语义标签之间的联系。现有的基于生成模型的图像自动标注方法通过计算图像特征和词典中标签的联合概率来给待标注的图像标注关键词。但是，这种图像自动标注方法存在两个主要的问题：一是对于预测的标签的最优性无法保证；二是很难用生成模型去捕捉图像本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像自动标注方法，用于完成对待标注图像的自动标注，其特征在于，包括如下步骤：(1)利用深度学习技术提取所述待标注图像的视觉特征；(2)利用图像库构建所述待标注图像的候选标签集，并利用深度学习技术从所述待标注图像的候选标签集中提取所述待标注图像的语义特征；(3)融合所述待标注图像的视觉特征和语义特征以得到所述待标注图像的高层特征；(4)根据所述待标注图像的高层特征，利用深度学习技术计算所述图像库中各标签在标注所述待标注图像时的概率；(5)根据所述待标注图像的高层特征，利用深度学习技术预测所述待标注图像所需的标签个数；(6)根据所计算的标签概率和所预测的标签个数，利用概率最高...

【技术特征摘要】
1.一种基于深度学习的图像自动标注方法，用于完成对待标注图像的自动标注，其特征在于，包括如下步骤：(1)利用深度学习技术提取所述待标注图像的视觉特征；(2)利用图像库构建所述待标注图像的候选标签集，并利用深度学习技术从所述待标注图像的候选标签集中提取所述待标注图像的语义特征；(3)融合所述待标注图像的视觉特征和语义特征以得到所述待标注图像的高层特征；(4)根据所述待标注图像的高层特征，利用深度学习技术计算所述图像库中各标签在标注所述待标注图像时的概率；(5)根据所述待标注图像的高层特征，利用深度学习技术预测所述待标注图像所需的标签个数；(6)根据所计算的标签概率和所预测的标签个数，利用概率最高的前N个标签对所述待标注图像进行标注；其中，所述图像库中的图像为已标注标签的图像，所述候选标签集包括所述图像库中的多个标签，N为利用深度学习技术预测的标签个数。2.如权利要求1所述的图像自动标注方法，其特征在于，所述步骤(2)中，利用图像库构建所述待标注图像的候选标签集，包括：获得所述图像库中每个标签出现的次数；对于所述待标注图像，根据图像距离计算所述待标注图像与所述图像库中其余图像的相似性，从而得到与所述待标注图像相似性最高的m幅图像；从所述m幅图像中获得与所述待标注图像相似性最高的n幅图像，并获得在这n幅图像中出现的p1个标签；若p1≥k，则根据所述图像库中每个标签出现的次数从所述p1个标签中获得出现次数最高的k个标签，作为k个候选标签，从而构建所述待标注图像的候选标签集；否则，获得在所述m幅图像中出现的p2个标签，并根据所述图像库中每个标签出现的次数从所述p2个标签中获得出现次数最高的k个标签，作为k个候选标签，从而得到该图像的候选标签集；其中，k为预设的候选标签集大小，且m、n及k满足：k≤m，n≤m。3.如权利要求1或2所述的基于深度学习的图像自动标注方法，其特征在于，所述步骤(1)包括：利用基于卷积神经网络的视觉特征提取模型提取所述待标注图像的视觉特征；所述视觉特征提取模型的训练方法包括：(11)构建基于卷积神经网络的第一神经网络模型，用于提取图像的视觉特征；(12)利用所述图像库训练所述第一神经网络，从而得到所述视觉特征提取模型。4.如权利要求1或2所述的基于深度学习的图像自动标注方法，其特征在于，所述步骤(2)包括：利用图像库构建所述待标注图像的候选标签集，并利用基于多层感知机的语义特征提取模型从所述待标注图像的候选标签集中提取所述待标注图像的语义特征；所述语义特征提取模型的训练方法包括如下步骤：(21)构建所述图像库中每一幅图像的候选标签集；(22)构建基于多层感知机的第二神经网络模型，用于从图像的候选标签集中提取图像的语义特征；(23)利用已构建候选标签集的所述图像库训练所述第二神经网络模型，从而得到所述语义特征提取模型。5.如权利要求1或2所述的基于深度学习的图像自动标注方法，其特征在于，所述步骤(3)包括：利用一个全连接层融合所述待标注图像的视觉特征和语...

【专利技术属性】
技术研发人员：程起敏，许圆，张倩，邵康，李森，李金玲，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42