一种基于决策树的图像自动标注方法和装置制造方法及图纸

本发明专利技术提供了一种基于决策树的图像自动标注方法和装置。该装置包括：输入单元、预处理单元、分割提取单元、标注概率计算单元、生成树单元、词间相关性计算单元和选择关键词单元。与现有技术比较本发明专利技术的有益效果在于：对于一些获取的模糊图像进行修复，使得图像语义自动标注技术适用范围更广；更加全面地提取了图像底层特征，采用全局特征和局部特征来反映图像的真实视觉内容，提高图像语义自动标注的准确性；全局特征采用主成分分析的尺度不变特征，提高运算效率，特别是对于高维图像；解决了海量图像集的不可测量性，将图像标注问题转化为了分类问题进行标注，提高了传统模型的标注性能。

An automatic image annotation method and device based on decision tree

The invention provides an automatic image annotation method and device based on decision tree. The device includes the input unit, the preprocessing unit, the segmentation extraction unit, the annotation probability calculation unit, the generating tree unit, the inter word correlation calculation unit and the choice of key words unit. Compared with the existing technology, the beneficial effect of the invention is that for the restoration of some acquired fuzzy images, the automatic image semantic annotation technology is more widely applied, the underlying feature of the image is extracted more comprehensively, the real visual content of the image is reflected by the global feature and local feature, and the image semantic self is improved. The global feature uses the invariable feature of the principal component analysis to improve the operation efficiency, especially for the high dimensional image. It solves the unmeasurability of the mass image set, and transforms the image annotation to the classification problem and improves the performance of the traditional model.

【技术实现步骤摘要】
一种基于决策树的图像自动标注方法和装置
本专利技术涉及图像语义自动标注
，尤其涉及一种基于决策树的图像自动标注方法和装置。
技术介绍
随着互联网技术的飞速发展，互联网上每天都有数以百万的新图像在增长。而如何根据用户的需求，在海量图像中快速有效地检索出目标图像是图像检索系统的目标。而图像语义标注则是图像检索的准备性的关键步骤。通过图像语义标注就可以将图像的检索问题转化为技术成熟、效率高的文本检索问题。但是传统的语义标注是通过人工的方式对每幅图像进行关键词描述，在现在数据爆炸的时代这种方式显然是既费时效率又低。基于图像内容的语义自动标注就是利用计算机自动实现从测试图像中提取视觉特征，并通过相似性匹配来检测图像。自动标注语义技术避免了人工描述的主观性，也大大提高了工作效率。然而理想的语义自动标注模型均需要一个可以对任何图像进行标注的理想训练集，为了尽可能实现图像自动标注，所采用的训练集中图像数目是非常大的，可以说具有一种不可测量性。在标注过程中为了得到更加准确的标注结果，有时需要对训练集中所有图像进行多次运算，包括那些与待标注图像相关性非常低的图像，甚至是没有一点关系的图像，这无疑增加了运算的代价，给标注结果带来负面的影响。鉴于上述缺陷，本专利技术创作者经过长时间的研究和试验,最终获得了本专利技术。
技术实现思路
本专利技术的目的在于提供一种基于决策树的图像自动标注方法和装置用以克服上述技术缺陷。为实现上述目的，本专利技术采用的技术方案在于：一方面提供了一种基于决策树的图像自动标注方法，该方法包括以下步骤：步骤S1：输入图像集；步骤S2：对所述图像集中的图像进行预处理；步骤S3：采用N-cut算法对图像进行分割，分别对分割后的区域进行视觉特征提取和量化，然后根据量化后的特征信息计算出特征相似性，根据所述特征相似性将图像的有效区域进行聚类，形成视觉词元；步骤S4：统计所述图像集中的训练图像的关键词和视觉词元信息，利用后验概率知识对图像进行初始标注，计算出每个关键词作为所述图像集中的测试图像标注的标注概率P(w|I)；步骤S5：根据所述标注概率P(w|I)，设立阈值将所述标注概率P(w|I)分为三个部分，生成左子树和右子树；步骤S6：利用词间相关性计算所述左子树和右子树之间的词间相关性；步骤S7：将满足一定条件的关键词再形成新的左子树和右子树，选择所有的左子树里面的关键词作为待标注图像的关键词。较佳的，所述步骤S2包括以下步骤：步骤S21：对所述图像集中的所有图像，包括训练图像和测试图像，进行尺寸大小归一化；步骤S22：对所述测试图像中的模糊图像利用维纳滤波法进行图像修复；所述步骤S3包括以下步骤：步骤S31：采用N-cut算法将所述图像集中的每幅图像都进行分割，选择图像的有效区域；步骤S32：对分割后的图像的有效区域提取颜色特征和纹理特征作为局部特征描述算子，提取主成分分析的尺度不变特征作为全局特征，将所述局部特征和所述全局特征归一化之后融合成一个长特征向量；步骤S33：根据所述长特征向量计算特征相似性；步骤S34：根据所述特征相似性，采用K-均值方法对分割区域进行聚类，使得分割后的区域属于某一类别，同时赋予每一类一个唯一的整数编号，得到视觉词元。较佳的，所述步骤S4包括以下步骤：步骤S41：统计出每个关键词出现在每幅图像的标注中的次数，记为#(w,J)；统计出关键词在训练集标注中的总次数，记为#(w,T)；统计出视觉词元b出现在每幅图像中的次数#(b,J)；最后统计出视觉词元b出现在全部训练集中的次数#(b,T)；步骤S42：计算然后根据公式将关键词与视觉词元的联合分布边缘化求得P(w|b1Lbm)≈P(w|I)；其中wi(i＝1Ln)为关键词，bi(i＝1Lm)为视觉词元，训练图像为Ji＝{b1Lbm,w1Lwn}，T为训练图像集，I＝{b1Lbm}为测试图像。较佳的，所述步骤S5包括以下步骤：步骤S51：设置双阈值ε1,ε2；步骤S52：根据将关键词分为三部分，当P(w|I)＞ε1时，直接选取相应的关键词作为待标注图像的关键词，设为左子树，当ε2＜P(w|I)＜ε1时将这些关键词置于同一集合中，作为右子树，当P(w|I)＜ε2时直接舍弃这一部分关键词信息；其中S(w)、Q(w)表示满足条件的关键词集合，表示不包含任何关键词。较佳的，所述步骤S6具体为：根据词间相关性计算S(w)和Q(w)中关键词的相关性SI(w1,w2)；其中，#(w1,w2)表示任意两个关键词w1,w2同时作为一幅图像标注的共生次数，NT表示训练集图像的总数目，n1表示训练集中出现关键词w1的图像数目。较佳的，所述步骤S7包括以下步骤：步骤S71：如果SI(w1,w2)＞γ，则将满足条件的关键词作为左子树，如果SI(w1,w2)＜γ将其作为右子树。其中γ为阈值；步骤S72：选择所有左子树里面的关键词作为待标注图像的关键词。又一方面提供了一种基于决策树的图像自动标注装置，该装置包括：输入单元，用于输入图像集。输入的图像集包括训练图像和测试图像；预处理单元，用于对所述图像集中的图像进行预处理；分割提取单元，用于采用N-cut算法对图像进行分割，分别对分割后的区域进行视觉特征提取和量化，然后根据量化后的特征信息计算出特征相似性，根据所述特征相似性将图像的有效区域进行聚类，形成视觉词元；标注概率计算单元，用于统计所述图像集中的训练图像的关键词和视觉词元信息，利用后验概率知识对图像进行初始标注，计算出每个关键词作为所述图像集中的测试图像标注的标注概率P(w|I)；生成树单元，用于根据所述标注概率P(w|I)，设立阈值将标注概率P(w|I)分为三个部分，生成左子树和右子树；词间相关性计算单元，用于利用词间相关性计算所述左子树和右子树之间的词间相关性；选择关键词单元，用于将满足一定条件的关键词再形成新的左子树和右子树，选择所有的左子树里面的关键词作为待标注图像的关键词。较佳的，所述预处理单元包括：归一化模块，用于对所述图像集中的所有图像，包括训练图像和测试图像，进行尺寸大小归一化；图像修复模块：用于对所述测试图像中的模糊图像利用维纳滤波法进行图像修复；所述分割提取单元包括：分割模块，用于采用N-cut算法将所述图像集中的每幅图像都进行分割，选择图像的有效区域；特征提取模块，用于对分割后的图像的有效区域提取颜色特征和纹理特征作为局部特征描述算子，提取主成分分析的尺度不变特征作为全局特征，将所述局部特征和所述全局特征归一化之后融合成一个长特征向量；特征相似性计算模块，用于根据所述长特征向量计算特征相似性；聚类模块，用于根据所述特征相似性，采用K-均值方法对分割区域进行聚类，使得分割后的区域属于某一类别，同时赋予每一类一个唯一的整数编号，得到视觉词元。较佳的，所述标注概率计算单元包括：统计模块，用于统计出每个关键词出现在每幅图像的标注中的次数，一般为0或者1，记为#(w,J)；统计出关键词在训练集标注中的总次数，记为#(w,T)；统计出视觉词元b出现在每幅图像中的次数#(b,J)；最后统计出视觉词元b出现在全部训练集中的次数#(b,T)；标注概率计算模块，用于计算然后根据公式将关键词与视觉词元的联合分布边缘化求得P(w|b1Lbm)≈P(w|I)。其中wi(本文档来自技高网...

【技术保护点】
1.一种基于决策树的图像自动标注方法，其特征在于，该方法包括以下步骤：步骤S1：输入图像集；步骤S2：对所述图像集中的图像进行预处理；步骤S3：采用N‑cut算法对图像进行分割，分别对分割后的区域进行视觉特征提取和量化，然后根据量化后的特征信息计算出特征相似性，根据所述特征相似性将图像的有效区域进行聚类，形成视觉词元；步骤S4：统计所述图像集中的训练图像的关键词和视觉词元信息，利用后验概率知识对图像进行初始标注，计算出每个关键词作为所述图像集中的测试图像标注的标注概率P(w|I)，w为关键词，I为测试图像；步骤S5：根据所述标注概率P(w|I)，设立阈值将所述标注概率P(w|I)分为三个部分，生成左子树和右子树；步骤S6：利用词间相关性计算所述左子树和右子树之间的词间相关性；步骤S7：将满足一定条件的关键词再形成新的左子树和右子树，选择所有的左子树里面的关键词作为待标注图像的关键词。

【技术特征摘要】
1.一种基于决策树的图像自动标注方法，其特征在于，该方法包括以下步骤：步骤S1：输入图像集；步骤S2：对所述图像集中的图像进行预处理；步骤S3：采用N-cut算法对图像进行分割，分别对分割后的区域进行视觉特征提取和量化，然后根据量化后的特征信息计算出特征相似性，根据所述特征相似性将图像的有效区域进行聚类，形成视觉词元；步骤S4：统计所述图像集中的训练图像的关键词和视觉词元信息，利用后验概率知识对图像进行初始标注，计算出每个关键词作为所述图像集中的测试图像标注的标注概率P(w|I)，w为关键词，I为测试图像；步骤S5：根据所述标注概率P(w|I)，设立阈值将所述标注概率P(w|I)分为三个部分，生成左子树和右子树；步骤S6：利用词间相关性计算所述左子树和右子树之间的词间相关性；步骤S7：将满足一定条件的关键词再形成新的左子树和右子树，选择所有的左子树里面的关键词作为待标注图像的关键词。2.根据权利要求1所述的一种基于决策树的图像自动标注方法，其特征在于，所述步骤S2包括以下步骤：步骤S21：对所述图像集中的所有图像，包括训练图像和测试图像，进行尺寸大小归一化；步骤S22：对所述测试图像中的模糊图像利用维纳滤波法进行图像修复；所述步骤S3包括以下步骤：步骤S31：采用N-cut算法将所述图像集中的每幅图像都进行分割，选择图像的有效区域；步骤S32：对分割后的图像的有效区域提取颜色特征和纹理特征作为局部特征描述算子，提取主成分分析的尺度不变特征作为全局特征，将所述局部特征和所述全局特征归一化之后融合成一个长特征向量；步骤S33：根据所述长特征向量计算特征相似性；步骤S34：根据所述特征相似性，采用K-均值方法对分割区域进行聚类，使得分割后的区域属于某一类别，同时赋予每一类一个唯一的整数编号，得到视觉词元。3.根据权利要求2所述的一种基于决策树的图像自动标注方法，其特征在于，所述步骤S4包括以下步骤：步骤S41：统计出每个关键词出现在每幅图像的标注中的次数，记为#(w,J)；统计出关键词在训练集标注中的总次数，记为#(w,T)；统计出视觉词元b出现在每幅图像中的次数#(b,J)；最后统计出视觉词元b出现在全部训练集中的次数#(b,T)；步骤S42：计算然后根据公式将关键词与视觉词元的联合分布边缘化求得P(w|b1Lbm)≈P(w|I)；其中wi(i＝1Ln)为关键词，bi(i＝1Lm)为视觉词元，训练图像为Ji＝{b1Lbm,w1Lwn}，T为训练图像集，I＝{b1Lbm}为测试图像。4.根据权利要求3所述的一种基于决策树的图像自动标注方法，其特征在于，所述步骤S5包括以下步骤：步骤S51：设置双阈值ε1,ε2；步骤S52：根据将关键词分为三部分，当P(w|I)＞ε1时，直接选取相应的关键词作为待标注图像的关键词，设为左子树，当ε2＜P(w|I)＜ε1时将这些关键词置于同一集合中，作为右子树，当P(w|I)＜ε2时直接舍弃这一部分关键词信息；其中S(w)、Q(w)表示满足条件的关键词集合，表示不包含任何关键词。5.根据权利要求4所述的一种基于决策树的图像自动标注方法，其特征在于，所述步骤S6具体为：根据词间相关性计算S(w)和Q(w)中关键词的相关性SI(w1,w2)；其中，#(w1,w2)表示任意两个关键词w1,w2同时作为一幅图像标注的共生次数，NT表示训练集图像的总数目，n1表示训练集中出现关键词w1的图像数目。6.根据权利要求5所述的一种基于决策树的图像自动标注方法，其特征在于，所述步骤S7包括以下步骤：步骤S71：如果SI(w1,w2)＞γ，则将满足条件的关键词作为左子树，如果SI(w1,w2)＜γ将其作为右子树，其中γ为阈值；步骤S72：选择所有左子树里面的关键词作为待标注图像的关键词。...

【专利技术属性】
技术研发人员：杨婉，李青海，简宋全，邹立斌，
申请(专利权)人：广东精点数据科技股份有限公司，
类型：发明
国别省市：广东,44