基于跨媒体稀疏主题编码的图像自动标注方法技术

本发明专利技术涉及一种基于跨媒体稀疏主题编码的图像自动标注方法，先由多媒体文档中的图像生成图像词，并利用词袋模型将多媒体文档中的注释词表示成向量，得到处理后的多媒体文档；根据处理后的多媒体文档和概率主题模型，获得图像跨媒体稀疏主题编码模型；利用最大后验概率估计方法，获得多媒体文档中图像词、注释词和两者的关系编码变量的联合分布式，并采用拉普拉斯先验和超高斯对联合分布式中的图像词编码、多媒体文档编码以及关系编码进行建模；使用坐标下降法对跨媒体稀疏主题编码模型进行优化求解，之后计算图像编码和注释词编码之间的余弦相似度进行图像标注。本发明专利技术标注时间和空间复杂度降低，在保证图像标注准确率的同时保证效率。

【技术实现步骤摘要】
基于跨媒体稀疏主题编码的图像自动标注方法
本专利技术属于计算机应用领域、图像处理、数据挖掘，特别涉及一种基于跨媒体稀疏主题编码的图像自动标注方法。
技术介绍
随着互联网的发展以及数码设备的普及，图像资源数据量以指数形式迅速增长。如何对图像资源进行有效的检索和管理是当前计算机视觉领域研究的重要课题。传统的基于内容的图像检索使用了低层次的图像特征，无法与高层语义之间建立很好的关联，即存在语义鸿沟，使得检索质量难以满足要求。图像的自动标注是通过已知图像来建立图像视觉特征空间与高层语义空间的映射或关联关系，即将注释词和图像两种异构媒体数据投影到一个共享子空间，以达到预测未知图像的标注词的目标，进而弥补了“语义鸿沟”的缺陷。近年来，大量研究人员致力于对未标注图像自动分配注释词的研究。针对如何有效地进行图像的自动标注，以下论文提供了不同的技术方案：文献1.BleiDM,NgAY,JordanMI.Latentdirichletallocation[J].JournalofmachineLearningresearch,2003,3(Jan):993-1022.文献1基于概率主题模型去寻找图像集的隐变量表示和注释词集合之间的条件关系。概率主题模型虽然实现了性能优越的图像标注，但存在两个限制：概率主题模型不能有效地控制潜在表示的稀疏性；概率主题模型在图像与注释词之间有学习紧密相关性，意味着这种方法不适用于一个词关联多个图像的场景。
技术实现思路
本专利技术的目的在于克服现有技术中存在的问题，提供一种基于跨媒体稀疏主题编码的图像自动标注方法，为用户在图像标注过程中提供相比于其他方法具有更高的准确率以及效率。为了达到上述目的，本专利技术采用如下技术方案：包括以下步骤：步骤1、多媒体文档的定义及表示：多媒体文档由一张图像和注释词组成，由图像生成图像词，并利用词袋模型将多媒体文档中的注释词表示成向量，得到处理后的多媒体文档；步骤2、跨媒体稀疏主题编码模型构建：根据处理后的多媒体文档和概率主题模型，获得图像跨媒体稀疏主题编码模型；步骤3、利用最大后验概率估计方法，获得多媒体文档中图像词、注释词和两者的关系编码变量的联合分布式，并采用拉普拉斯先验和超高斯对联合分布式中的图像词编码S、多媒体文档编码θ以及关系编码Y进行建模；步骤4、使用坐标下降法对提出的跨媒体稀疏主题编码模型进行优化求解，之后计算图像编码和注释词编码之间的余弦相似度进行图像标注。进一步地，步骤1中，把一个D维的多媒体文档表示成语料库(Rd,Wd)表示第d个多媒体文档；其中，Rd＝{rid:i∈Id}，Id是在第d个多媒体文档中出现的图像词的索引集合，rid表示第i个图像词在第d个多媒体文档中出现的次数；Jd是指出现在第d个多媒体文档中的注释词的索引集合，表示第j个注释词在第d个多媒体文档中出现的次数；语料库中所有的图像词和注释词被表示成K个主题基的非归一化分布向量，获得图像词典和注释词词典其中表示图像词典中第k行第m列的元素，φkn表示注释词词典中第k行第n列的元素。进一步地，步骤2中，首先分别从均匀分布上的和取样初始化图像词典Ψ和注释词词典Φ；假设每个图像词编码i∈Id由多媒体文档编码条件独立地给出，每个图像词的出现次数rid来自于平均参数为的分布；对于注释词j，得出关系编码该编码通过图像词编码的线性组合来预测注释词编码其中，同样假设注释词出现次数遵循平均参数为的分布；对于第d个多媒体文档(Rd,Wd)：201、从p(θd)分布中抽样，得到一个多媒体文档编码θd；202、对多媒体文档中的每一个图像词i∈Id：2021、从条件分布中抽样得到该图像词编码2022、从条件分布中抽样得到该图像词在多媒体文档中出现的次数203、对多媒体文档中的每一个注释词j∈Jd：2031、从分布中抽样关系编码然后用计算出注释词编码；2032、从分布中抽样得到该注释词在文档中出现的次数其中完成跨媒体稀疏主题编码模型构建；Ψ·i表示第i列的Ψ，Φ·j表示第j列的Φ。进一步地，步骤3中，多媒体文档中隐变量间的联合分布被定义如下：其中表示第d个多媒体文档中注释词的关系编码；同时定义拉普拉斯先验p(θd)∝exp(-λ||θd||1)和以及超高斯其中，超参数(λ,μ,γ,ρ)是非负的，∝是正比例符号；令Γ＝{Ψ,Φ}作为语料库U的词典，Δ＝{Θ,S,Y}表示所有多媒体文档在语料库中的编码；Θ＝{θd:d＝1,...,D}表示所有多媒体文档编码，表示所有图像词编码，表示所有关系编码；令R＝{Rd:d＝1,...,D}和W＝{Wd:d＝1,...,D}分别表示在语料库U中的所有图像和注释词；利用公式(1)的联合分布，跨媒体稀疏主题编码被定义为通过词典学习寻找一个最大后验概率估计，优化问题如下：其中，表示图像词数量的负对数似然函数，表示注释词数量的负对数似然函数，和分别是和的的重建，正则项表示如下：其中，θd，和被限制为非负。进一步地，为了确定多媒体文档中隐变量间的联合分布，使用泊松分布去构建图像词似然模型和注释词似然模型其中泊松分布的概率函数定义为进一步地，步骤4中，对公式(4)使用坐标下降法求解，包括以下具体步骤：401、基于多媒体文档的层次稀疏编码；在图像词典和注释词词典固定的情况下，求解图像词编码S、多媒体文档编码θ和关系编码Y；由于不同多媒体文档之间相互独立，因而分别单独求解每个多媒体文档的θd和如下公式(5)所示：其中，关于第d个多媒体文档的正则项表示如下：402、图像和注释词词典学习；在对所有多媒体文档推导出编码Δ＝{Θ,S,Y}后，通过投影坐标下降法最小化l(S,Ψ；R)更新图像词典Ψ，即优化求解如下公式(6)：minΘ,S,Ψ,Φ,Yl(S,Ψ；R)(6)其中，使用投影坐标下降法最小化h(S,Φ,Y；W)来更新注释词词典Φ，即优化求解如下公式(7)：minΘ,S,Ψ,Φ,Yh(S,Φ,Y；W)(7)其中，分别用和迭代求解Ψ和Φ，其中，403、利用稀疏主题编码两层模型计算图像编码s，由稀疏主题跨媒体编码阶段所有出现注释词j的多媒体文档计算得到注释词编码zj；计算图像编码s和注释词编码zj之间的余弦相似度，与阈值对比后判断注释词j是否为测试图像的注释词。进一步地，步骤401中，公式(5)目标函数的求解可以分为以下三步交替迭代进行：4011、对图像词编码最优化求解：当θd和取固定值时，每个采用梯度下降法优化求解公式(8)获得：其中，目标函数由于上述目标函数是凸函数，使用投影梯度下降法来求解公式(8)，在每次迭代中更新如下：其中t是步长；P()是关于RK的正半空间的投影算子；相对于的L的梯度计算如下：其中，指的是第d个多媒体文档对应的关系编码矩阵的第i行j列；4012、对多媒体文档编码θd的最优化求解：当Sd取固定值时，θd通过求解公式(9)的凸优化问题获得：求解得下式：其中指的是第d个多媒体文档的图像词编码矩阵的第i行k列，k＝1,2,…,K；4013、对关系编码的优化求解：在获得的最优解之后，通过公式(11)利用一个l1范数正则化矩阵最小化注释词数量的对数泊松回归来更新每个关系编码进一步地，步骤403具体包括：4031、利用稀疏主题编码两层模型对测试图像R进行稀疏主题编码，生成|I|个图像本文档来自技高网...

【技术保护点】
基于跨媒体稀疏主题编码的图像自动标注方法，其特征在于：包括以下步骤：步骤1、多媒体文档的定义及表示：多媒体文档由一张图像和注释词组成，由图像生成图像词，并利用词袋模型将多媒体文档中的注释词表示成向量，得到处理后的多媒体文档；步骤2、跨媒体稀疏主题编码模型构建：根据处理后的多媒体文档和概率主题模型，获得图像跨媒体稀疏主题编码模型；步骤3、利用最大后验概率估计方法，获得多媒体文档中图像词、注释词和两者的关系编码变量的联合分布式，并采用拉普拉斯先验和超高斯对联合分布式中的图像词编码S、多媒体文档编码θ以及关系编码Y进行建模；步骤4、使用坐标下降法对提出的跨媒体稀疏主题编码模型进行优化求解，之后计算图像编码和注释词编码之间的余弦相似度进行图像标注。

【技术特征摘要】
1.基于跨媒体稀疏主题编码的图像自动标注方法，其特征在于：包括以下步骤：步骤1、多媒体文档的定义及表示：多媒体文档由一张图像和注释词组成，由图像生成图像词，并利用词袋模型将多媒体文档中的注释词表示成向量，得到处理后的多媒体文档；步骤2、跨媒体稀疏主题编码模型构建：根据处理后的多媒体文档和概率主题模型，获得图像跨媒体稀疏主题编码模型；步骤3、利用最大后验概率估计方法，获得多媒体文档中图像词、注释词和两者的关系编码变量的联合分布式，并采用拉普拉斯先验和超高斯对联合分布式中的图像词编码S、多媒体文档编码θ以及关系编码Y进行建模；步骤4、使用坐标下降法对提出的跨媒体稀疏主题编码模型进行优化求解，之后计算图像编码和注释词编码之间的余弦相似度进行图像标注。2.根据权利要求1所述的基于跨媒体稀疏主题编码的图像自动标注方法，其特征在于：步骤1中，把一个D维的多媒体文档表示成语料库(Rd,Wd)表示第d个多媒体文档；其中，Id是在第d个多媒体文档中出现的图像词的索引集合，rid表示第i个图像词在第d个多媒体文档中出现的次数；Jd是指出现在第d个多媒体文档中的注释词的索引集合，表示第j个注释词在第d个多媒体文档中出现的次数；语料库中所有的图像词和注释词被表示成K个主题基的非归一化分布向量，获得图像词典和注释词词典其中表示图像词典中第k行第m列的元素，φkn表示注释词词典中第k行第n列的元素。3.根据权利要求2所述的基于跨媒体稀疏主题编码的图像自动标注方法，其特征在于：步骤2中，首先分别从均匀分布上的和取样初始化图像词典Ψ和注释词词典Φ；假设每个图像词编码i∈Id由多媒体文档编码条件独立地给出，每个图像词的出现次数rid来自于平均参数为的分布；对于注释词j，得出关系编码该编码通过图像词编码的线性组合来预测注释词编码其中，同样假设注释词出现次数遵循平均参数为的分布；对于第d个多媒体文档(Rd,Wd)：201、从p(θd)分布中抽样，得到一个多媒体文档编码θd；202、对多媒体文档中的每一个图像词i∈Id：2021、从条件分布中抽样得到该图像词编码2022、从条件分布中抽样得到该图像词在多媒体文档中出现的次数rid；203、对多媒体文档中的每一个注释词j∈Jd：2031、从分布中抽样关系编码然后用计算出注释词编码；2032、从分布中抽样得到该注释词在文档中出现的次数其中完成跨媒体稀疏主题编码模型构建；Ψ·i表示第i列的Ψ，Φ·j表示第j列的Φ。4.根据权利要求2所述的基于跨媒体稀疏主题编码的图像自动标注方法，其特征在于：步骤3中，多媒体文档中隐变量间的联合分布被定义如下：其中表示第d个多媒体文档中注释词的关系编码；同时定义拉普拉斯先验p(θd)∝exp(-λ||θd||1)和以及超高斯其中，超参数(λ,μ,γ,ρ)是非负的，∝是正比例符号；令Γ＝{Ψ,Φ}作为语料库U的词典，Δ＝{Θ,S,Y}表示所有多媒体文档在语料库中的编码；Θ＝{θd:d＝1,...,D}表示所有多媒体文档编码，表示所有图像词编码，表示所有关系编码；令R＝{Rd:d＝1,...,D}和W＝{Wd:d＝1,...,D}分别表示在语料库U中的所有图像和注释词；利用公式(1)的联合分布，跨媒体稀疏主题编码被定义为通过词典学习寻找一个最大后验概率估计，优化问题如下：其中，表示图像词数量的负对数似然函数，表示注释词数量的负对数似然函数，和分别是rid和的的重建，正则项表示如下：其中，θd，和被限制为非负。5.根据权利要求4所述的基于跨媒体稀疏主题编码的图像自动标注方法，其特征在于：为了确定多媒体文档中隐变量间的联合分布，使用泊松分布去构建图像词似然模...

【专利技术属性】
技术研发人员：刘均，宋凌云，罗敏楠，杨宽，张玲玲，阮建飞，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61