【技术实现步骤摘要】
一种基于超图的图像检索与标注方法
本专利技术涉及超图上的Top-k查询技术,特别涉及一种基于超图的图像检索与标注方法。
技术介绍
随着社交媒体和移动互联网的发展,社交图像网站提供了大量由不同用户进行文本标注的图像。社交图像往往附带多种信息,譬如视觉特征、标签和用户等,以及多种行为关系,譬如标注和评论等。对海量社交图像进行检索和标注应用非常广泛,成为数据库、数据挖掘和机器学习领域的研究热点。图像检索是根据给定的信息,查找最相近的图像对象,根据给定的信息类型不同,又有相似图像检索和关键字图像检索等多种检索类型。图像标注是给指定图像附加语义文本信息,也即根据图像查找最相近的语义文本。超图是普通图模型的扩展,其中的超边可包含多个结点,故能够表示高维关系,更适合对复杂网络进行建模。图像检索和标注在搜索引擎和社交媒体等领域有重要的应用价值。目前的图像检索和标注方法,一般仅对单一特征进行管理,或使用普通图对社交图像进行建模。然而,单一特征只能表示某方面的相关性,不能用来表示真实的语义关联,普通图不能够表示高维关系(比如标注和评论关系),造成了信息缺失。一些机器学习领域的方法使用超图模型,但使用了复杂的矩阵运算进行求解,时间和存储开销巨大且不具有扩展性。
技术实现思路
针对上述不足,本专利技术提供一种基于超图的图像检索与标注方法,该方法使用超图对社交图像进行建模来表示高维关系,使用批量、并行和缓冲技术来加速超图模型构建,并使用个性化PageRank加速超图上的Top-k查询,也使用并行和近似方法进一步加速了查询,本专利技术既提高了查询效率也保证了查询质量。本专利技术解决其技术 ...
【技术保护点】
一种基于超图的图像检索与标注方法,其特征在于,该方法的步骤如下:步骤(1):使用一个基于内容的图像检索引擎对图像数据集建立t‑NN图,并将各图像与其视觉特征最相似的t张图像建立联系。步骤(2):根据图像t‑NN图和图像的社交关联信息,建立超图,计算其转移概率矩阵并存储到B+树中。步骤(3):用户提交查询对象集合和k值。步骤(4):根据用户提交的查询对象集合生成查询向量,而后在超图上进行并行的个性化PageRank查询,利用上、下界估计方法过滤超图的结点,逐步缩小PageRank查询过程中每轮迭代的候选点集合,直至得到k个结果。步骤(5):用户对步骤(4)得到的k个结果进行评价,生成反馈信息,再根据反馈信息调整步骤(4)中的查询向量,形成新的查询向量,再重复步骤(4),最终获得新的查询结果并返回给用户。
【技术特征摘要】
1.一种基于超图的图像检索与标注方法,其特征在于,该方法的步骤如下:步骤(1):使用一个基于内容的图像检索引擎对图像数据集建立t-NN图,并将各图像与其视觉特征最相似的t张图像建立联系。步骤(2):根据图像t-NN图和图像的社交关联信息,建立超图,计算其转移概率矩阵并存储到B+树中。步骤(3):用户提交查询对象集合和k值。步骤(4):根据用户提交的查询对象集合生成查询向量,而后在超图上进行并行的个性化PageRank查询,利用上、下界估计方法过滤超图的结点,逐步缩小PageRank查询过程中每轮迭代的候选点集合,直至得到k个结果。步骤(5):用户对步骤(4)得到的k个结果进行评价,生成反馈信息,再根据反馈信息调整步骤(4)中的查询向量,形成新的查询向量,再重复步骤(4),最终获得新的查询结果并返回给用户。2.根据权利要求1所述的一种基于超图的图像检索与标注方法,其特征在于:所述的步骤(1)中图像检索引擎基于度量空间SPB树索引结构,根据MPEG-7标准提取图像的视觉特征,建立SPB树,并对各图像进行t-NN查询,获得与其最相近的t个查询结果,进而建立t-NN图。3.根据权利要求1所述的一种基于超图的图像检索与标注方法,其特征在于:所述的步骤(2)中超图的种类有三种:1)以图像t-NN图中的各图像和其t-NN图像作为一种超边;2)以用户对图像进行标注的三元组合作为一种超边;3)以用户对图像进行评价的多元组合作为一种超边。4.根据权利要求1所述的一种基于超图的图像检索与标注方法,其特征在于:所述的步骤(2)中计算超图转移概率矩阵的具体步骤如下:用G(V,E,w)表示一个超图,其中V是结点集合,E是超边集合,w是一个权重函数;一个超图可以用一个|V|×|E|的矩阵H表示,其中矩阵元素h(v,e)为:其中,v为结点,e为超边;结点v的度d(v)可以表示为:d(v)=∑e∈E|v∈ew(e)=∑e∈Ew(e)h(v,e)其中,w(e)表示超边e的权重;超边e的度δ(e)可以表示为:δ(e)=|e|=∑v∈Vh(v,e)超图的转移概率矩阵,用P来表示,则P中的元素p[u,v]表示从结点u到结点v的转移概率,其可以使用如下公式进行计算:5.根据权利要求1所述的一种基于超图的图像检索与标注方法,其特征在于:所述的步骤(2)中转移概率矩阵采用批量插入方法、并行技术和缓冲技术存储到B+树中;在将转移概率矩阵存储到B+树中时,把超图的出度结点和入度结点的组合作为键,转移概率作为值。6.根据权利要求1所述的一种基于超图的图像检索与标注方法,其特征在于:所述的步骤(3)中k是用户指定的查询返回结点个数。7.根据权利要求1所述的一种基于超图的图像检索与标注方法,其特征在于:所述的步骤(4)中的个性化PageRank以查询向量和k值作为输入,在每轮迭代中,根据转移概率矩阵,结点从该结点的入度结点获得排名得分,该...
【专利技术属性】
技术研发人员:高云君,陈璐,邢郅豪,陈刚,
申请(专利权)人:浙江大学,
类型:发明
国别省市:浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。