基于邻域与距离度量学习的图像语义自动标注方法技术

本发明专利技术提供一种基于邻域与距离度量学习的图像语义自动标注方法，包括通过引入变换矩阵，从训练集中随机取任意两幅图像求得距离度量；计算标注词的先验概率，对于训练集中的每个图像获取邻域，记录训练集中标注词出现与不出现的次数，计算条件概率；对于测试集中的每个图像获取邻域，通过计算图像系数得到标准词向量并输出。本发明专利技术无需事先确定标注词的个数比较现有技术智能化程度更高，标注结果更准确。而且，本发明专利技术的图像邻域完全是通过学习所获得的距离度量得到的，精确度更高。

【技术实现步骤摘要】

本专利技术涉及图像检索领域，特别涉及基于邻域与距离度量学习的图像语义自动标 注方法。
技术介绍
随着网络技术的飞速发展和数码相机与移动设备的快速普及，越来越多的人能够 方便地使用和传输数字图像，使得图像网站上数字图像的数量得到指数性增长。如何在海 量图像网站上有效地检索图像以便快速、有效地发现感兴趣的图像资源已经成为一个具有 挑战性的任务。 然而，作为图像检索的重要环节，图像标注的性能决定着图像检索的效果。基于语 义的图像检索能够有效地弥补基于文本和基于内容两种图像检索方法的缺陷，使检索结果 与用户所需信息尽可能一致。 利用语义检索图像时，人们通常通过图像的高水平语义来检索。已有的很多图像 标注方法多采用低水平视觉特征来描述图像，然而图像的低水平视觉特征与图像的高水平 语义之间存在鸿沟，因此，现存的很多图像语义标注方法的性能并不令人满意。 当前，现存的图像语义自动标注方法有一定的局限性。经过对现有技术的文献检 索发现，Zhixin Li 等 2011 年在 Patter Recognition Letters 上发表的论文 Modeling continuous visual features for semantic image annotation and retrieval，'（面 向语义图像标注和检索的连续视觉特征建模，简称文献1）中提出了一种图像标注和检 索方法，图像标注词个数是事先预定的。通过文献检索还发现，Songhao Zhu等2013年在 Journal of Visual Communication and Image Representation 上发表的论文 Image annotation using high order statistics in non-Euclidean spaces，'（用于图像标注 的非欧几里得距离高阶统计量，简称文献2）中提到的图像邻域是由K近邻方法构成的， 这导致对于每幅图像，其邻域中图像的个数都是相同的。
技术实现思路
本专利技术针对现有图像语义标注方法性能的不足，提供了一种基于图像语义的自动 标注方法。 本专利技术的技术方案提供一种基于邻域与距离度量学习的图像语义自动标注方 法，：设训练集Tr为有标注词的图像集合仏，。...，。，Nl为训练集Tr中图像个数，测 试集Te为无标注词的图像集合U1, 12, ...，IN2}，N2为测试集Te中图像个数；任一幅图像 I 由 M 个视觉特征 X1，X2, ? ? ?，Xm 表示成 M 维向量 I = (X1，X2, ? ? ?，xM)，L = {k k2, ? ? ?，km} 是标注词集合，每幅图像I e Tr都与Fg ￡对应，Y= (y1，/，...^1)，Y称为图像I的标 注词向量；y3 = 1表示图像I有标注词kj，y3 = 0表示图像I没有标注词kj，j的取值为 1，2, --?，!!!；训练集表示为 Tr ={ (Iu, Yu) Iu = 1,2, ...Nl}，4 = =1 表 示第j个标注词kj属于图像Iu，^ =0表示第j个标注词kj不属于图像Iu，Yu为图像Iu的 标注词向量； 执行以下步骤， 步骤一，从训练集中随机取任意两幅图像Iu，I v e Tr，求得距离度量A (Iu，Iv)，实 现如下， 令s = ATA，其中A是变换矩阵；对于训练集中的任意两幅图像Iu，Iv G Tr，它们之 间的距离A (Iu，Iv)是本文档来自技高网...

【技术保护点】
一种基于邻域与距离度量学习的图像语义自动标注方法，其特征在于：设训练集Tr为有标注词的图像集合{I1,I2,...,IN1}，N1为训练集Tr中图像个数，测试集Te为无标注词的图像集合{I1,I2,...,IN2}，N2为测试集Te中图像个数；任一幅图像I由M个视觉特征x1,x2,...,xM表示成M维向量I＝(x1,x2,...,xM)，L＝{k1,k2,...,km}是标注词集合，每幅图像I∈Tr都与对应，Y＝(y1,y2,...,ym)，Y称为图像I的标注词向量；yj＝1表示图像I有标注词kj，yj＝0表示图像I没有标注词kj，j的取值为1,2,…,m；训练集表示为Tr＝{(Iu,Yu)|u＝1,2,...N1}，表示第j个标注词kj属于图像Iu，表示第j个标注词kj不属于图像Iu，Yu为图像Iu的标注词向量；执行以下步骤，步骤一，从训练集中随机取任意两幅图像Iu,Iv∈Tr，求得距离度量Δ(Iu,Iv)，实现如下，令S＝ATA，其中A是变换矩阵；对于训练集中的任意两幅图像Iu,Iv∈Tr，它们之间的距离Δ(Iu,Iv)是Δ(Iu,Iv)＝(Iu,Iv)TS(Iu,Iv)＝(AIu,AIv)T(AIu,AIv)其中，S＝ATA是由变换矩阵A生成的度量矩阵，(Iu,Iv)T是图像Iu与Iv向量之间欧几里得距离的转置，AIu是A与Iu的内积，AIv是A与Iv的内积，(AIu,AIv)是计算两个内积AIu、AIv的欧几里得距离后所获得的向量，(Iu,Iv)TS(Iu,Iv)是(Iu,Iv)T、S和(Iu,Iv)的内积；图像Iu选择训练集Tr中的另一图像Iv作为自己近邻的概率Puv按下式计算，Puv=w(Iv)exp(-||AIu-AIv||2)Σk≠uw(Ik)exp(-||AIu-AIk||2)]]>其中，w(I)＝P2(I)/P1(I)是待定向量，其中P1(I)和P2(I)分别是训练集Tr和测试集Te的概率密度函数，Ik表示训练集Tr中图像Iu以外的任意图像，则Iu、Ik相应的待定向量w(Iv)＝P2(Iv)/P1(Iv)、w(Ik)＝P2(Ik)/P1(Ik)；记训练集Tr中所有与Iu具有相同标注词的图像集合为Ωu，则Ωu中的图像都是图像Iu的近邻的概率Pu是Pu=ΣIv∈ΩuPuv]]>概率Pu的加权均值f(A)如下，f(A)=Σu=1N1w(Iu)logPu]]>其中，Iu相应的待定向量w(Iu)＝P2(Iu)/P1(Iu)；按下式计算f(A)的梯度∂f∂A=2AΣu=1N2w(Iu)(Σk≠uPuk(Iu-Ik)(Iu-Ik)T-ΣIv∈ΩuPuv(Iu-Iv)(Iu-Iv)TΣIv∈ΩuPuv)]]>利用梯度下降法求得变换矩阵A，由此得到图像距离Δ(Iu,Iv)；步骤二，对于标注词kj∈L和训练集Tr中的每个图像Iu∈Tr，按照下式分别计算标注词的先验概率和：P(kj+)=1+Σu=1N1yuj1+N1,P(kj-)=1-P(kj+)]]>其中，和分别表示标注词kj出现或不出现；步骤三，对于训练集Tr中的每个图像Iu∈Tr，利用步骤一所获得的距离度量Δ(Iu,Iv)，获得Iu的邻域δ(Iu)，实现如下，δ(Iu)＝{Iv|Δ(Iu,Iv)≤τ,Iv∈Tr}其中，τ是预设的邻域半径，τ＞0；步骤四，对于标注词kj∈L，记录训练集Tr中标注词kj出现与不出现的次数aj和bj；步骤五，计算条件概率P(Ckj|kj+)=1+ajM+Σaj,P(Ckj|kj-)=1+bjM+Σbj]]>其中，是训练集Tr中在图像Iu的邻域δ(Iu)内有标注词kj的图像的个数，M是图像视觉特征的个数；步骤六，对于测试集Te中的任意图像Iu∈Te，获得图像Iu的邻域δ(Iu)，实现如下，首先，对于测试集中任意图像Iu∈Te，利用步骤一所获得的距离度量Δ(Iu,Iv)，获得Iu的邻域δ(Iu)，实现如下，δ(Iu)＝{Iv|Δ(Iu,Iv)≤τ,Iv∈Te}其中，τ是预设的邻域半径，τ＞0，Iv表示测试集Te中图像Iu以外的任意图像；步骤七，通过计算图像系数得到标准词向量并输出，实现如下，对于每个标注词kj∈L，计算测试集中任一图像Iu∈Te的邻域δ(Iu)内所包含的图像中有标注词kj的图像系数如果则，其中│δ(Iu)│表示邻域δ(Iu)内所有图像的数目；否则，如果则；否则，按照下式计算ω(Iu,kj)=P(kj+|Ckj)=argmaxz∈{+...

【技术特征摘要】
1. 一种基于邻域与距离度量学习的图像语义自动标注方法，其特征在于：设训练集Tr为有标注词的图像集合U1, 12, ...，IN1}，Nl为训练集Tr中图像个数，测试集Te为无标注 词的图像集合U1, 12,. . .，IN2}，N2为测试集Te中图像个数；任一幅图像I由M个视觉特征 X1，X2,. . .，Xm表示成M维向量I= (X1，X2,. . .，xM)，L={kpk2,. . .，km}是标注词集合，每幅 图像IeTr都与Fgi对应，Y= (y1，y2, . . .，ym)，Y称为图像I的标注词向量；yj = 1表 示图像I有标注词=O表示图像I没有标注词kj，j的取值为1，2,…，m;训练集表示 为Tr= {(Iu,Yu)Iu= 1，2,…N1},Γκ = ,W=丨表示第j个标注词kj属于 图像Iu，^ 表示第j个标注词h不属于图像Iu，Yu为图像Iu的标注词向量； 执行以下步骤， 步骤一，从训练集中随机取任意两幅图像Iu，IveTr，求得距离度量Λ(Iu，Iv)，实现如 下， 令S=ATA，其中A是变换矩阵；对于训练集中的任意两幅图像Iu，IveTr，它们之间的 距离Λ(Iu，Iv)是 Δ(IU,IV) = (IU,IV)TS(IU,IV) = (AIU,AIv)T (AIU,AIv) 其中，S=AtA是由变换矩阵A生成的度量矩阵，（Iu，Ιν)τ是图像Iu与Iv向量之间欧几 里得距离的转置，AIu是A与Iu的内积，八^是八与Iv的内积，（AIU，AIv)是计算两个内积AIU、 AIv的欧几里得距离后所获得的向量，（Iu，Iv)tS(Iu，Iv)是（Iu，Iv)T、S和（Iu，Iv)的内积； 图像Iu选择训练集Tr中的另一图像Iv作为自己近邻的概率Puv按下式计算，其中，w(I) =P2 (I)/P1⑴是待定向量，其中P1⑴和P2⑴分别是训练集Tr和测试集Te的概率密度函数，Ik表示训练集Tr中图像Iu以外的任意图像，则Iu、Ik相应的待定向量 W(Iv) =P2(Iv)A31(Iv)I(Ik) =P2(Ik)A31(Ik);记训练集Tr中所有与Iu具有相同标注词的 图像集合为Qu，则Qu中的图像都是图像Iu的近邻的概率？11是概率Pu的加权均值f(A)如下， J-(A)^YdW(Iu)XogP ii U=-I 其中，Iu相应的待定向量W(Iu) =P2(Iu)ZiP1(Iu); 按下式计算f(A)的梯度I* QA利用梯度下降法求得变换矩阵A，由此得到...

【专利技术属性】
技术研发人员：金聪，金枢炜，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北;42