一种结合用户评价与标注的交互式图像检索方法技术

本发明专利技术是一种结合用户评价和标注的交互式图像检索方法，属于多媒体信息检索领域。在本发明专利技术中，该方法利用了基于图像的物理特征和文本相结合的综合检索方法，在检索过程中，允许用户对查询图像进行文本信息描述，或者选择系统提供的关键字，通过对检索结果进行“满意”或“不满意”的相关评价，图像检索系统自动对用户标记的相关满意图像进行文本标记，形成高层语义信息；随着用户的不断使用，该系统会生成丰富的语义信息数据库。考虑到不同用户对同一图片，同一用户不同时间对同一图片文本标注的差异，本发明专利技术在生成语义信息数据库的过程中结合了用户的可信度。进行检索时，对存在语义信息的查询图像采用基于特征和文本相结合的综合检索方式进行检索，提高了检索结果的准确度。本发明专利技术具有效率高、精确度高、交互方式友好的优点。

【技术实现步骤摘要】
一种结合用户评价与标注的交互式图像检索方法
本专利技术是一种结合用户评价与标注的交互式图像检索方法，属于多媒体信息检索领域。
技术介绍
近年来，随着信息技术的发展，数字图像的数量快速增长，每天都有海量的图像数据产生。如何快速而准确地查找并有效利用这些图像成为迫切需要解决的问题，这就需要图像检索技术。20世纪70年代开始出现基于文本的图像检索技术，主要利用数据库管理系统，对图像进行人工标注，即对每幅图像标注关键字，利用原有成熟的文本检索系统对图像进行管理和检索。这种方法的主要优点是检索速度快，但是人工标注费时费力、主观性强，且对海量图像进行人工标注是很难实现的。20世纪90年代，出现了基于内容的图像检索技术，它自动提取图像的底层物理特征(如颜色、纹理、形状等特征)来进行图像相似度比较。检索时，用户选择一幅图像作为查询图像，然后通过图像底层物理特征的匹配，由系统查找与查询图像相似的图像，按相似度大小排列并返回给用户。在实际应用中，颜色、纹理、形状等底层物理特征有时不能真实反映图像内容，即存在一定的语义鸿沟。近期，人们又提出了基于语义的图像检索方法，但如何自动获取图像的语义信息却很困难。
技术实现思路
本专利技术的目的在于提供一种结合用户评价与标注的交互式图像检索方法，该方法通过用户对查询图像、想查找图像的文本描述或检索结果进行满意度评价，系统能够自动在线生成图像库的语义信息数据库，在检索的过程中，综合利用离线生成的图像底层物理特征和在线生成的高层语义信息进行检索，从而极大提高图像检索的准确度。同时，在生成语义信息数据库的过程中，充分考虑了不同用户给出的文本标注的可靠性因素。该方法具有效率高、精确度高、交互方式友好的特点。本专利技术的总体思想如下：用户提交一幅查询图像或对想查找图像进行文本描述或是二者相结合，检索系统会提取图像特征、提取文本描述中的关键字或者二者同时提取，进行检索时，系统会分别采用基于特征相似度匹配、基于文本相似度匹配和基于特征和文本相似度相结合匹配进行检索。然后用户可对检索结果进行“满意”或“不满意”的相关评价，通过用户对检索结果的相关评价，图像检索系统自动对满意图像进行关键字标注。该图像检索系统随着用户的不断使用，自动对图像库中的各图像生成丰富的语义信息数据库。本专利技术考虑到不同用户给出的文本标注可靠性不同的特点，在生成语义信息数据库的过程中，结合了用户的可信度。具体创新点：本专利技术利用基于物理特征和文本相结合的综合检索方法，从而极大提高图像的检索准确度。同时，在进行语义标注的过程中，只需对查询图像或想查找的图像进行语义标注，图像检索系统自动对用户标记为满意的图像也进行语义标注，且产生的语义标注信息考虑到了用户的可信度因素。本专利技术提出的方法能通过本图像检索系统的不断使用，自动丰富图像库中各图像的语义标注信息，避免人工标注费时费力的问题。本专利技术提出的检索方法，具体步骤包括：(1)对图像库中的所有图像进行特征提取，离线生成图像特征库V；(2)用户登录，如果不登录即为匿名用户；(3)用户提交查询信息，该信息可以是查询图像QN，也可以是输入的文本信息，或者是查询图像与文本信息同时存在；(4)检索系统对查询图像QN进行特征提取，并对输入的文本信息提取关键字；(5)检索系统对查询图像QN进行特征相似度匹配S1；(6)检索系统对提取的关键字进行文本的匹配，即语义相关性S2；(7)检索系统利用S1和S2计算总相似度S，返回S值最大的图像集作为初始的检索结果集合set(R)；(8)同时，检索系统在关键字数据表KL中查询是否存在set(R)中各图像名对应的记录，如果存在，则给出这些记录对应的关键字权值排序最高的前N(N＞0)个关键字供用户选择；(9)用户选择系统提供的关键字K，同时也可以对图像文本标注T′；(10)系统根据用户选择的关键字和标注的文本信息，组合新关键字K′；(11)同时，用户对结果图像进行“满意”或“不满意”评价，对标记为“满意”的图像，用关键字K′进行文本标注；(12)图像检索系统计算该用户的用户可信度a，并计算“满意”图像标注的关键字权值W，保存到关键字信息表KL中，同时，将注册用户的用户信息保存到用户信息数据表UL中，匿名用户的用户信息不需要保存，只需对KL进行更新；(13)如果用户对检索结果不满意，则可修改文本标注T，重复步骤(3)-(12)，直到用户对检索结果满意为止，并给出最终的检索结果。更进一步，步骤1、2所述的特征提取中的特征包括：颜色特征、纹理特征、形状特征、空间分布特征及局部不变性特征。更进一步，步骤6所述的语义相关性S2的计算方法为：对于图像库中的每幅图像，在关键字信息数据表KL中查询包含该图像名及K中任一关键字对应的记录，从这些记录的关键字权值中选取最大值作为S2，如果KL中没有该图像名与K中各关键字对应的记录，则S2值为0。更进一步，步骤7所述的总相似度S的计算方法为：S＝αS1+βS2，其中α+β＝1，α是基于特征相似度匹配在综合检索中所占的比重，β是基于文本匹配在综合检索中所占的比重；当α＝0时，综合检索实际是进行基于文本匹配的检索；当β＝0时，综合检索实际是进行基于特征相似度匹配的检索；当α≠0且β≠0时，图像检索系统进行综合检索，根据用户的不同需求调整视觉相似度S1和语义相关性S2的比例；如果用户希望检索得到语义上更相关的图像，则调小α，调大β，反之如果用户更需要视觉上相似的图像，则相应调小β，调大α。更进一步，步骤8、12所述的关键字信息数据表KL的字段为：关键字、图像名、关键字评价次数、关键字权值其中KL中的一条记录仅与某一关键字及用该关键字表示的一幅图像的图像名一一对应，“关键字评价次数”为所有用户对该图像名用该关键字进行标注的次数的统计，“关键字权值”是每次不同用户用该关键字标注该图像时累加当前用户的可信度得到的。更进一步，步骤12中所述的用户信息数据表UL的字段为：用户名、密码、用户评价次数、用户可信度其中UL用来保存注册用户的操作记录，“用户评价次数”是统计该注册用户对各查询图像进行标注的次数总和，“用户可信度”用于表示该注册用户当前给出的文本标注的可信度。更进一步，步骤12中所述的KL和UL的更新，具体规则如下：1)KL的更新：若某次检索过程取得的K中的某个关键字与用户标注为满意的某个图像名的对应记录不存在，则将该关键字、该图像的图像名、关键字评价次数(1次)和该关键字对应该图像名的关键字权值作为一条记录存入KL中，若记录存在，则将该条记录的评价次数加1，并重新计算该关键字对应记录的关键字权值项；2)UL的更新：若进行检索的是注册用户，则将该用户对应记录的用户评价次数加1，并重新计算该注册用户的用户可信度。更进一步，步骤12所述的用户可信度a，其特征在于，对于匿名用户，它的可信度值只取决于本次操作；而对于注册用户，它的用户可信度是该用户多次评价的用户可信度的平均值；用户某次操作的用户可信度a的具体计算方法为：从KL中找到包含K(用户选择的关键字以及用户输入的文本信息整合后的关键字集合)中任一关键字的所有记录，从这些记录中找到关键字权值最高的记录，a的大小等于该条记录对应的关键字评价次数在对查询图像进行标注的所有关键字评价次数总和中所占比重对应的量化值本文档来自技高网...

【技术保护点】
一种结合用户评价和标注的交互式图像检索方法，其特征在于具体步骤如下：1)对图像库中的所有图像进行特征提取，离线生成图像特征库V；2)用户登录，如果不登录即为匿名用户；3)用户提交查询信息，该信息可以是查询图像QN，也可以是输入的文本信息，或者是查询图像与文本信息同时存在；4)检索系统对查询图像QN进行特征提取，并对输入的文本信息提取关键字；5)检索系统对查询图像QN进行特征相似度匹配S1；6)检索系统对提取的关键字进行文本的匹配，即语义相关性S2；7)检索系统利用S1和S2计算总相似度S，返回S值最大的图像集作为初始的检索结果集合set(R)；8)同时，检索系统在关键字数据表KL中查询是否存在set(R)中各图像名对应的记录，如果存在，则给出这些记录对应的关键字权值排序最高的前N(N＞0)个关键字供用户选择；9)用户选择系统提供的关键字K，同时也可以对图像文本标注T′；10)系统根据用户选择的关键字和标注的文本信息，组合新关键字K′；11)同时，用户对结果图像进行“满意”或“不满意”评价，对标记为“满意”的图像，用关键字K′进行文本标注；12)图像检索系统计算该用户的用户可信度a，并计算“满意”图像标 注的关键字权值W，保存到关键字信息表KL中，同时，将注册用户的用户信息保存到用户信息数据表UL中，匿名用户的用户信息不需要保存，只需对KL进行更新；13)如果用户对检索结果不满意，则可修改文本标注T，重复步骤(3)?(12)，直到用户对检索结果满意为止，并给出最终的检索结果。...

【技术特征摘要】
1.一种结合用户评价和标注的交互式图像检索方法，其特征在于具体步骤如下：1)对图像库中的所有图像进行特征提取，离线生成图像特征库V；2)用户登录，如果不登录即为匿名用户；3)用户提交查询信息，该信息可以是查询图像QN，也可以是输入的文本信息，或者是查询图像与文本信息同时存在；4)检索系统对查询图像QN进行特征提取，并对输入的文本信息提取关键字；5)检索系统对查询图像QN进行特征相似度匹配S1；6)检索系统对提取的关键字进行文本的匹配，即语义相关性S2；7)检索系统利用S1和S2计算总相似度S，返回S值最大的图像集作为初始的检索结果集合set(R)；8)同时，检索系统在关键字信息数据表KL中查询是否存在set(R)中各图像名对应的记录，如果存在，则给出这些记录对应的关键字权值排序最高的前N个关键字供用户选择，其中N＞0；9)用户选择系统提供的关键字K，同时也可以对图像文本标注T；10)系统根据用户选择的关键字和标注的文本信息，组合新关键字K′；11)同时，用户对结果图像进行“满意”或“不满意”评价，对标记为“满意”的图像，用关键字K′进行文本标注；12)图像检索系统计算该用户的用户可信度a，并计算“满意”图像标注的关键字权值W，保存到关键字信息数据表KL中，更新KL，同时，将注册用户的用户信息保存到用户信息数据表UL中，更新UL，匿名用户的用户信息不需要保存，只需对KL进行更新；13)如果用户对检索结果不满意，则可修改文本标注T，重复步骤3)-12)，直到用户对检索结果满意为止，并给出最终的检索结果。2.根据权利要求1所述的图像检索方法，其特征在于：步骤1)和步骤4)所述的特征包括颜色特征、纹理特征、形状特征、空间分布特征及局部不变性特征。3.根据权利要求1所述的图像检索方法，其特征在于：步骤4)所述的提取关键字，其特征在于提取的关键字可以是单一的，也可以是多个关键字。4.根据权利要求1所述的图像检索方法，其特征在于：步骤7)所述的总相似度S的计算方法如下：S＝αS1+βS2，其中α+β＝1，α是S1在综合检索中所占的比重，β是S2在综合检索中所占的比重。5.根据权利要求1所述的图像检索方法，其特征在...

【专利技术属性】
技术研发人员：黄祥林，杨丽芳，曾南子，韩卯辉，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：