一种基于超图的图像混合摘要生成方法技术

本发明专利技术提供了一种基于超图的图像混合摘要生成方法，具体包括：步骤1：输入原始图像；步骤2：输入标签列表；步骤3：抽取视觉特征；步骤4：建立超图；步骤5：超图分割；步骤6：选取混合摘要。本发明专利技术使用的超图模型，不仅可以利用图像与图像、标签与标签之间的同质关系，同时还可以利用图像与标签之间的异质关系；本发明专利技术提出的选取图像摘要和标签摘要的方法，同时考虑了语义和视觉的代表性，选取的图像摘要和标签摘要能够较好地代表所属分组。

【技术实现步骤摘要】

本专利技术属于图像处理
，特别是。
技术介绍
随着各种数字化成像设备(如数码相机,手机等)的普及、大容量存储设备成本的降低以及互联网技术的革新，现代生活中多媒体信息(包括图像、视频等)的数量在迅猛增长，特别是数字图像充斥在人们日常生活的方方面面，并且随之诞生了一批图像分享网站(如Flick^Picasa等)。但是在这些网站上，存在着明显的缺陷海量的图像无法得到有效的组织，给用户寻找想要的图片以及浏览图片集合造成了不便。 为了更好地组织图像和将图像有效可视化，研究人员提出了图像混合摘要技术。所谓的图像混合摘要，是指从海量的图像集合中选取少量具有代表性的图像和语义标签作为整个集合的代表，方便用户快速浏览和查询。这里的语义标签指的是对图像内容进行描述的文本单词，语义标签简称为标签。近年来，研究人员提出了许多针对互联网图像的图像混合摘要技术文献 I (Jaffe A, Naaman M, Tassa T, and Davis M. Generating Summaries forLargeCoIIections of Geo-Referenced Photographs.1n Proceedings of InternationalConference onfforld Wide Web, pages 853-854, 2006.) Jaff 等使用标签和地理信息来产生一个图像摘要集；文献 2(Simon I, Snavely N, and Seitz S M. Scene Summarization for OnlineImageCollections.1n Proceedings of IEEE IIth International Conference onComputer Vision, 2007,1-8.) Simon等使用了一个贪婪k-means算法选择了一系列的典型性视图来形成场景摘要；文献3 (Fan J, Gao Y, Luo H, Keim D A, and Li Z. A Novel Approach toEnableSemantic and Visual Image Summarization for Exploratory Image Search.1nProceedings ofMultimedia Information Retrieval, 2008, 358-365.)Fan 等首先根据图像的主题关键词形成一个主题词网络，然后再使用混合核和基于代表性的图像采用方法产生图像摘要。尽管以上文献I 文献3的图像混合摘要生成方法取得了一些成果，但是这些方法由于所用模型的缺陷，生成图像混合摘要的过程中，只能考虑图像与图像之间的关系、标签与标签之间的关系，无法考虑完全以下三种关系图像与图像之间的关系、标签与标签之间的关系、图像与标签之间的关系，因此生成的图像混合摘要并不理想。
技术实现思路
本专利技术的目的在于提供一种不仅可以利用图像与图像、标签与标签之间的同质关系，同时还可以利用图像与标签之间的异质关系对图像进行有效分类的基于超图的图像混合摘要生成方法。实现本专利技术目的的技术解决方案，具体包括以下步骤步骤1、输入N张原始图像，每一张原始图像应满足以下条件附带的标签个数不少于I个；步骤2、输入标签列表2.1)输入原始图像的标签列表每一张原始图像附带的标签的集合，称为该张原始图像的标签列表； 2. 2)从所有原始图像的标签列表中统计出独立标签集合L = (IijI2,. . . ,Ii,...,1M}，其中独立标签集合L中任意两个标签I都不重复，M为独立标签的个数；步骤3、抽取原始图像的视觉特征集合抽取原始图像的视觉特征集合《F,Ψ = {F{,F2,...,Ft,...,Fn}，其中 k 表示 k 种视觉特征广表示第 i 张图像的第j种视觉特征；步骤4、建立超图，建立超图的过程包括以下两个步骤4.1)建立超图的顶点集合V，顶点集合V包括V1，V2 =V1表示第I种类型的顶点即原始图像的视觉特征集合《F ; V2表示第2种类型的顶点即原始图像的独立标签集合L ；4.2)建立超图的超边集合E，超边集合E包括E1，E2, E3 =E1表示第I种超边，连接的是V1类型的顶点；E2表示第2种超边，连接的是V2类型的顶点；E3表示第3种超边，连接的是V1和V2类型的顶点；步骤5、使用超图谱分解技术对超图的顶点集合V进行分割，将超图的顶点集合V分割成若干组；步骤6、选取摘要，选取摘要的过程包括以下两个步骤6.1)在每一组中选取m个V2类型的顶点对应的独立标签，作为该组的标签摘要集合T ;6. 2)在每一组中选取η个V1类型的顶点对应的原始图像，作为该组的图像摘要集合I。本专利技术与现有技术相比，其显著优点是(1)本专利技术使用的超图模型，不仅可以利用图像与图像之间的关系、标签与标签之间的关系，同时还可以利用图像与标签之间的关系；(2)本专利技术提出的选取图像摘要和标签摘要的方法，同时考虑了语义和视觉的代表性，选取的图像摘要和标签摘要能够较好地代表所属分组。四附图说明图1是本专利技术基于超图的图像混合摘要生成方法的流程图。图2是本专利技术基于超图的图像混合摘要生成方法的超图示意图。图3是本专利技术基于超图的图像混合摘要生成方法的效果实例图。五具体实施例方式下面结合附图对本专利技术作进一步详细描述。结合图1、图2，本专利技术提出的基于超图的图像混合摘要生成方法，具体包括以下步骤步骤1、输入N张原始图像，每一张原始图像应满足以下条件附带的标签个数不少于I个；步骤2、输入标签列表2.1)输入原始图像的标签列表每一张原始图像附带的标签的集合，称为该张原始图像的标签列表；2. 2)从所有原始图像的标签列表中统计出独立标签集合本文档来自技高网...

【技术保护点】
一种基于超图的图像混合摘要生成方法，其特征在于，包括以下步骤：步骤1、输入N张原始图像，每一张原始图像应满足以下条件：附带的标签个数不少于1个；步骤2、输入标签列表：2.1)输入原始图像的标签列表：每一张原始图像附带的标签的集合，称为该张原始图像的标签列表；2.2)从所有原始图像的标签列表中统计出独立标签集合L＝{l1，l2，...，li，...，lM}，其中独立标签集合L中任意两个标签l都不重复，M为独立标签的个数；步骤3、抽取原始图像的视觉特征集合：抽取原始图像的视觉特征集合Fi={fi1,fi2,...,fij,...,fik},其中k表示k种视觉特征，表示第i张图像的第j种视觉特征；步骤4、建立超图，建立超图的过程包括以下两个步骤：4.1)建立超图的顶点集合V，顶点集合V包括V1，V2：V1表示第1种类型的顶点即原始图像的视觉特征集合V2表示第2种类型的顶点即原始图像的独立标签集合L：4.2)建立超图的超边集合E，超边集合E包括E1，E2，E3：E1表示第1种超边，连接的是V1类型的顶点；E2表示第2种超边，连接的是V2类型的顶点；E3表示第3种超边，连接的是V1和V2类型的顶点；步骤5、使用超图谱分解技术对超图的顶点集合V进行分割，将超图的顶点集合V分割成若干组；步骤6、选取摘要，选取摘要的过程包括以下两个步骤：6.1)在每一组中选取m个V2类型的顶点对应的独立标签，作为该组的标签摘要集合T；6.2)在每一组中选取n个V1类型的顶点对应的原始图像，作为该组的图像摘要集合I。FDA00002419730100011.jpg,FDA00002419730100012.jpg,FDA00002419730100014.jpg,FDA00002419730100015.jpg...

【技术特征摘要】
1.一种基于超图的图像混合摘要生成方法，其特征在于，包括以下步骤步骤1、输入N张原始图像，每一张原始图像应满足以下条件附带的标签个数不少于I个；步骤2、输入标签列表.2.1)输入原始图像的标签列表每一张原始图像附带的标签的集合，称为该张原始图像的标签列表；.2.2)从所有原始图像的标签列表中统计出独立标签集合L = (I1,12，. . .，Ii,. . .，1M}， 其中独立标签集合L中任意两个标签I都不重复,M为独立标签的个数；步骤3、抽取原始图像的视觉特征集合抽取原始图像的视觉特征集合《F ,Ψ = [F1,F2,...,Fi,...,Fn} A = [fU’U}，其中 k表示 k种视觉特征，f 表示第 i张图像的第j种视觉特征；步骤4、建立超图，建立超图的过程包括以下两个步骤.4.1)建立超图的顶点集合V，顶点集合V包括V1，V2 =V1表示第I种类型的顶点即原始图像的视觉特征集1、厂V2表示第2种类型的顶点即原始图像的独立标签集合L .4.2)建立超图的超边集合E，超边集合E包括E1，E2, E3 =E1表示第I种超边，连接的是 V1类型的顶点；E2表示第2种超边，连接的是V2类型的顶点；E3表示第3种超边，连接的是 V1和V2类型的顶点；步骤5、使用超图谱分解技术对超图的顶点集合V进行分割，将超图的顶点集合V分割成若干组；步骤6、选取摘要，选取摘要的过程包括以下两个步骤.6....

【专利技术属性】
技术研发人员：唐金辉，李旻先，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：