一种网络图像自主收集与筛选方法技术

本发明专利技术提供了一种网络图像自主收集与筛选方法，该方法利用互联网日益丰富的海量图像数据，借助搜索引擎提供的强大的图像检索能力实现网络图像的自主收集与筛选。本发明专利技术为获取图像目标类别数据库数据集提供了一种自动化的解决方案，这样既可避免大量的人工劳动，又能消除由于人工收集数据集而带来的有偏性。

【技术实现步骤摘要】
本专利技术涉及构建计算机视觉与模式识别图像数据库领域，特别涉及一种用于构建图像目标类别数据库的网络图像自主收集与筛选方法。
技术介绍
图像目标类别数据库是进行计算机视觉与模式识别研究的必要条件，研究建立高质量图像目标类别数据库的方法和系统对于计算机视觉与模式识别的研究工作具有重要的意义。目前，建立图像数据库的绝大多数方法均出现以下问题I)收集图像数据以及数据的标记工作需要大量的人工劳动，极大的限制了数据库的规模，这成为扩大图像数据库规模时一个很难突破的瓶颈。 2)人工收集和标记图像数据库的过程并非一个完全客观地过程，不同知识文化背景的人所收集的图像数据以及对其进行的标记总是不同的，这就导致建立的图像数据库往往是有偏的，即无法确保对各种计算机视觉和模式识别算法进行评测的客观性。
技术实现思路
本专利技术的目的在于提供一种网络图像自主收集与筛选方法。为达到上述目的，本专利技术采用了以下技术方案I)图像主题提取选取单幅图像，然后选择网络搜索引擎对单幅图像进行检索得到搜索结果，对搜索结果进行提取后得到图像主题；2)网络图像及相关文本信息自动下载根据图像主题从网络下载图像及与图像相关的文本信息至本地数据库得数据集;3)图像数据筛选利用图像信息及与图像相关的文本信息对数据集内的图像进行筛选得目标图像集。所述图像主题提取的步骤为首先，借助网络上的以图搜图服务对选取的单幅图像进行检索，得到与单幅图像相关的文本检索信息；其次，利用先验语义知识以及统计方法对文本检索信息进行提取处理得到图像主题。所述对文本检索信息进行提取处理包括以下步骤调用WordNet的语义网络对文本检索信息进行过滤，滤除介词、冠词、抽象名词、动词、形容词以及副词；如果过滤后只剩一个单词，那么该单词便是图像主题；如果过滤后剩余多个单词，以剩余的单词作为关键词分别在基于文本的图像检索中搜索图像的网址，获取前15-20幅图像的网址；将图像的网址分别利用以图搜图服务进行检索，得到与网址相关的文本检索信息；对所有与网址相关的文本检索信息进行分词后统计词频，词频最高的单词即为单幅图像的图像主题。所述自动下载中，如果因下载请求遭到拒绝或读取流失败导致下载失败，并且重试三次仍下载失败，那么跳过对此图像的下载程序，直接进入下一张图像的下载程序；下载某一图像时，如果在设定时间内图像下载完成，则进入下一张图像的下载程序，若在设定时间内没有完成图像下载，则抛弃此次下载结果，然后进入下一张图像的下载程序。所述图像数据筛选的步骤为首先，利用图像的归一化灰度直方图分布信息剔除数据集中的非自然图像；其次，利用与图像相关的文本信息剔除数据集中偏离图像主题的图像。所述文本信息为图像Tag信息。所述非自然图像包括卡通画、图标、手绘或合成的图像。所述非自然图像的判断依据为在图像的归一化灰度直方图中，频率阈值取O.06，即当出现频率大于O. 06的灰度级数量小于60时图像被判定为非自然图像。 所述剔除数据集中偏离图像主题的图像包括以下步骤对与图像相关的文本信息进行分词得多个单词；利用WordNet的语义网络从多个单词中筛选表示Object的词；若表示Object的词属于同一个同义词集合，那么保留与文本信息相关的图像，否则剔除与文本信息相关的图像。本专利技术的有益效果为首先，互联网上的图像数据信息日渐庞大，网络传输协议更加标准和完善，图像搜索引擎飞速发展，在一定的时间段内，搜索引擎在特定搜索条件下的返回结果是不变的，即不论何人进行图像检索，得到的返回结果在一定时间段内是相同的，这样就能消除由于人工收集数据集而带来的有偏性。其次，将搜索引擎返回的图像搜索结果自动的并具有针对性的下载至本地数据库中，这样能避免大量的人工收集工作。附图说明图I为网络图像自主收集与筛选系统框图。图2为图像主题提取流程图。图3为网络图像及其Tag信息自动下载流程图。图4为图像数据筛选流程图。图5为Google返回结果中的非自然图像。图6为Tag信息及其对应图像示例。图7为自然图像的灰度直方图示例。图8为卡通图等非自然图像的灰度直方图示例。图9为WordNet的单词分类结构树示意。具体实施例方式下面结合附图对专利技术作进一步说明。对于网络图像自主收集与筛选，要求输入单幅图像或检索关键词后，输出与输入图像或关键词主题相关度较高的大量图像数据，图I为网络图像自主收集与筛选系统的总体框图，显示了系统功能实现的三个基本步骤，分别为图像主题提取、图像及其Tag信息下载、图像筛选。其中，图像Tag信息是指每幅图像下方对应的文本信息(如图5所示)。(一)首先是图像主题提取，图像主题提取模块的实现主要分为两步第一，选择合适搜索引擎对输入图像进行检索，得到与其相关的文本检索信息；第二，基于统计、先验知识对文本检索信息进行处理，提取图像主题，将输入的图像转化为对图像进行描述的文本信息。图像主题提取模块流程如图2所示，具体步骤为步骤I，按照发送POST请求的格式要求，将输入图像加入POST请求后向Google(谷歌)服务器发送请求；步骤2，获取Google服务器返回的结果，得到输入图像的最佳猜测；步骤3,调用WordNet的语义网络(关于WordNet的详细信息，请参照http: //wordnet. princeton. edu/)对最佳猜测(文本检索信息)进行过滤，滤除介词、冠词、抽象名词、动词、形容词、副词；步骤4，如果滤除后只剩一个词，那么该单词便是图像主题，输出结果，第一阶段完成；否则，分别以过滤后剩余的单词作为关键词在Google基于文本的图像检索中搜索图·像，获取前15幅图像数据的网址；步骤5，分别将15幅图像的网址输入Google以图搜图中，得到15个最佳猜测的结果;步骤6，对所有结果进行分词并统计词频，出现频率最高的单词即为输入图像的最终主题，输出结果后第一阶段完成。(二)其次是图像及其Tag信息下载，对于图像集下载，本专利技术力求下载模块运行要有较强的异常处理能力和稳定性。在图像集较小的情况下，利用网上现有的与网络数据下载有关的开源软件可以满足下载需求，但是随着下载图像数量的增加，程序出现异常的几率大大增加，运行过程中经常出现异常中断或假死的状态，使得后续图像无法继续下载，影响整个进程的自动化实现。因此本专利技术在系统设计中加入以下原则I)舍小求大，在下载某一图像时，如果出现异常，比如请求遭到拒绝或读取流失败，并且在重试三次仍以失败告终，那么跳过对此图像的下载程序，直接进入下一张的下载程序。2)有限等待，为每次图像的下载加入守护进程，类似于嵌入式系统的看门狗程序。当某一图像下载时便启动计时器，设定时限，如果在设定时间内图像下载成功，则正常进入下一张图像的下载程序，若设定时间内图像并未下载成功，则抛弃此次下载结果，直接进入下一张的下载。图3为下载模块的流程图，具体步骤为步骤1，输入图像主题信息和下载图像的数量(页数)；步骤2，生成满足Google搜图要求的URL ；步骤3,向Google搜图发送Get请求,获取返回的网页源码；步骤4，从网页源码中提取20个图像的URL以及对应的Tag信息；步骤5，通过20个URL下载对应的图像数据并保存至本地；步骤6，若下载至最后一页则退出，否则下载下一页，进入步骤2。(三)最后为图像数据的筛选，将下载的图像数据分为本文档来自技高网...

【技术保护点】
一种网络图像自主收集与筛选方法，其特征在于，包括以下步骤：1）图像主题提取选取单幅图像，然后选择网络搜索引擎对单幅图像进行检索得到搜索结果，对搜索结果进行提取后得到图像主题；2）网络图像及相关文本信息自动下载根据图像主题从网络下载图像及与图像相关的文本信息至本地数据库得数据集；3）图像数据筛选利用图像信息及与图像相关的文本信息对数据集内的图像进行筛选得目标图像集。

【技术特征摘要】
1.一种网络图像自主收集与筛选方法，其特征在于，包括以下步骤 1)图像主题提取 选取单幅图像，然后选择网络搜索引擎对单幅图像进行检索得到搜索结果，对搜索结果进行提取后得到图像主题； 2)网络图像及相关文本信息自动下载 根据图像主题从网络下载图像及与图像相关的文本信息至本地数据库得数据集； 3)图像数据筛选 利用图像信息及与图像相关的文本信息对数据集内的图像进行筛选得目标图像集。2.根据权利要求I所述一种网络图像自主收集与筛选方法，其特征在于，所述图像主题提取的步骤为首先，借助网络上的以图搜图服务对选取的单幅图像进行检索，得到与单幅图像相关的文本检索信息；其次，利用先验语义知识以及统计方法对文本检索信息进行提取处理得到图像主题。3.根据权利要求2所述一种网络图像自主收集与筛选方法，其特征在于，所述对文本检索信息进行提取处理包括以下步骤 调用WordNet的语义网络对文本检索信息进行过滤，滤除介词、冠词、抽象名词、动词、形容词以及副词；如果过滤后只剩一个单词，那么该单词便是图像主题；如果过滤后剩余多个单词，以剩余的单词作为关键词分别在基于文本的图像检索中搜索图像的网址，获取前15-20幅图像的网址；将图像的网址分别利用以图搜图服务进行检索，得到与网址相关的文本检索信息；对所有与网址相关的文本检索信息进行分词后统计词频，词频最高的单词即为单幅图像的图像主题。4.根据权利要求I所述一种网络图像自主收集与筛选方法，其特征在于，...

【专利技术属性】
技术研发人员：薛建儒，王乐，高占宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：