一种多层语义图像检索装置及方法制造方法及图纸

本发明专利技术提供一种多层语义图像检索装置及方法，包括信息输入模块、图像检索模块、结果输出模块、显示装置，所述信息输入模块、所述图像检索模块、所述结果输出模块依次连接，所述图像检索模块包括网络通信模块、低层特征提取模块、目标语义提取模块、以及场景语义提取模块，其中，所述低层特征提取模块与网络通信模块连接；所述目标语义提取模块连接于低层特征提取模块的后端；所述场景语义提取模块连接于目标语义提取模块的后端，所述显示装置显示检索结果。本发明专利技术的有益效果是可大大提高用户进行图像检索的满意度。

【技术实现步骤摘要】

本专利技术属于检索系统领域，尤其是涉及一种多层语义图像检索装置及方法。
技术介绍
随着计算机、多媒体和网络技术的迅速发展，互联网上出现了海量的数字图像信息资源。近几年图像搜索是增长速度最快的分类搜索应用，全球几大搜索引擎的图像搜索次数均成倍增长。因此图像检索技术已成为国内外研究的热点，如何高效地组织、管理和检索大规模的图像数据库，也成为未来信息高速公路、数字图书馆等重大项目中的关键技术。图像检索也是多媒体信息检索技术的一个主要组成部分，是视频信息检索的理论基础之一，在信息检索领域占有举足轻重的地位。早期图像检索主要通过对图像进行人工文字注释，利用文本检索实现对图像特征的查找。这种采用手动标注关键词描述信息的方式费时费力，并且不可避免地会带有个人的主观性和不确定性。目前百度、Google等搜索引擎基于网页信息自动采集和标注技术对图像进行文本标注和检索。这种自动标注所采集的图像标识是很粗糙的，准确性不高，有时甚至是不准确的。20世纪90年代初，研究者提出了基于内容的图像检索思想，实现了使用颜色、纹理、形状及区域等图像视觉内容特征的检索和“以图找图”的检索模式的飞跃。但是人们判断图像的相似性并非仅仅建立在这些低层特征的相似性基础上。基于内容的图像检索只涉及了图像的表面特征，无法表达图像的语义内涵。进入21世纪，图像检索围绕图像语义这一热点展开，其目标是使计算机检索图像的能力达到人的理解水平。在理想状况下，用户主要根据图像的含义进行图像检索，而不是根据图像的低层特征进行检索。图像语义大致可分为特征语义、对象语义、场景语义、行为语义和情感语义等，用以对不同层次的图像内容进行描述。有研究将图像内容进一步分成三个层次：第一层为原始特征层，包括描述图像的视觉特征，如颜色、纹理、形状等，反映的是图像的一些具有客观统计特性的内容，对应于图像的特征语义；第二层为导出属性层，涉及由低层视觉特征推导而得到的属性，用以识别图像中描绘的对象(如“太阳”、“篮球”等)，对应于图像的对象语义；第三层是抽象属性层，包括对对象和场景进行更高层的推理而得到的抽象属性(如“日出”、“篮球比赛”等)，对应图像的场景语义、行为语义和情感语义等.一般将第一层与第二层之间的差距称为“语义鸿沟”，图像检索是否真正使用了语义主要体现在是否获取了第二层的图像内容。近年来基于图像语义的图像分类、标注和检索的研究大都需要利用机器学习的策略来获取语义，但仍未出现一种令人满意的高效的通用的系统。
技术实现思路
本专利技术的目的是提供一种多层语义图像检索装置及方法，可大大提高用户进行图像检索的满意度。为达到上述目的，本专利技术采用的技术方案是：一种多层语义图像检索装置及方法，包括信息输入模块、图像检索模块、结果输出模块、显示装置，其特征在于：所述信息输入模块、所述图像检索模块、所述结果输出模块依次连接，所述图像检索模块包括网络通信模块、低层特征提取模块、目标语义提取模块、以及场景语义提取模块，其中，所述低层特征提取模块与网络通信模块连接，并经由网络通信模块提取网络图像的低层特征信息；所述目标语义提取模块连接于低层特征提取模块的后端，并根据预定的概率信息自低层特征信息中提取目标语义信息；所述场景语义提取模块连接于目标语义提取模块的后端，并根据预定的场景语义模板自目标语义信息中提取场景语义信息，再将该场景语义信息对应的图像发送至该场景语义提取模块后端连接的结果输出模块，所述显示装置显示检索结果。优选地，所述图像检索模块基于光流直方图矩阵的距离函数，从视频数据库中匹配出类似于给定视频镜头的视频镜头，检索出匹配图像。优选地，所述显示装置为LED显示屏。本专利技术具有的优点和积极效果是：通过提取网络图像的目标语义信息及场景语义信息，从而实现了有别于现有技术的人性化图像检索，大大提高了图像检索的满意度。附图说明图1是本专利技术的结构示意图。具体实施方式下面结合附图和实施例对本专利技术做进一步说明。如图1所示，本专利技术提供一种多层语义图像检索装置及方法，包括信息输入模块、图像检索模块、结果输出模块、显示装置，信息输入模块、图像检索模块、结果输出模块依次连接，图像检索模块包括网络通信模块、低层特征提取模块、目标语义提取模块、以及场景语义提取模块，其中，低层特征提取模块与网络通信模块连接，并经由网络通信模块提取网络图像的低层特征信息；目标语义提取模块连接于低层特征提取模块的后端，并根据预定的概率信息自低层特征信息中提取目标语义信息；场景语义提取模块连接于目标语义提取模块的后端，并根据预定的场景语义模板自目标语义信息中提取场景语义信息，再将该场景语义信息对应的图像发送至该场景语义提取模块后端连接的结果输出模块，显示装置显示检索结果。优选地，图像检索模块基于光流直方图矩阵的距离函数，从视频数据库中匹配出类似于给定视频镜头的视频镜头，检索出匹配图像。优选地，所述显示装置为LED显示屏。本专利技术中，可采用多种关键词进行图像检索。例如，对于保存有各区域目标语义向量和图像整体目标语义向量的网络图像，当采用场景关键词进行检索时，可直接根据场景语义层中的文字匹配结果，返回网络图像中含有相同场景语义的图像作为检索结果。又或者，当采用目标关键词进行检索时，根据网络图像的整体目标语义返回对应该目标关键词的图像作为检索结果。又或者，当采用用户手动选择的例图进行检索时，根据该例图的目标语义特征向量选择网络图像中具有与之匹配的目标语义向量的图像作为检索结果。本专利技术具有的优点和积极效果是：通过提取网络图像的目标语义信息及场景语义信息，从而实现了有别于现有技术的人性化图像检索，大大提高了图像检索的满意度。以上对本专利技术的实施例进行了详细说明，但所述内容仅为本专利技术的较佳实施例，不能被认为用于限定本专利技术的实施范围。凡依本专利技术申请范围所作的均等变化与改进等，均应仍归属于本专利技术的专利涵盖范围之内。本文档来自技高网...

【技术保护点】
一种多层语义图像检索装置及方法，包括信息输入模块、图像检索模块、结果输出模块、显示装置，其特征在于：所述信息输入模块、所述图像检索模块、所述结果输出模块依次连接，所述图像检索模块包括网络通信模块、低层特征提取模块、目标语义提取模块、以及场景语义提取模块，其中，所述低层特征提取模块与网络通信模块连接，并经由网络通信模块提取网络图像的低层特征信息；所述目标语义提取模块连接于低层特征提取模块的后端，并根据预定的概率信息自低层特征信息中提取目标语义信息；所述场景语义提取模块连接于目标语义提取模块的后端，并根据预定的场景语义模板自目标语义信息中提取场景语义信息，再将该场景语义信息对应的图像发送至该场景语义提取模块后端连接的结果输出模块，所述显示装置显示检索结果。

【技术特征摘要】
1.一种多层语义图像检索装置及方法，包括信息输入模块、图像检索模
块、结果输出模块、显示装置，其特征在于：所述信息输入模块、所述图
像检索模块、所述结果输出模块依次连接，所述图像检索模块包括网络通
信模块、低层特征提取模块、目标语义提取模块、以及场景语义提取模块，
其中，所述低层特征提取模块与网络通信模块连接，并经由网络通信模块
提取网络图像的低层特征信息；所述目标语义提取模块连接于低层特征提
取模块的后端，并根据预定的概率信息自低层特征信息中提取目标语义信
息；所述场景语义提取模块连接...

【专利技术属性】
技术研发人员：张文萍，
申请(专利权)人：天津灵隆科技有限公司，
类型：发明
国别省市：天津;12