一种基于语义的文物图像检索方法技术

本发明专利技术提供一种基于语义的文物图像检索方法，对用户输入的文物图像描述首先进行分词处理，划分为颜色关键字、尺寸关键词、形状关键词，基于颜色特征词库及图像主色调信息，对图像数据进行筛选，输出带有相应颜色标签的图像数据，基于尺寸特征词库，对查询参数进行量化，输出在查询参数所指的尺寸误差范围内的图像数据，基于形状特征词库，对图像数据进行筛选，并依照权重值进行排序，输出包含对应形状的图像数据；将三次输出结果取交集，得出最终的检索结果，该基于语义的文物图像检索方法设计合理，通过对用户问题分析，从颜色、尺寸、形状三个方面对用户意图进行识别，并结合图像特征进行匹配搜索，从而给出满足用户检索需求的图像数据。数据。数据。

【技术实现步骤摘要】
一种基于语义的文物图像检索方法


[0001]本专利技术属于计算机视觉、图像处理、数学
，特别涉及一种基于语义的文物图像检索方法。

技术介绍

[0002]截止2010年底，文物调查项目已全面完成了全国文物系统博物馆全部馆藏珍贵文物数据的采集工作，共采集文物数据1,660,275条，基本廓清全国文物系统馆藏珍贵文物家底。然而目前关于文物的介绍仅限于博物馆提供的文物简介，所含信息量十分有限，仅依靠文物基本信息进行检索，显然无法满足用户的检索需求。如果能够通过文物图像检索的方式，把文物图像关联到对应的目标文物，将对于解决文物检索问题起到极大的作用。
[0003]而要实现有效的图像检索，则必须减小图像简单视觉特征与丰富的语义之间的语义鸿沟。在原有检索系统中加入高级语义到低层特征的转化，可以在不改变现有的图像特征库和匹配方式的情况下，实现基于语义的图像检索，为此，本专利技术提出一种基于语义的文物图像检索方法。

技术实现思路

[0004]为了解决现有技术存在的问题，本专利技术提供了一种基于语义的文物图像检索方法，该基于语义的文物图像检索方法设计合理，通过对用户问题分析，从颜色、尺寸、形状三个方面对用户意图进行识别，并结合图像特征进行匹配搜索，从而给出满足用户检索需求的图像数据。
[0005]为了实现上述目的，本专利技术是通过如下的技术方案来实现：一种基于语义的文物图像检索方法，其特征在于，包括以下步骤：
[0006]步骤一：导入图像数据集，采集图像尺寸信息，建立图像索引；
[0007]步骤二：确定主色调候选集，给主色调候选集中的每个元素打上对应的颜色标签，建立颜色特征词库；
[0008]步骤三：根据主色调候选集，确定图像主色调，建立图像与颜色特征词间的关联；
[0009]步骤四：尺寸类词语量化定义：把生活中常见的表示大小的词语按照不同的方式量化为数值，单位为像素，将量化数据存入尺寸特征词库；
[0010]步骤五：图像形状特征提取：通过DeepLabv3+模型，确定图像中包含的物体描边的点集合，标记物体名称、名称同义词，计算物体面积、物体离图像中心点的位置、权重，存储上述信息，并建立形状特征词库，建立图像与形状特征之间的关联；
[0011]步骤六：通过中文分词算法WMSeg对所述描述进行分词；
[0012]步骤七：通过与颜色特征词库、尺寸特征词库、形状特征词库中的数据对比，将分词结果划分为颜色关键词、尺寸关键词、形状关键词三类；
[0013]步骤八：分别针对每一类关键字词进行检索，并对检索结果进行合并处理，输出最终结果。
[0014]作为本专利技术的一种优选实施方式，步骤四中所述的尺寸类词语量化定义包括了三种情形：
[0015](1)对应图像的面积，可直接采用量化后的数值；
[0016](2)对应图像的面积，需获取匹配到的数值后，再按照不同的公式进行计算；
[0017](3)对应图像的宽、高信息，需获取量化后的数值后，再进行计算；
[0018]作为本专利技术的一种优选实施方式，步骤五中图像中形状特征的重要性由物体的面积占比和居中程度共同决定，权重值w＝k1*n1+k2*n2，w越大，该物体在图像中的重要性越强，权重值的具体计算方式如下：
[0019]1)设定面积占比的系数n1＝6,居中程度的系数为n2＝4；
[0020]2)以图像左下角为原点建立直角坐标系，以像素作为单位，计算物体占据的像素数量，记为m1；图像占据的总像素数量，记为m2；获取物体面积在图像中占比：k1＝m1/m2，k1越大，该物体在图像中的占比越大；
[0021]3)通过两点间距离公式((x1,y1)为物体描边上的点坐标，(x2,y2)为图像中心点坐标)分别计算物体形状边缘的每个坐标点与图像中心点的距离，比较得出最短的距离,即该物体与图像中心点的距离，记为：len；
[0022]4)通过矩形对角线的长度计算公式c＝√(
a
2+b2)(a,b分别为图像的宽高)，获取图像任意一点距离中心点的最大距离：maxLen＝c/2；物体在图像中的居中程度：k2＝(maxLen
‑
len)/maxLen，k2越大，该物体越靠近图像中心；
[0023]计算该形状特征的权重：w＝k1*n1+k2*n2。
[0024]本专利技术的有益效果：
[0025]1、此基于语义的文物图像检索方法明提出了一种对形状特征在图像中重要性的评判机制：图像中形状特征的重要性由物体的面积占比和居中程度共同决定，根据这两个参数设置形状特征权重值。在搜索时根据权重值对图像进行排序。
[0026]2、此基于语义的文物图像检索方法提出了从颜色、尺寸、形状三个方面对用户意图进行识别，并结合图像特征进行匹配搜索，通过这种方式检索得到的结果更符合人们的搜索习惯，也能够更好的匹配用户的检索意图。
[0027]3、此基于语义的文物图像检索方法通过对用户问题分析，从颜色、尺寸、形状三个方面对用户意图进行识别，并结合图像特征进行匹配搜索，从而给出满足用户检索需求的图像数据。
附图说明
[0028]图1为本专利技术一种基于语义的文物图像检索方法的流程示意图；
[0029]图2为本专利技术一种基于语义的文物图像检索方法的图像主色调候选项示意图。
具体实施方式
[0030]为使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。
[0031]请参阅图1至图2，本专利技术提供一种技术方案：一种基于语义的文物图像检索方法，
其特征在于，包括以下步骤：
[0032]步骤一：导入图像数据集，采集图像尺寸信息，建立图像索引；
[0033]步骤二：确定主色调候选集，给主色调候选集中的每个元素打上对应的颜色标签，建立颜色特征词库；
[0034]步骤三：根据主色调候选集，确定图像主色调，建立图像与颜色特征词间的关联；
[0035]步骤四：尺寸类词语量化定义：把生活中常见的表示大小的词语按照不同的方式量化为数值，单位为像素，将量化数据存入尺寸特征词库；
[0036]步骤五：图像形状特征提取：通过DeepLabv3+模型，确定图像中包含的物体描边的点集合，标记物体名称、名称同义词，计算物体面积、物体离图像中心点的位置、权重，存储上述信息，并建立形状特征词库，建立图像与形状特征之间的关联；
[0037]步骤六：通过中文分词算法WMSeg对所述描述进行分词；
[0038]步骤七：通过与颜色特征词库、尺寸特征词库、形状特征词库中的数据对比，将分词结果划分为颜色关键词、尺寸关键词、形状关键词三类；
[0039]步骤八：分别针对每一类关键字词进行检索，并对检索结果进行合并处理，输出最终结果。
[0040]作为本专利技术的一种优选实施方式，步骤四中所述的尺寸类词语量化定义包括了三种情形：
[0041](1)对应图像的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义的文物图像检索方法，包括以下步骤：步骤一：导入图像数据集，采集图像尺寸信息，建立图像索引；步骤二：确定主色调候选集，给主色调候选集中的每个元素打上对应的颜色标签，建立颜色特征词库；步骤三：根据主色调候选集，确定图像主色调，建立图像与颜色特征词间的关联；步骤四：尺寸类词语量化定义：把生活中常见的表示大小的词语按照不同的方式量化为数值，单位为像素，将量化数据存入尺寸特征词库；步骤五：图像形状特征提取：通过DeepLabv3+模型，确定图像中包含的物体描边的点集合，标记物体名称、名称同义词，计算物体面积、物体离图像中心点的位置、权重，存储上述信息，并建立形状特征词库，建立图像与形状特征之间的关联；步骤六：通过中文分词算法WMSeg对所述描述进行分词；步骤七：通过与颜色特征词库、尺寸特征词库、形状特征词库中的数据对比，将分词结果划分为颜色关键词、尺寸关键词、形状关键词三类；步骤八：分别针对每一类关键字词进行检索，并对检索结果进行合并处理，输出最终结果。2.根据权利要求1所述的一种基于语义的文物图像检索方法，其特征在于：步骤四中所述的尺寸类词语量化定义包括了三种情形：(1)对应图像的面积，可直接采用量化后的数值；(2)对应图像的面积，需获取匹配到的数值后，再按照不...

【专利技术属性】
技术研发人员：李珊，周冬波，杨洋，
申请(专利权)人：武汉数文科技有限公司，
类型：发明
国别省市：