基于图像的店铺识别方法、装置，电子设备制造方法及图纸

本申请公开了一种基于图像的店铺识别方法，属于计算机技术领域，用于解决基于图像进行店铺识别的准确率低的问题。本申请实施例公开的基于图像的店铺识别方法包括：获取目标牌匾图像的全局图像特征，以及获取所述目标牌匾图像的分区域显著性特征；根据所述全局图像特征和分区域显著性特征确定所述目标牌匾图像的图像特征；根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺。由于本申请实施例公开的基于图像的店铺识别方法采用的图像特征，兼顾了图像的全局特征和局部的细粒度区域，使得图像特征既全面，有具备区分度，可以提高基于图像进行店铺识别的准确率。

Image-based store identification methods, devices, electronic devices

【技术实现步骤摘要】
基于图像的店铺识别方法、装置，电子设备
本申请涉及计算机
，特别是涉及一种基于图像的店铺识别方法、装置，电子设备。
技术介绍
现有技术中，通过店铺牌匾的图像搜索店铺或者识别图像中的店铺时，可以通过对整个招牌区域建立特征索引，即考虑了图像的字符信息、纹理特征以及牌匾内容分布信息，会具有较好的鲁棒性。例如，公告号为CN104598885B的中国专利申请，其使用尺度不变特征转换(SIFT，Scale-invariantfeaturetransform),来侦测或描述影像中的局部性特征，结合HS特征分量进行图像识别。对于小视角变换以及光照场景变化较小的图像具有比较好的鲁棒性。然而，现有技术中的上述店铺识别方法中提取的图像特征对于采集角度和光照场景变化的较大的图像的识别鲁棒性较小，并且，对于店铺牌匾图像的特征表达不够清晰和完整，从而使得店铺识别的准确率不高。综上所述，现有技术中基于图像的店铺识别方法至少存在识别准确率不高的问题。
技术实现思路
本申请提供一种基于图像的店铺识别方法，有助于提高基于图像进行店铺识别的准确率。为了解决上述问题，第一方面，本申请实施例提供了一种基于图像的店铺识别方法，包括：获取目标牌匾图像的全局图像特征，以及获取所述目标牌匾图像的分区域显著性特征；所述全局图像特征和分区域显著性特征确定所述目标牌匾图像的图像特征；根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺。第二方面，本申请实施例提供了一种基于图像的店铺识别装置，包括：特征获取模块，用于获取目标牌匾图像的全局图像特征，以及获取所述目标牌匾图像的分区域显著性特征；特征融合模块，用于根据所述全局图像特征和分区域显著性特征确定所述目标牌匾图像的图像特征；匹配识别模块，用于根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺。第三方面，本申请实施例还公开了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例所述的基于图像的店铺识别方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时本申请实施例公开的基于图像的店铺识别的步骤。本申请实施例公开的基于图像的店铺识别方法，通过获取目标牌匾图像的全局图像特征，以及获取所述目标牌匾图像的分区域显著性特征；根据所述全局图像特征和分区域显著性特征确定所述目标牌匾图像的图像特征；根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺，有助于解决基于图像进行店铺识别的准确率低的问题。由于本申请实施例公开的基于图像的店铺识别方法采用的全局图像特征，反映牌匾的外形差异和整体效果较全面，但是针对细粒度识别，会忽略一些有区分度，但是细小的特征，而分区域显著性特征则是更细粒度局部特征，能弥补全局图像特征的不足，因此，上述两种特征融合之后，兼顾了图像的全局特征和局部的细粒度区域，使得图像特征既全面，有具备区分度，可以提高基于图像进行店铺识别的准确率。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例一的基于图像的店铺识别方法流程图；图2是本申请实施例二的基于图像的店铺识别方法流程图；图3是本申请实施例三的基于图像的店铺识别装置结构示意图之一；图4是本申请实施例三的基于图像的店铺识别装置结构示意图之二；图5是本申请实施例三的基于图像的店铺识别装置结构示意图之三。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。实施例一本实施例公开的一种基于图像的店铺识别方法，如图1所示，该方法包括：步骤110至步骤130。步骤110，获取目标牌匾图像的全局图像特征，以及获取所述目标牌匾图像的分区域显著性特征。在基于店铺牌匾的图像进行店铺识别的应用场景中，首先需要训练神经网络模型，用于提取目标牌匾图像的全局图像特征。本申请实施例中，所述全局图像特征是用于表征所述目标牌匾图像中目标牌匾的外形差异的高维特征，如所述目标牌匾图像的内容分布、全局颜色分布信息、边缘信息等。在本申请的一些实施例中，可以通过预先训练卷积神经网络模型来提取目标牌匾图像的全局图像特征。本申请实施例中所述的分区域显著性特征是目标牌匾图像中划分的各区域的显示性特征。所述显著性特征是图像中显著区域中提取出的颜色分布特征，所述显著区域是图像中最能引起用户兴趣，最能表现图像内容的区域。虽然人的感兴趣区域是非常主观的，并且由于人的知识背景和具体业务需求的不同，对于同一幅图像，不同的用户可能会选择不同的区域作为感兴趣区域。但是，由于人类视觉系统和注意机制的共性，又使图像中有些区域总能显著地吸引人的注意，这些区域往往含有丰富的信息。因此可以根据人类视觉系统的特点，利用人类认知过程中的一般规律，通过图像的某些底层特征近似地判断图像中的显著区域，显著性特征就是这种显著区域中提取出的颜色分布特征。具体实施时，可以通过图像划分得到的各图像区域之间的空间距离和颜色距离确定图像的分区域显著性特征。步骤120，根据所述全局图像特征和分区域显著性特征确定所述目标牌匾图像的图像特征。在本申请的一些实施例中，可以通过将所述全局图像特征和分区域显著性特征进行拼接，得到融合了高维全局图像特征和更细粒度的分区域显著性特征的融合特征，并将得到的融合特征确定为所述目标牌匾图像的图像特征。步骤130，根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺。然后，通过将所述图像特征和预设店铺的店铺图像特征进行匹配。例如，通过计算所述目标牌匾图像的图像特征和各预设店铺的店铺图像特征之间相似度，然后，按照相似度大小或预设的相似度阈值，确定满足预设条件的相似度对应的店铺作为与所述的目标牌匾图像匹配的店铺。本申请实施例公开的基于图像的店铺识别方法，通过获取目标牌匾图像的全局图像特征，以及获取所述目标牌匾图像的分区域显著性特征；根据所述全局图像特征和分区域显著性特征确定所述目标牌匾图像的图像特征；根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺，有助于解决基于图像进行店铺识别的准确率低的问题。由于本申请实施例公开的基于图像的店铺识别方法采用的全局图像特征，反映牌匾的外形差异和整体效果较全面，但是针对细粒度识别，会忽略一些有区分度，但是细小的特征，而分区域显著性特征则是更细粒度局部特征，能弥补全局图像特征的不足，因此，上述两种特征融合之后，兼顾了图像的全局特征和局部的细粒度区域，使得图像特征既全面，有具备区分度，可以提高基于图像进行店铺识别的准确率。实施例二本实施例公开的一种基于图像的店铺识别本文档来自技高网...

【技术保护点】
1.一种基于图像的店铺识别方法，其特征在于，包括：获取目标牌匾图像的全局图像特征，以及获取所述目标牌匾图像的分区域显著性特征；根据所述全局图像特征和分区域显著性特征确定所述目标牌匾图像的图像特征；根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺。

【技术特征摘要】
1.一种基于图像的店铺识别方法，其特征在于，包括：获取目标牌匾图像的全局图像特征，以及获取所述目标牌匾图像的分区域显著性特征；根据所述全局图像特征和分区域显著性特征确定所述目标牌匾图像的图像特征；根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺。2.根据权利要求1所述的方法，其特征在于，所述获取目标牌匾图像的全局图像特征的步骤，包括：通过预先训练的神经网络模型，获取所述目标牌匾图像的全局图像特征。3.根据权利要求1所述的方法，其特征在于，所述获取所述目标牌匾图像的分区域显著性特征的步骤，包括：将所述目标牌匾图像按照至少一种分割方法进行划分，确定若干图像区域；对于每个所述图像区域，根据颜色分布对所述图像区域进行分割，确定所述图像区域包含的至少一个子图像区域；对于每个所述图像区域，通过所述图像区域包含的子图像区域之间的空间距离和颜色距离，确定所述图像区域的分区域显著性特征。4.根据权利要求3所述的方法，其特征在于，所述通过所述图像区域包含的子图像区域之间的空间距离和颜色距离，确定所述图像区域的分区域显著性特征的步骤，包括：通过所述图像区域包含的子图像区域之间的空间距离和颜色距离，确定各所述子图像区域的显著性；根据所述显著性最高的预设数量的所述子图像区域的显著性，确定各所述子图像区域所属图像区域的分区域显著性特征。5.根据权利要求4所述的方法，其特征在于，所述通过所述图像区域包含的子图像区域之间的空间距离和颜色距离，确定各所述子图像区域的显著性的步骤，包括：通过公式分别确定所述图像区域包含的每个子图像区域rk的显著性，其中，ri表示不同于rk的子图像区域，Ds(rk,ri)表示子图像区域rk和ri的空间距离，σs表示空间距离权值，ω(ri)表示子图像区域的ri的权值，Dr(rk，ri)为子图像区域rk和ri的颜色距离，Dr(rk,ri)的计算公式为：其中，f(ci,v)表示第v个颜色ci,v在第i个子图像区域ri中的所有ni种颜色中出现的概率，f(ck,u)表示第u个颜色ck,u在第k个子图像区域rk中的所有nk种颜色中出现的概率，D(ck,u,ci,v)为颜色ck,u和颜色ci,v在L*a*b空间的颜色距离度量。6.根据权利要求1所述的方法，其特征在于，所述根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺的步骤之前，还包括：通过预先训练的K-means++聚类模型，修正所述目标牌匾图像的所述图像特征，以保留所述图像特征中有代表性的特征。7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺的步骤之后，还包括：通过与所述目标牌匾图像匹配的店铺中匹配度最高的预设第一数量所述店铺的所述店铺图像特征平均值，更新所述目标牌匾图像的所述图像特征；分别确定与所述目标牌匾图像匹配的店铺中匹配度最高的预设第二数量所述店铺，在所述预设店铺中的相似店铺；对于预设第二数量所述店铺，通过所述店铺各自的所述相似店铺中满足预设条件的所述相似店铺的店铺图像特征平均值，更新所述店铺的店铺图像特征；根据所述目标牌匾图像的更新后的图像特征、所述预设店铺的更新后的店铺图像特征确定所述目标牌匾图像与所述预设店铺的重排序距离；根据所述重排序距离，重新确定与所述目标牌匾图像匹配的店铺。8.根据权利要求7所述的方法，其特征在于，所述根据所述目标牌匾图像的更新后的图像特征、所述预设店铺的更新后的店铺图像特征确定所述目标牌匾图像与所述预设店铺的重排序距离的步骤，包括：通过公式d*(p,gi)＝(1-λ)dJ(p,gi)+λd(p，gi)确定所述目标牌匾图像对应的牌匾p与所述预设店铺的牌匾gi之间的重排序距离；其中，dJ(p,gi)表示牌匾p与牌匾gi之间的杰卡德距离，计算公式为式中，为牌匾p的图像特征和牌匾gj对应的店铺图像特征的近邻编码距离向量；d(p，gi)表示牌匾p与牌匾gi之间的马氏距离，计算公式为式中，xp为牌匾p的图像特征和为牌匾gj对应的店铺图像特征，为图像特征协方差矩阵；λ为权重系数。9.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述目标牌匾图像的图像特征和预设店铺的店铺图像特征确定与所述目标牌匾图像匹配的店铺的步骤之前，还包括：根据指定的地理位置信息确定预设店铺。10.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述全局图像特征和分区域显著性特征确定所述目标牌匾图像的图像特征的步骤，包括：将所述全局图像特征和分区域显著性特征进行拼接后得到的结果，作为所述目标牌匾图像的图像特征。11.一种基于图像的店铺识别装置，其特征在于，包括：特征获取模块，用于获取目标牌匾图像的全局图...

【专利技术属性】
技术研发人员：王博，李文哲，孔剑，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京,11