一种外观图像相似度比对方法和系统技术方案

本发明专利技术公开了一种外观图像相似度比对方法和系统，包括利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并根据图像库中图像的特征值构建分布式索引库，所述的外观图像相似度比对方法，还包括：利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；除去待比对图像的背景，并进行灰度化处理；采用卷积神经网络提取灰度化处理后的图像的特征向量；对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出。本发明专利技术结合大类目识别技术的同时采取基于图的方法创建分布式索引技术，解决了从海量图像数据中检索效率慢的问题。

【技术实现步骤摘要】
一种外观图像相似度比对方法和系统
本专利技术属于图像处理和深度学习算法领域，具体涉及一种外观图像相似度比对方法和系统。
技术介绍
在很多行业中，比如专利管理机构、商标设计厂家、电商服装、日用产品设计等，经常会有图像相似度比对的需求。例如根据所见衣服的款式，在网站上搜索同款；又如某公司设计了一套新构造的茶具，需要在现有的茶具公开网站上查询该新构造的茶具是否已经存在；再如在进行商标注册或侵权判定时，需要从海量图像中检索以查看待注册商标是否已存在近似商标。随着业务的增长，各行各业每天都会产生大量的图像数据，现有的图像检索技术存在采用浅层人工特征表达力弱、常规背景分割效果差、哈希索引效率慢等问题。这使得从全网搜索所需的时间成本是很大，并且准确率也难以保证。随着深度学习技术的不断发展，深度学习技术在各个领域得到了广泛应用。比如，将深度学习技术应用于图像检索领域，用户上传一张图像后，即能够获取到与上传图像具有相似内容的图像。然而，目前训练出的图像检索模型进行特征提取时，提取到的同类图像对应的特征相差较大，导致后续基于特征相似度检索相似图像的准确性较低。
技术实现思路
本专利技术的目的在于提供一种外观图像相似度比对方法和系统，通过去除图像背景信息，使特征提取时的观察点聚焦于目标区域，结合大类目识别技术的同时采取基于图的方法创建分布式索引技术，解决了从海量图像数据中检索效率慢的问题。为实现上述目的，本专利技术所采取的技术方案为：一种外观图像相似度比对方法，包括利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并提取图像库中图像的特征值构建分布式索引库，所述的外观图像相似度比对方法，还包括：利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；除去待比对图像的背景，并进行灰度化处理；采用卷积神经网络提取灰度化处理后的图像的特征向量；对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出。作为优选，所述利用图像库中的图像训练深度神经网络模型得到大类目识别模型，包括：对图像库中的图像按照外观相似性和结构相似性划分为若干类目；采用DenseNet网络模型，以划分类目后的图像作为深度网络输入，以交叉熵为代价函数，最小化代价函数为优化目标，迭代训练DenseNet网络模型，直至DenseNet网络模型收敛到预设条件，得到大类目识别模型。作为优选，所述提取图像库中图像的特征值构建分布式索引库，包括：除去图像库中划分类目后的图像的背景，并进行灰度化处理；采用卷积神经网络提取灰度化处理后的图像的特征向量；对提取的特征向量进行降维，并根据降维后的特征向量以及其特征值，结合图像所划分的类目，采用基于图索引的HNSW方法构建若干个索引库；将构建的若干个索引库分布式存储在若干个服务器上，得到分布式索引库。作为优选，所述除去待比对图像的背景，并进行灰度化处理，包括：利用基于深度学习的显著性检测和语义分割方法去除待比对图像的背景，得到完整的掩膜图像；对所述掩膜图像进行二值化处理，将原始图像的彩色信息按照坐标对应关系映射到二值化的前景图上，并将二值化的背景填充为黑色进行归一化，则前景图上对应的信息即为有效的目标区域。作为优选，采用卷积神经网络提取灰度化处理后的图像的特征向量，包括：采用VGG16深度卷积神经网络模型，以所述目标区域的图像作为深度网络输入，经过多层网络结构，输出倒数第二个全连接层的隐层节点特征，作为对所述图像提取的特征向量。作为优选，所述将度量结果按预定的排序方式输出，包括：所述大类目识别模型对待比对图像进行类目划分得到的相似类目有N个，各相似类目按照与待比对图像的实际类目的相似程度匹配有对应的权重得分；将在不同相似类目中检索得到的度量结果中的前K个图像按照与待比对图像的相似程度进行排序，并按照排序分别匹配有相似得分；将各相似类目中的前K个图像的相似得分分别乘以所归属的相似类目的权重得分，得到最终得分；将N个相似类目中的前K个图像进行汇总，得到N*K个图像，并将N*K个图像按照最终得分重新进行排序，得到新的排序方式，并按照新的排序方式将前K个图像输出。作为优选，所述待比对图像通过移动端采集方式或PC端采集方式输入。作为优选，所述移动端采集方式或PC端采集方式支持输入一张或同时输入多张待比对图像。本专利技术还提供一种外观图像相似度比对系统，所述的外观图像相似度比对系统，包括：离线建模模块，用于利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并提取图像库中图像的特征值构建分布式索引库；图像上传模块，用于上传待比对图像至指定位置；类目识别模块，用于利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；图像预处理模块，用于除去待比对图像的背景，并进行灰度化处理；特征提取模块，用于采用卷积神经网络提取灰度化处理后的图像的特征向量；特征检索模块，用于对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出；人机交互模块，用于更改所述相似类目，并且按照所述特征检索模块输出的度量结果展示对应的相似图像。本专利技术还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的外观图像相似度比对方法的步骤。本专利技术提供的外观图像相似度比对方法和系统，首先对海量图像数据按照外观和结构相似度进行大类目识别建模，后采用显著性检测和语义分割技术算法相结合去除目标图像的背景影响，采用深度卷积神经网络提取目标图像的深层次高维特征(深层高维特征具有更强的图像表征能力)，由于提取的特征中包含各式各样杂乱特征部分不利于表征图像的外观轮廓，因此需要特征降维，传统的PCA降维方式是一种线性降维，无法确保数据之间的相互关系，从而在降维过程中造成信息的损失。本专利技术采用非线性降维方法t-SNE在保证数据之间内在联系的前提下，保留主成分特征的同时去除冗余的特征杂质。最后采用图的方法创建分布式索引HNSW技术，保证高召回率的同时大大提高检索效率。附图说明图1是本专利技术外观图像相似度比对方法的一种实施例流程图；图2是本专利技术外观图像相似度比对系统的一种实施例结构示意图；图3是本专利技术相似度比对检索集群服务器的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了更好地描述和说明本申请的实施例，可参考一幅或多幅附图，但用于描述附图的附加细节或示例不应当被认为是对本申请的专利技术创造、目前所描述的实施例或优选方式中任何一者的范围的限制。应该理解的是，除非本文中有明确的说明，各步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段本文档来自技高网...

【技术保护点】
1.一种外观图像相似度比对方法，其特征在于，包括利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并提取图像库中图像的特征值构建分布式索引库，所述的外观图像相似度比对方法，还包括：利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；除去待比对图像的背景，并进行灰度化处理；采用卷积神经网络提取灰度化处理后的图像的特征向量；对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出。

【技术特征摘要】
1.一种外观图像相似度比对方法，其特征在于，包括利用图像库中的图像训练深度神经网络模型得到大类目识别模型，并提取图像库中图像的特征值构建分布式索引库，所述的外观图像相似度比对方法，还包括：利用所述大类目识别模型将待比对图像进行类目划分，得到相似类目；除去待比对图像的背景，并进行灰度化处理；采用卷积神经网络提取灰度化处理后的图像的特征向量；对提取的特征向量进行降维，并将降维后的特征向量在所述相似类目的分布式索引库中进行特征值相似度量，将度量结果按预定的排序方式输出。2.如权利要求1所述的外观图像相似度比对方法，其特征在于，所述利用图像库中的图像训练深度神经网络模型得到大类目识别模型，包括：对图像库中的图像按照外观相似性和结构相似性划分为若干类目；采用DenseNet网络模型，以划分类目后的图像作为深度网络输入，以交叉熵为代价函数，最小化代价函数为优化目标，迭代训练DenseNet网络模型，直至DenseNet网络模型收敛到预设条件，得到大类目识别模型。3.如权利要求2所述的外观图像相似度比对方法，其特征在于，所述提取图像库中图像的特征值构建分布式索引库，包括：除去图像库中划分类目后的图像的背景，并进行灰度化处理；采用卷积神经网络提取灰度化处理后的图像的特征向量；对提取的特征向量进行降维，并根据降维后的特征向量以及其特征值，结合图像所划分的类目，采用基于图索引的HNSW方法构建若干个索引库；将构建的若干个索引库分布式存储在若干个服务器上，得到分布式索引库。4.如权利要求1所述的外观图像相似度比对方法，其特征在于，所述除去待比对图像的背景，并进行灰度化处理，包括：利用基于深度学习的显著性检测和语义分割方法去除待比对图像的背景，得到完整的掩膜图像；对所述掩膜图像进行二值化处理，将原始图像的彩色信息按照坐标对应关系映射到二值化的前景图上，并将二值化的背景填充为黑色进行归一化，则前景图上对应的信息即为有效的目标区域。5.如权利要求4所述的外观图像相似度比对方法，其特征在于，采用卷积神经网络提取灰度化处理后的图像的特征向量，包括：采用VGG16深度卷积神经网络模型，以所述目标区域的图...

【专利技术属性】
技术研发人员：刘庆杰，李少利，林兴萍，叶晶晶，陈志强，
申请(专利权)人：中电海康集团有限公司，
类型：发明
国别省市：浙江,33