一种基于Siamese网络的图像检索方法及系统技术方案

本发明专利技术提供了一种基于Siamese网络的图像检索方法及系统，所述的方法包括：S1，将待检索图像输入训练后的单支Siamese网络，以便通过单支Siamese网络提取出待检索图像的深度网络特征；S2，计算待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；S3，将与所述待检索图像的相似度最大的模板图像作为所述待检索图像对应的检索结果图像。本发明专利技术通过构建Siamese网络，并进行训练，通过训练后的Siamese网络提取图像的深度网络特征，提取的特征鉴别力很强，使得Siamese网络用在图像检索领域具有很高的精确性。

Method and system for image retrieval based on Siamese network

The present invention provides a method and system for image retrieval based on Siamese neural network, the method comprises the following steps: S1, the retrieval of single Siamese image input network after training, in order to pass the single Siamese network feature extraction depth network to retrieve images; S2, the similarity between the feature depth of every network template the image features and depth of network database to calculate image retrieval in the characterization of the similarity to retrieve similarity between each image and the template image; S3, with the greatest similarity of the template image retrieval as the retrieval image corresponding to the image. The present invention through the construction of Siamese network, and trained by the trained Siamese network feature extraction depth network image, feature extraction ability is very strong, in the field of image retrieval with high accuracy make the Siamese network.

【技术实现步骤摘要】
一种基于Siamese网络的图像检索方法及系统
本专利技术涉及图像检索
，更具体地，涉及一种基于Siamese网络的图像检索方法及系统。
技术介绍
随着手机、相机等电子设备的日渐普及以及互联网和计算机技术的快速发展，图片和视频数据成爆炸式增长，达到了海量规模。如何有效利用丰富的多媒体资源是大数据时代需要面临的挑战和急需的关键技术。基于内容的图像搜索技术是深度利用和管理海量图片数据的关键技术之一，也是计算机视觉领域和多媒体领域的前沿课题。不仅如此，图像搜索技术在实际生活中也有着重要的应用。目前正在步入安防社会，摄像头已遍布在生活中的各个场所，图像搜索可以在海量的监控视频中查找到特定的目标，比如某辆车、某个人或者某个物体，为警方破案提供关键线索。图像搜索技术也使得日常生活更加智能和便捷，人们可以随时随地拍摄喜欢的衣服或者物品，然后根据图片在网上商城查找相关的商品。因此，图像搜索具有广泛的应用前景。目前图像搜索多采用基于局部不变特征的词袋模型，该方法虽然能较好的捕捉图像局部的纹理特性，但是对图像的全局信息、语义信息等描述能力较差。此外，基于局部特征的词袋模型利用倒排表进行快速的图像搜索，由于倒排表的内存和检索效率的限制，该方法在实际的大规模的图像检索应用中能够索引的图像数目有限。随着深度学习技术的在图像分类和检测中的进展，预训练的网络提取的特征在图像检索中也展示了其有效性。然而，图像检索不同于图像分类，图像检索要求精准匹配，由于物体类别繁多，每一种类的物体很多，在面对开放的图像匹配检索的过程中，模板图像非常多，因此，对每一模板图像提取的特征比较少，图像检索的精度存在着很大的挑战。
技术实现思路
本专利技术提供一种克服上述问题或者至少部分地解决上述问题的基于Siamese网络的图像检索方法及系统，能够提高图像检索的准确度。根据本专利技术的一个方面，提供了一种基于Siamese网络的图像检索方法，包括：S1，将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征；S2，计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；S3，将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。根据本专利技术的另一个方面，还提供了一种基于Siamese网络的图像检索系统，包括：第一特征提取模块，用于将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征；相似度计算模块，用于计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；确定模块，用于将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。本专利技术的有益效果为：通过构建Siamese网络，并对构建的Siamese网络进行训练，通过训练后的Siamese网络提取图像的深度网络特征，随后将待检索图像的深度网络特征与每一个模板图像的深度网络特征进行相似性的计算，与待检索图像的特征最相似的模板图像即为检索结果图像，使用训练后的Siamese网络提取图像的深度网络特征具有很高的鉴别力，因此使得Siamese网络用在图像检索领域具有很高的精确性。附图说明图1为本专利技术一个实施例的基于Siamese网络的图像检索方法流程图；图2为构建的双分支Siamese网络架构图；图3为本专利技术另一个实施例的基于Siamese网络的图像检索系统示意图；图4为本专利技术又一个实施例的基于Siamese网络的图像检索系统整体框图。具体实施方式下面结合附图和实施例，对本专利技术的具体实施方式作进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。参见图1，为本专利技术一个实施例的基于Siamese网络的图像检索方法，包括：S1，将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征；S2，计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；S3，将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。步骤S1中，将待检索图像输入训练后的单支Siamese网络，通过训练后的单支Siamese网络提取待检索图像的深度网络特征。需要说明的是，在步骤S1之前需要构建Siamese网络，参见图2，本实施例中构建的Siamese网络为双分支Siamese网络，该双分支Siamese网络由传统的两支相同的单支Siamese网络并联拼接而成。传统的每支单支Siamese网络均具有多个全连接层，通常为7个全连接层。本实施例构建的双分支Siamese网络的每单支Siamese网络的前6个全连接层中包含的神经元个数与传统的Siamese网络包含的神经元个数相等，本实施例对传统的单支Siamese网络进行改进，将最后一个，即第7个全连接层设计为包含预设数量的神经元，该第7个全连接层的神经元个数即为提取图像的深度网络特征的维数，比如，本实施例中设置为128个，即通过该单支Siamese网络能够提取图像的128维深度网络特征。本实施例还在拼接后的双分支Siamese网络后连接两个全连接层，其中，第一全连接层包含的神经元按照具体情况设定，第二个全连接层包含的神经元个数与整个双分支Siamese网络的输出结果种类个数相等。前述构建好了双分支Simese网络后，对构建的双分支Siamese进行样本训练，其中，本实施例采用正集合样本和负集合样本对构建的双Siamese网络进行训练，其中，所述正集合样本为具有相似性的样本图像对，所述负集合样本为不具有相似性的样本图像对。即本实施例选取大量的样本图像对，其中，一部分样本图像对为相似图相对，另一部分样本图像对为不相似的图相对。选取不同相似性的样本图像对来对构建的Siamese网络进行训练，使训练出来的Siamese网络更精确。具体的训练过程为：选取具有相似性的样本图像对和不具相似性的样本图像对，将样本图像对中的两幅图像分别输入双Siamese网络的两分支网络，并获取双Siamese网络出输出的样本图像对的相似性结果；计算双分支Siamese网络输出的样本图像对的相似性结果与该样本图像对已知的相似性状态之间的误差值；根据所述误差值对双分支Siamese网络的网络参数反复进行调整，直到所述误差值小于预设误差值。比如，输入双分支Siamese网络的样本图像对为相似的图像对，其中一幅图像输入双分支Siamese网络的一支，另一幅图像输入双分支Siamese网络的另一支，两幅图像分别通过单支的Siamese网络提取128维深度网络特征，然后对两幅图像的128维深度网络特征计算相似度，并输出该两幅图像是否相似的结果。假设双分支Siamese网络输出的结果为不相似，此时表明该双分支Siamese网络输出的结果不准确，因此，需要调整整个Siamese网络的网络参数，使之输出的结果与已知的结果一致，即输出的结果为两幅图本文档来自技高网...

【技术保护点】
一种基于Siamese网络的图像检索方法，其特征在于，包括：S1，将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征；S2，计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；S3，将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。

【技术特征摘要】
1.一种基于Siamese网络的图像检索方法，其特征在于，包括：S1，将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征；S2，计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；S3，将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。2.如权利要求1所述的基于Siamese网络的图像检索方法，其特征在于，所述步骤S1之前还包括：构建双分支的Siamese网络，其中，所述双分支的Siamese网络由两支相同的单支Siamese网络并联拼接而成。3.如权利要求2所述的基于Siamese网络的图像检索方法，其特征在于，每支单支Siamese网络均具有多个全连接层，最后一个全连接层包含预设数量的神经元，且拼接后的双分支Siamese网络还连接有两个全连接层，其中，第一全连接层包含的神经元按照具体情况设定，第二个全连接层包含的神经元个数与整个双分支Siamese网络的输出结果种类个数相等。4.如权利要求3所述的基于Siamese网络的图像检索方法，其特征在于，所述步骤S1之前还包括：采用正集合样本和负集合样本对构建的双Siamese网络进行训练，其中，所述正集合样本为具有相似性的样本图像对，所述负集合样本为不具有相似性的样本图像对。5.如权利要求4所述的基于Siamese网络的图像检索方法，其特征在于，所述采用正集合样本和负集合样本对构建的双Siamese网络进行训练具体包括：选取具有相似性的样本图像对和不具相似性的样本图像对，将样本图像对中的两幅图像分别输入双Siamese网络的两分支网络，并获取双Siamese网络输出的样本图像对的相似性结果；计算双分支Siamese网络输出的样本图像对的相似性结果与该样本图像对已知的相似性结果之间的误差值；根据所述误差值对双分支Siamese网络的网络参数反复进行调整，直到所述误差值小于预设误差值。6.如权利要求5所述的基于Siamese网络的图像检索方法，其特征在于，所述步骤S1之前还包括：将数据库中的每一个模板图...

【专利技术属性】
技术研发人员：王生进，刘紫琼，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11