一种基于深度卷积神经网络的相似图像检索系统和方法技术方案

本发明专利技术提供了一种基于深度卷积神经网络的相似图像检索系统和方法，图像检索系统通信连接互联网，包括：一样本生成模块；一对比模块；一训练模块；一辅助筛选模块；其中样本生成模块用于识别和分析随机样本的图像特征信息，通过计算样本图像特征矢量，并形成样本图像特征矢量库，对比模块用于图像特征矢量对比，以获取相似图像信息，其中样本训练模块采用Lifted Struct loss函数训练样本数据，用于形成第一算法模型，辅助筛选模块用于标注相似图像，本发明专利技术通过构建两种数据模型可使得训练的数据更快收敛。

A similar image retrieval system and method based on deep convolution neural network

【技术实现步骤摘要】
一种基于深度卷积神经网络的相似图像检索系统和方法专利
技术方案涉及一种图像检索系统和方法，特别涉及一种基于深度卷积神经网络的相似图像检索系统和方法。专利技术背景随着网络通信的发展，基于图像内容的检索越来越流行，但在现有图像检索由于受到信息孤岛和检索方式的影响，图像检索效率低下，效果不能满足需求，比如在对服饰的检索需求中，无法对服饰图像特有的分类逻辑和视觉特征进行优化，从而导致检索结果无法达到用户预期。在图像检索领域中，深度学习技术通常采用损失函数对训练的样本集进行训练，常用的损失函数包括：Contrastiveloss函数、Tripletloss函数、LiftedStructloss函数等，在传统的图像检索方案中常用图片的全局特征比如颜色、纹理、形状或者局部特征如SIFT、SURF或者是两者的结合作为图像矢量用来度量图片之间的距离，在实际的检索过程中，输出图像可能非常相似或是相同，也就是说，传统基于深度度学习的图像检索仅仅是将数据处理后的图像数据输入深度网络进行训练，对背景泛化能力较弱，并且通常训练数据不充分，输出的数据精度不高。
技术实现思路
本专利技术其中一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法,其中所述检索系统和方法可根据用户特定的分类的逻辑和视觉特征进行个性化检索，可提高图像检索的效率和质量。本专利技术另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述检索系统和方可用于联网学习，基于深度卷积神经网络算法可提高图像数据检索的精度。本专利技术另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述图像检索方法优选采用LiftedStructloss函数进行数据集训练，由于LiftedStructloss函数能考虑选取的数据集中所有成对图像之间的成对距离，从而可以提高数据集相似度的查全率。本专利技术另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述图像检索和方法在建立初版数据模型后，选择不相似的数据集中的相似图像重新构成样本集，并投入数据模型进行相似度训练，并根据相似度大小按顺序排列输出，藉此，可使检索结果更加全面和准确。本专利技术另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述检索系统和方法通过图像内容中区域裁剪和选择，用户可手动选择裁剪图像区域，从而可实现个性化检索服务。本专利技术另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，所述检索系统方法可同时采用自动学习和主动学习的方式可以有效地提高数据训练的效率。本专利技术另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述检索系统和方法还包括辅助筛选步骤，通过数据的输出后将不满足检索要求类别的图片按照一定筛选规则进行人工或自动筛选，从而可以使得输出的数据结果更加合理准确。本专利技术另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述检索系统和方法采用深度卷积神经网络提提取相似度特征，并优选采用局部感知的方式获取图像信息，以提高图像检索效率，并且使得输出的数据图像更加符合实际场景。本专利技术另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，所述检索系统和方法采用包括但不仅限于随机采集、图像水平翻转、颜色空间转换、随机转换对样本集数据增强。为了实现至少一个上述专利技术目的，本专利技术进一步提供一种基于深度卷积神经网络的相似图像检索系统，所述图像检索系统通信连接互联网，用于样本数据采集，包括：一样本生成模块；一对比模块；一训练模块；一辅助筛选模块；其中所述样本生成模块用于识别和分析随机样本的图像特征信息，通过计算所述样本图像特征矢量，并形成所述样本图像特征矢量库，所述对比模块用于图像特征矢量对比，以获取相似图像信息，其中样本训练模块采用LiftedStructloss函数训练样本数据，用于形成第一算法模型，所述辅助筛选模块用于标注相似图像。根据本专利技术其中一个较佳实施例，所述样本生成模块还用于构建困难样本集，其中通过获取不同类别中相似度较大的图像重新构成所述困难样本集，所述困难样本集供训练模块数据训练。根据本专利技术其中一个较佳实施例，所述样本生成模块还用于从互联网随机获取并构建所述困难样本集，以供所述训练模块进行样本数据训练，以形成第二算法模型。根据本专利技术其中一个较佳实施例，所述样本生成模块采用深度卷积神经网络获取图像特征信息，便于获取更精准的图像特征信息。根据本专利技术其中一个较佳实施例，所述辅助筛选模块采用包括人工/自动筛选去除相似不同类图像，以优化所述第一和/或第二算法模型。根据本专利技术其中一个较佳实施例，所述图像检索系统还包括数据增强模块，所述数据增强模块采用矩阵框随机裁剪、图片翻转、颜色空间转换、随机旋转中的至少一种方式增强数据，用于泛化图像背景。为了实现上述至少一专利技术目的，本专利技术进一步提供一种基于深度卷积神经网络的相似图像检索方法，包括如下步骤：S01：构建第一样本集，通过标记筛选所述第一样本集中指定类别的图像，以形成第二样本集；S02：通过深度卷积神经网络提取所述第二样本集中图像特征信息，并计所述第二样本集中图像特征信息的特征矢量，以形成对应于所述第二样本集的特征矢量库；S03:计算目标图像特征矢量，并和所述第二样本集中图像特征矢量相对比提取相似度信息，通过对比并按照相似度大小排序输出图像特征信息；S04：根据输出的图像特征信息标记筛选，选出相似图标并重复上述S01-S03步骤。根据本专利技术其中一个较佳实施例，在上述S02步骤中进一步包括以下步骤：S021：在所述第二样本集中随机选取n(n大于等于4)个图像中任意2个图像作为成对图像组成一容量为2n训练集，通过计算所述训练集的特征矢量，对比目标图像特征矢量和训练集中特征矢量，按照相似度大小排列输出图像特征，以形成第一算法模型。根据本专利技术另一较佳实施例，在上述S02步骤中进一步包括以下步骤：S022：通过联网查询和获取不同类别中的相似图像，组成一困难样本集，计算所述困难样本集的特征矢量，根据Liftedstructloss函数训练所述困难样本集，并输出相似图像特征，以形成第二算法模型。进一步地，在上述困难样本集的构建包括如下步骤：S0221：选取至少一万张图像，采用上述第一或第二算法模型计算生成该组图像的特征矢量；S0222：计算并生成特征矢量距离矩阵，获取不同类别中平均距离最近类别的特征矢量，构建所述困难样本集，用于数据训练。根据本专利技术其中一个较佳实施例，在上述S021中还包括如下步骤：对所述训练集中图像采用随机裁剪、图片水平翻转、颜色空间转换、图片随机缩放以及随机旋转等方式中的至少一种增强数据，以避免数据过拟合。根据本专利技术其中一个较佳实施例，在上述S021步骤中，第一和第二算法模型所提到的方法中，Liftedst本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的相似图像检索系统，所述图像检索系统通信连接互联网，其特征在于，包括：/n一样本生成模块；/n一对比模块；/n一训练模块；/n一辅助筛选模块；/n其中所述样本生成模块用于识别和分析随机样本的图像特征信息，通过计算所述样本图像特征矢量，并形成所述样本图像特征矢量库，所述对比模块将图像特征矢量对比，以获取相似图像信息，其中所述训练模块采用Lifted Struct loss函数训练样本数据，用于形成第一算法模型，所述辅助筛选模块用于标注相似图像。/n

【技术特征摘要】
1.一种基于深度卷积神经网络的相似图像检索系统，所述图像检索系统通信连接互联网，其特征在于，包括：
一样本生成模块；
一对比模块；
一训练模块；
一辅助筛选模块；
其中所述样本生成模块用于识别和分析随机样本的图像特征信息，通过计算所述样本图像特征矢量，并形成所述样本图像特征矢量库，所述对比模块将图像特征矢量对比，以获取相似图像信息，其中所述训练模块采用LiftedStructloss函数训练样本数据，用于形成第一算法模型，所述辅助筛选模块用于标注相似图像。


2.根据权利要求1所述的一种基于深度卷积神经网络的相似图像检索系统，其特征在于，所述样本生成模块还用于构建困难样本集，其中通过获取不同类别中相似度较大的图像重新构成所述困难样本集，所述困难样本集供训练模块数据训练。


3.根据权利要求2所述的一种基于深度卷积神经网络的相似图像检索系统，其特征在于，所述样本生成模块还用于从互联网随机获取并构建所述困难样本集，以供所述训练模块进行样本数据训练，以形成第二算法模型。


4.根据权利要求1所述的一种基于深度卷积神经网络的相似图像检索系统，其特征在于，所述样本生成模块采用深度卷积神经网络获取图像特征信息，便于获取更精准的图像特征信息。


5.根据权利要求1所述的一种基于深度卷积神经网络的相似图像检索系统，其特征在于，所述辅助筛选模块采用包括人工/自动筛选去除相似不同类图像，以优化所述第一和/或第二算法模型。


6.根据权利要求1所述的一种基于深度卷积神经网络的相似图像检索系统，其特征在于，所述图像检索系统还包括数据增强模块，所述数据增强模块采用矩阵框随机裁剪、图片翻转、颜色空间转换、随机旋转中的至少一种方式增强数据，用于泛化图像背景。


7.一种基于深度卷积神经网络的相似图像检索方法，其特征在于，包括如下步骤：
S01：构建第一样本集，通过标记筛选所述第一样本集中指定类别的图像，以形成第二样本集；
S02：通过深度卷积神经网络提取所述第二样本集中图像特征信息，并计所述第二...

【专利技术属性】
技术研发人员：王涛，张王晟，肖敬，
申请(专利权)人：杭州深绘智能科技有限公司，
类型：发明
国别省市：浙江;33