图片中相似物体检索方法及装置制造方法及图纸

本发明专利技术公开了一种图片中相似物体检索方法，包括：利用目标检测模型从图像库中每张图片检测出特定的物体；利用卷积神经网络提取各个特定的物体的特征向量；将从图片中提取的各个特征向量根据物体的类别分类，以图片为单位存入数据库中；利用目标检测模型从目标图片中检测出特定的物体，并利用卷积神经网络提取特定的物体的特征向量；计算目标图片中特定的物体的特征向量与数据库中相同类别的物体的特征向量的相似度；将各相似度降序排列，并根据降序排列的相似度将数据库中各对应的图片展示出来。本发明专利技术还公开了一种图片中相似物体检索装置。本发明专利技术只检索相似的物体，可以避免全局特征对物体的影响。

Method and Device for Retrieving Similar Objects in Pictures

【技术实现步骤摘要】
图片中相似物体检索方法及装置
本专利技术涉及计算机视觉领域，尤其涉及图中的相似物品的检索方法和装置。
技术介绍
在计算机视觉领域中，一个重要的应用就是相似图片的检索。在现有的检索方法中，一般包含两个主要步骤，从图片中提取特征和进行特征的对比。从图片中提取特征的方法包括SIFT(Scale-invariantfeaturetransform，尺度不变特征变换)算法，SURF(Speeduprobustfeature,加速稳健特征)算法，提取图片的颜色特征，纹理特征等。特征比对的方法包括计算特征之间的欧式距离，夹角余弦距离，曼哈顿距离等。从图片中提取特征的方法大多是从整张图片中提取出来的特征，对于想要检索特定物体相似度来说，提取整张图片的特征无法反应特定物体的特征，甚至忽略掉了特定物体的特征。无法满足用户的要求。针对这一问题，需要设计一个能够检索相似物体的检索方法。
技术实现思路
本专利技术的目的在于提供一种图片中相似物体检索方法和相似物体检索装置，只检索相似的物体，可以避免全局特征对物体的影响。实现上述目的的技术方案是：一种图片中相似物体检索方法，包括：步骤S110，利用目标检测模型从图像库中每张图片检测出特定的物体；步骤S120，利用卷积神经网络提取各个特定的物体的特征向量；步骤S130，将从图片中提取的各个特征向量根据物体的类别分类，以图片为单位存入数据库中；步骤S140，利用目标检测模型从目标图片中检测出特定的物体，并利用卷积神经网络提取该特定的物体的特征向量；步骤S150，计算目标图片中特定的物体的特征向量与数据库中相同类别的物体的特征向量的相似度；步骤S160，将各相似度降序排列，并根据降序排列的相似度将数据库中各对应的图片展示出来。优选的，利用目标检测模型从图片中检测出特定的物体的类别和位置，根据位置用矩形框框出特定的物体，并标记物体的类别。优选的，将卷积神经网络深度学习网络模型的最后一层的特征提取出来，作为特定的物体的特征向量。优选的，在步骤S110之前，以能够识别特定的物体为目的提前训练目标检测模型。优选的，通过计算两个特征向量的欧式距离，来确定该两个特征向量的相似度，欧式距离越小，相似度越高。优选的，所述的步骤S140中，若检测出多个特定的物体，则人工指定其中一个。本专利技术的图片中相似物体检索装置，包括：图像特征提取模块，用于提取目标图片或图像库的所有图片中特定的物体的特征向量及物体的类别；图像特征数据入库模块，将提取自图像库中所有图片的各特征向量按物体的类别分类，并以图片为单位存入数据库中；相同类别特征提取模块，从数据库中提取与目标图片中特定的物体的类别一致的各特征向量；相似度计算模块，用于计算目标图片中特定的物体的特征向量与所述相同类别特征提取模块所提取的各特征向量的相似度；相似度排列模块，用于将各相似度降序排列；以及图片显示模块，根据降序排列的相似度将数据库中各对应的图片展示出来。优选的，所述图像特征提取模块，包括：目标检测模块，利用目标检测模型从图片中检测出特定的物体的类别和位置，根据位置用矩形框框出特定的物体，并标记物体的类别；以及特征向量提取模块，利用卷积神经网络提取所述目标检测模型检测到的物体的特征向量。优选的，若所述图像特征提取模块从目标图片中检测出多个特定的物体，人工指定其中一个。本专利技术的有益效果是：本专利技术通过检测出图片中的特定物体，使用卷积神经网络提取特定物体的特征向量，并进行特征比对，可以有效的检索出图片中相似的物体，避免了图片的全局特征对局部物体特征的影响，提高搜索相似物体的精度。附图说明图1是本专利技术的相似物体检索方法的流程图；图2是本专利技术中图像存入数据库的过程示意图；图3是本专利技术中数据在数据库中的存放形式；图4是本专利技术的相似物体检索装置的结构图。具体实施方式下面将结合附图对本专利技术作进一步说明。请参阅图1和图2，本专利技术的相似物体检索方法，包括下列步骤：步骤S110，利用目标检测模型从图像库中每张图片检测出特定的物体。即：利用目标检测模型从图片中检测出特定的物体的类别和位置，根据位置用矩形框框出特定的物体(即：将物体中图片中复制出来，作为一个单独的物体图片)，并标记物体的类别。本实施例中，选用YOLOv3(Youonlylookonce，你只需看一次)目标检测模型。YOLOv3目标检测模型需要以能够识别特定的物体为目的进行提前训练，包括数据集的准备、模型的训练和测试过程。准备数据集的过程中，需要根据具体的需求，需要检测什么样的目标，检索哪一类物体，去做标记。步骤S120，利用卷积神经网络提取各个矩形框框出的特定的物体的特征向量。即：将卷积神经网络深度学习网络模型的最后一层的特征提取出来，作为特定的物体的特征向量。本实施例中，卷积神经网络深度学习网络模型选用resnet18(残差深度学习模型)模型。resnet18模型的参数是在ImageNet(图像识别数据集)数据集上预训练过的，resnet18模型的最后一层是512维特征，把这一层特征提取出来作为特征向量。步骤S130，将从图片中提取的各个特征向量根据物体的类别分类，以图片为单位存入数据库中。每一个物体都有唯一一个特征向量和其对应。如图3所示，对于存入数据库的图片信息，数据库中每个图片对应固定个数的类别。每个类别下，可能包含一个特征向量，也可能包含多个特征向量，也可能没有特征向量。如果某个类别下有多个特征向量，表示图片中这个类别的物体有多个，如果只包含一个特征向量，表示图片中这个类别的物体只有一个，如果没有特征向量，表示该图片中没有该列别的物体。步骤S140，利用目标检测模型从目标图片中检测出特定的物体，并利用卷积神经网络提取特定的物体的特征向量。原理同步骤S110和S120一致。当检测出多个特定的物体，人工指定其中一个。步骤S150，计算目标图片中特定的物体的特征向量与数据库中相同类别的物体的特征向量的相似度。在计算相似度之前，需要把要比较相似度的特征向量从数据库中提取出来，然后通过计算两个特征向量的欧式距离，来确定特征向量的相似度。两个特征向量的欧式距离越小，相似度越高，反之，则相似度越低。步骤S160，将各相似度降序排列，并根据降序排列的相似度将数据库中各对应的图片展示出来。如果一个图片中包含多个要搜索的物体，则取相似度最高的物体作为该图片的相似度。如图4所示，本专利技术的图片中相似物体检索装置，包括图像特征提取模块1、图像特征数据入库模块2、相同类别特征提取模块3、相似度计算模块4、相似度排列模块5和图片显示模块6。图像特征提取模块1用于提取目标图片或图像库的所有图片中特定的物体的特征向量及物体的类别。图像特征提取模块1包括：目标检测模块11和特征向量提取模块12。目标检测模块11利用目标检测模型从图片中检测出特定的物体的类别和位置，根据位置用矩形框框出特定的物体，并标记物体的类别。特征向量提取模块12利用卷积神经网络提取目标检测模型11检测到的物体的特征向量。图像特征数据入库模块2将提取自图像库中所有图片的各特征向量按物体的类别分类，并以图片为单位存入数据库中。相同类别特征提取模块3从数据库中提取与目标图片中特定的物体的类别一致的各特征向量。相似度计算模块4用于计算目标图片中特定的物体的特征向量与所述相同类本文档来自技高网...

【技术保护点】
1.一种图片中相似物体检索方法，其特征在于，包括：步骤S110，利用目标检测模型从图像库中每张图片检测出特定的物体；步骤S120，利用卷积神经网络提取各个特定的物体的特征向量；步骤S130，将从图片中提取的各个特征向量根据物体的类别分类，以图片为单位存入数据库中；步骤S140，利用目标检测模型从目标图片中检测出特定的物体，并利用卷积神经网络提取该特定的物体的特征向量；步骤S150，计算目标图片中特定的物体的特征向量与数据库中相同类别的物体的特征向量的相似度；步骤S160，将各相似度降序排列，并根据降序排列的相似度将数据库中各对应的图片展示出来。

【技术特征摘要】
1.一种图片中相似物体检索方法，其特征在于，包括：步骤S110，利用目标检测模型从图像库中每张图片检测出特定的物体；步骤S120，利用卷积神经网络提取各个特定的物体的特征向量；步骤S130，将从图片中提取的各个特征向量根据物体的类别分类，以图片为单位存入数据库中；步骤S140，利用目标检测模型从目标图片中检测出特定的物体，并利用卷积神经网络提取该特定的物体的特征向量；步骤S150，计算目标图片中特定的物体的特征向量与数据库中相同类别的物体的特征向量的相似度；步骤S160，将各相似度降序排列，并根据降序排列的相似度将数据库中各对应的图片展示出来。2.根据权利要求1所述的图片中相似物体检索方法，其特征在于，利用目标检测模型从图片中检测出特定的物体的类别和位置，根据位置用矩形框框出特定的物体，并标记物体的类别。3.根据权利要求2所述的图片中相似物体检索方法，其特征在于，将卷积神经网络深度学习网络模型的最后一层的特征提取出来，作为特定的物体的特征向量。4.根据权利要求2所述的图片中相似物体检索方法，其特征在于，在步骤S110之前，以能够识别特定的物体为目的提前训练目标检测模型。5.根据权利要求1所述的图片中相似物体检索方法，其特征在于，通过计算两个特征向量的欧式距离，来确定该两个特征向量的相似度，欧式...

【专利技术属性】
技术研发人员：吴晓鹏，谢赟，韩欣，卓建飞，
申请(专利权)人：上海德拓信息技术股份有限公司，
类型：发明
国别省市：上海,31