一种相似图片的检索方法及装置制造方法及图纸

本发明专利技术公开了一种相似图片的检索方法及装置，涉及图像处理技术领域，为解决现有技术中检索结果与用户的检索需求偏差较大的问题而发明专利技术。该方法主要包括：根据边缘检测法，提取目标图片的整体特征信息；根据所述整体特征信息，计算待测图片与所述目标图片的整体相似度；根据MaskRCNN模型，提取目标图片的细节特征信息；根据所述细节特征信息，计算所述待测图片与所述目标图片的细节相似度；根据所述整体相似度、所述细节相似度和预置检索权重，计算所述待测图片与所述目标图片的检索相似度；按照所述检索相似度的数值从大到小的顺序，展示与所述检索相似度对应的待测图片。本发明专利技术主要应用于图片检索的过程中。

A search method and device for similar pictures

【技术实现步骤摘要】
一种相似图片的检索方法及装置
本专利技术涉及图像处理
，特别是涉及一种相似图片的检索方法及装置。
技术介绍
以图片为信息存储方式，以查找相似图片为手段，以获取所需信息为目的，是一种新的检索信息方式。现有技术中，检索相似图片的方法包括：获取目标图片的多个显著性区域；提取多个显著性区域的卷积神经网络CNN特征；根据多个显著性区域的CNN特征，获取目标图片的特征向量；根据目标图片的特征向量，从目标图片的候选图片组包括的多个候选图片中获取与目标图片匹配的相似图片。卷积神经网络CNN(ConvolutionalNeuralNetworks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征进行学习，被大量应用于计算机视觉、自然语言处理等领域。在检索相似图片时，用户可能需要查找颜色相近、款式相近、文字相近或者品牌相同的商品。而现有的检索相似图片的方法，是基于整体图片的显著性区域的CNN特征比对查找，忽略了品牌商标和文字等非显著性特征，导致了检索结果与用户的检索需求偏差较大。
技术实现思路
有鉴于此，本专利技术提供一种相似图片的检索方法及装置，主要目的在于解决现有技术中检索结果与用户的检索需求偏差较大的问题。依据本专利技术一个方面，提供了一种相似图片的检索方法，包括：根据边缘检测法，提取目标图片的整体特征信息；根据所述整体特征信息，计算待测图片与所述目标图片的整体相似度；根据MaskRCNN模型，提取所述目标图片的细节特征信息；根据所述细节特征信息，计算所述待测图片与所述目标图片的细节相似度；根据所述整体相似度、所述细节相似度和预置检索权重，计算所述待测图片与所述目标图片的检索相似度；按照所述检索相似度的数值从大到小的顺序，展示与所述检索相似度对应的待测图片。依据本专利技术另一个方面，提供了一种相似图片的检索装置，包括：提取模块，用于根据边缘检测法，提取目标图片的整体特征信息；第一计算模块，用于根据所述整体特征信息，计算待测图片与所述目标图片的整体相似度；所述提取模块，用于根据MaskRCNN模型，提取所述目标图片的细节特征信息；所述第一计算模块，还用于根据所述细节特征信息，计算所述待测图片与所述目标图片的细节相似度；第二计算模块，用于根据所述整体相似度、所述细节相似度和预置检索权重，计算所述待测图片与所述目标图片的检索相似度；展示模块，用于按照所述检索相似度的数值从大到小的顺序，展示与所述检索相似度对应的待测图片。根据本专利技术的又一方面，提供了一种存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述相似图片的检索方法对应的操作。根据本专利技术的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述相似图片的检索方法对应的操作。借由上述技术方案，本专利技术实施例提供的技术方案至少具有下列优点：本专利技术提供了一种相似图片的检索方法及装置，首先根据边缘检测法，提取目标图片的整体特征信息，计算待测图片与目标图片的整体相似度，再根据MaskRCNN模型，提取所述目标图片的细节特征信息，再根据细节特征信息，计算待测图片与目标图片的细节相似度，再根据整体相似度、细节相似度和预置检索权重，计算待测图片与目标图片的检索相似度，最后按照检索相似度的数值从大到小的顺序，展示与检索相似度对应的待测图片。与现有技术相比，本专利技术实施例通过采用为整体相似度和细节相似度设置不同的预置检索权重，以计算待测图片与目标图片的检索相似度。通过增加细节相似度对检索相似度的影响，能够区分出相似物体的细节冲突，提高相似图片的区分度，以提高识别效果，减少检索结果与用户检索需求的偏差。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术实施例提供的一种相似图片的检索方法流程图；图2示出了本专利技术实施例提供的另一种相似图片的检索方法流程图；图3示出了本专利技术实施例提供的一种相似图片的检索装置组成框图；图4示出了本专利技术实施例提供的另一种相似图片的检索装置组成框图；图5示出了本专利技术实施例提供的一种计算机设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术实施例提供了一种相似图片的检索方法，如图1所示，该方法包括：101、根据边缘检测法，提取目标图片的整体特征信息。目标图片是指用户已查询的商品图片，本专利技术的目的就是检索目标图形的相似图片。整体特征信息，是指目标图形中物体的整体信息，包括颜色和轮廓。假设目标图片内容为一件A品牌的白色外套，则白色外套为整体特征信息。采用边缘检测法能够大幅度地减少数据量，并且剔除不相关的信息，同时保留图像重要的结构属性，有利于提取整体特征信息。边缘检测法可以划分为两类：一阶导数查找法和二阶导数零穿越法。基于查找的方法通过寻找图像一阶导数中的最大和最小值来检测边界，通常是将边界定位在梯度最大的方向。基于零穿越的方法通过寻找图像二阶导数零穿越来寻找边界，通常是Laplacian过零点或者非线性差分表示的过零点。示例性的，目标图片内容为一件A品牌的白色外套，提取外套的形状及外套的颜色。102、根据所述整体特征信息，计算待测图片与所述目标图片的整体相似度。待测图片，是指可能与目标图片相似的所有图片，可能是系统中的所有图片，可能是根据目标图片的文字描述检索到的相关图片，也可能是根据目标图片中物体的属性检索到的相关图形。在本专利技术实施例中对待测图片的图片来源以及数量不做限定。与获取目标图片的整体特征信息的方法相同，获取待测图片的整体特征信息，然后计算待测图片与目标图片的整体相似度。整体相似度可根据欧几里得距离、曼哈顿距离、明可夫斯基距离、余弦相似度或皮尔森相关系数等方法计算。103、根据MaskRCNN模型，提取所述目标图片的细节特征信息。目标图片是指用户已查询的商品图片，本专利技术的目的就是检索目标图形的相似图片。细节特征信息，是指目标图片中的细节部分，是指相对于整张图片所占比例较小却有着丰富信息的图像部分。假设目标图片内容为一件A品牌的白色外套，则A品牌为细节特征信息，A品牌是指该品牌的商标形状，或商标的形状及颜色。如果采用MaskRCNN算法提取细节特征信息，那么MaskRCNN算法的算法模型，需要经过标注出目标图片本文档来自技高网...

【技术保护点】
1.一种相似图片的检索方法，其特征在于，包括：根据边缘检测法，提取目标图片的整体特征信息；根据所述整体特征信息，计算待测图片与所述目标图片的整体相似度；根据MaskRCNN模型，提取所述目标图片的细节特征信息；根据所述细节特征信息，计算所述待测图片与所述目标图片的细节相似度；根据所述整体相似度、所述细节相似度和预置检索权重，计算所述待测图片与所述目标图片的检索相似度；按照所述检索相似度的数值从大到小的顺序，展示与所述检索相似度对应的待测图片。

【技术特征摘要】
1.一种相似图片的检索方法，其特征在于，包括：根据边缘检测法，提取目标图片的整体特征信息；根据所述整体特征信息，计算待测图片与所述目标图片的整体相似度；根据MaskRCNN模型，提取所述目标图片的细节特征信息；根据所述细节特征信息，计算所述待测图片与所述目标图片的细节相似度；根据所述整体相似度、所述细节相似度和预置检索权重，计算所述待测图片与所述目标图片的检索相似度；按照所述检索相似度的数值从大到小的顺序，展示与所述检索相似度对应的待测图片。2.如权利要求1所述的方法，其特征在于，所述整体特征信息包括目标物体颜色和目标边缘轮廓；所述根据边缘检测法，提取目标图片的整体特征信息，包括：采用所述边缘检测法，标识并提取所述目标图片中的目标物体的所述目标边缘轮廓；提取所述目标边缘轮廓内所述目标物体的所述目标物体颜色。3.如权利要求2所述的方法，其特征在于，所述提取所述目标边缘轮廓内所述目标物体的目标物体颜色，包括：按照第一预置划分粒度，将所述目标图片划分为多个网格图片；在所述目标图片中所述目标边缘轮廓内，查询每个所述网格图片的网格颜色，所述网格颜色包括单一色和混合色；计算所述网格颜色为混合色的图片数量与所述网格图片的总数量相比的混合色比例；如果所述混合色比例大于第一预置比例，则按照第二预置划分粒度重新划分所述目标图片；如果所述混合色比例不大于所述第一预置比例，则记录所述网格颜色为单一色的网格图片的每种颜色的单一色图片数量；如果所述单一色图片数量与所述网格图片的总数量的单一色比例大于第二预置比例，则确定所述单一色图片数量对应的网格颜色为目标物体颜色；如果所述每种颜色的单一色图片数量之间的差值小于第三预置数量，则确定所述网格图片的网格颜色为目标物体颜色。4.如权利要求2所述的方法，其特征在于，所述根据MaskRCNN模型，提取所述目标图片的细节特征信息，包括：将所述目标图片与所述目标边缘轮廓进行匹配，筛选所述目标图片中的目标实物图片；将所述目标实物图片输入所述MaskRCNN模型，提取所述目标实物图片的二值掩膜图像；标记所述二值掩膜图像中的图像轮廓；将所述目标实物图片与所述标记后的二值掩膜图像进行匹配，筛选与所述图像轮廓对应的目标实物图片中的细节特征图片；将所述网格特征图片中的字符或者图形轮廓确定为细节特征信息。5.如权利要求1所述的方...

【专利技术属性】
技术研发人员：杨祎，王炜，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44