特征提取模型训练方法、图片搜索方法、装置及设备制造方法及图纸

本申请公开一种特征提取模型训练方法、图片搜索方法、装置及设备，该方法包括：获取包含真实图片和模板图片的训练图片数据，同一批训练图片数据中的每张真实图片具有与其对应的模板图片；基于特征提取模型提取出同一批训练图片数据中每张真实图片的视觉特征和每张模板图片的视觉特征，视觉特征具有图片内区域之间的视觉语义相关性；计算每张真实图片的视觉特征和每张模板图片的视觉特征之间的相似性；根据上述相似性对特征提取模型进行训练，使得训练好的特征提取模型输出的每张真实图片的视觉特征与每张真实图片对应的模板图片的视觉特征相似，可提升图片的视觉特征的特征辨识度，及提升有模板图片的图片搜索的搜索效果。及提升有模板图片的图片搜索的搜索效果。及提升有模板图片的图片搜索的搜索效果。

【技术实现步骤摘要】
特征提取模型训练方法、图片搜索方法、装置及设备


[0001]本申请涉及计算机
，具体涉及一种特征提取模型训练方法、图片搜索方法、装置及设备。

技术介绍

[0002]目前的图像搜索技术，主要是基于全局特征(global feature)的图像搜索技术和基于协同过滤方案的图像搜索技术。
[0003]对于有模板图片的搜索问题，目前基于全局特征的方案，因为特征辨识度较低，导致搜索结果误差较大，而基于卷积神经网络的特征提取模型，因为针对的是一般的图片搜索问题，不能有效利用模板图片，因此搜索效果并不是最佳的。
[0004]因此，对于有模板图片作为搜索目标的图像搜索技术，有待进一步改进。

技术实现思路

[0005]本申请实施例提供一种特征提取模型训练方法、图片搜索方法、装置及设备，可以提升图片的视觉特征的特征辨识度，以及提升有模板图片的图片搜索的搜索效果。
[0006]第一方面，提供一种特征提取模型训练方法，所述方法包括：
[0007]获取包含真实图片和模板图片的训练图片数据，其中，同一批训练图片数据中的每张真实图片具有与其对应的模板图片；
[0008]基于特征提取模型提取出同一批训练图片数据中每张所述真实图片的视觉特征和每张所述模板图片的视觉特征，其中，所述视觉特征具有图片内区域之间的视觉语义相关性；
[0009]计算每张所述真实图片的视觉特征和每张所述模板图片的视觉特征之间的相似性；
[0010]根据所述相似性对所述特征提取模型进行训练，使得训练好的特征提取模型输出的每张所述真实图片的视觉特征与每张所述真实图片对应的模板图片的视觉特征相似。
[0011]第二方面，提供一种图片搜索方法，所述方法包括：
[0012]获取待搜索图片；
[0013]基于训练好的特征提取模型提取所述待搜索图片的视觉特征，其中，所述视觉特征具有图片内区域之间的视觉语义相关性，所述训练好的特征提取模型是根据如上任一实施例所述的特征提取模型训练方法进行训练得到的；
[0014]从模板图片数据库中搜索与所述待搜索图片的视觉特征相似的模板图片作为搜索结果。
[0015]第三方面，提供一种特征提取模型训练装置，所述装置包括：
[0016]第一获取单元，用于获取包含真实图片和模板图片的训练图片数据，其中，同一批训练图片数据中的每张真实图片具有与其对应的模板图片；
[0017]第一提取单元，用于基于特征提取模型提取出同一批训练图片数据中每张所述真
实图片的视觉特征和每张所述模板图片的视觉特征，其中，所述视觉特征具有图片内区域之间的视觉语义相关性；
[0018]计算单元，用于计算每张所述真实图片的视觉特征和每张所述模板图片的视觉特征之间的相似性；
[0019]训练单元，用于根据所述相似性对所述特征提取模型进行训练，使得训练好的特征提取模型输出的每张所述真实图片的视觉特征与每张所述真实图片对应的模板图片的视觉特征相似。
[0020]第四方面，提供一种一种图片搜索装置，其特征在于，所述装置包括：
[0021]第二获取单元，用于获取待搜索图片；
[0022]第二提取单元，用于基于训练好的特征提取模型提取所述待搜索图片的视觉特征，其中，所述视觉特征具有图片内区域之间的视觉语义相关性，所述训练好的特征提取模型是如上任一实施例所述的特征提取模型训练方法进行训练得到的；
[0023]搜索单元，用于从模板图片数据库中搜索与所述待搜索图片的视觉特征相似的模板图片作为搜索结果。
[0024]第五方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的特征提取模型训练方法中的步骤或者如上任一实施例所述的图片搜索方法中的步骤。
[0025]第六方面，提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的特征提取模型训练方法中的步骤或者如上任一实施例所述的图片搜索方法中的步骤。
[0026]第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上任一实施例所述的特征提取模型训练方法中的步骤或者如上任一实施例所述的图片搜索方法中的步骤。
[0027]本申请实施例通过获取包含真实图片和模板图片的训练图片数据，其中，同一批训练图片数据中的每张真实图片具有与其对应的模板图片；基于特征提取模型提取出同一批训练图片数据中每张真实图片的视觉特征和每张模板图片的视觉特征，其中，视觉特征具有图片内区域之间的视觉语义相关性；计算每张真实图片的视觉特征和每张模板图片的视觉特征之间的相似性；根据上述相似性对特征提取模型进行训练，使得训练好的特征提取模型输出的每张真实图片的视觉特征与每张真实图片对应的模板图片的视觉特征相似。本申请实施例通过特征学习模型能够有效提取出具有图片内区域之间的视觉语义相关性的视觉特征，并基于训练图片中真实图片的视觉特征和模板图片的视觉特征之间的相似性进行度量学习，来优化特征提取模型，可以提升图片的视觉特征的特征辨识度，以及提升有模板图片的图片搜索的搜索效果。
附图说明
[0028]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附
图。
[0029]图1为本申请实施例提供的特征提取模型训练方法的流程示意图。
[0030]图2为本申请实施例提供的模型训练的框架示意图。
[0031]图3为本申请实施例提供的图片搜索方法的流程示意图。
[0032]图4为本申请实施例提供的特征提取模型训练装置的结构示意图。
[0033]图5为本申请实施例提供的图片搜索装置的结构示意图。
[0034]图6为本申请实施例提供的装置的另一结构示意图。
具体实施方式
[0035]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0036]本申请实施例提供一种特征提取模型训练方法、装置、计算机设备和存储介质。具体地，本申请实施例的特征提取模型训练方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。
[0037]首先，对本申请进行描述的过程中出现的部分名词或者术语作如下解释：
[0038]尺度不变特征变换(Scale Invariant Feature Transform)算法，SIFT可以表示局部特征，可以用于检测图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种特征提取模型训练方法，其特征在于，所述方法包括：获取包含真实图片和模板图片的训练图片数据，其中，同一批训练图片数据中的每张真实图片具有与其对应的模板图片；基于特征提取模型提取出同一批训练图片数据中每张所述真实图片的视觉特征和每张所述模板图片的视觉特征，其中，所述视觉特征具有图片内区域之间的视觉语义相关性；计算每张所述真实图片的视觉特征和每张所述模板图片的视觉特征之间的相似性；根据所述相似性对所述特征提取模型进行训练，使得训练好的特征提取模型输出的每张所述真实图片的视频特征与每张所述真实图片对应的模板图片的视觉特征相似。2.如权利要求1所述的特征提取模型训练方法，其特征在于，所述基于特征提取模型提取出同一批训练图片数据中每张所述真实图片的视觉特征和每张所述模板图片的视觉特征，包括：将同一批训练图片数据同时输入所述特征提取模型中进行处理，将得到的每张所述真实图片和每张所述模板图片对应的预设维度的向量作为图片特征；计算每一所述图片特征的2范数，并将每一所述图片特征映射到欧式空间，得到每张所述真实图片的视觉特征，以及每张所述模板图片的视觉特征。3.如权利要求2所述的特征提取模型训练方法，其特征在于，所述计算每张所述真实图片的视觉特征和每张所述模板图片的视觉特征之间的相似性，包括：计算每张所述真实图片的视觉特征和每张所述模板图片的视觉特征之间的余弦距离。4.如权利要求3所述的特征提取模型训练方法，其特征在于，所述计算每张所述真实图片的视觉特征和每张所述模板图片的视觉特征之间的余弦距离，包括：将同一批训练图片数据中的所有真实图片的视觉特征进行组合，构成真实图片特征矩阵；将同一批训练图片数据中的所有模板图片的视觉特征进行组合，构成模板图片特征矩阵；将所述真实图片特征矩阵和所述模板图片特征矩阵进行点乘，得到余弦距离矩阵，所述余弦距离矩阵包含所有的所述真实图片与所述模板图片的视觉特征的余弦距离。5.如权利要求4所述的特征提取模型训练方法，其特征在于，所述根据所述相似性对所述特征提取模型进行训练，包括：根据所述模板图片的数量，每张所述模板图片对应的真实图片的数量，所述余弦距离矩阵，正样本对和负样本对构成的真值矩阵，计算所述特征提取模型的损失函数，以得到训练好的特征提取模型；其中，每张所述模板图片与其对应的真实图片形成一个正样本对，每张所述模板图片与其对应的真实图片之外的其他图片形成一个负样本对。6.如权利要求5所述的特征提取模型训练方法，其特征在于，同一批训练图片数据中包含n张模板图片以及每张模板图片对应的k张真实图片，k大于n，且k与n为不同的数量级；所述特征提取模型的损失函数采用以下公式确定：
其中，Loss表示损失函数；n表示所述模板图片的数量；k表示每张所述模板图片对应的真实图片的数量；S表示所述余弦距离矩阵；Y表示所述正样本对和负样本对构成的真值矩阵。7.如权利要求1所述的特征提取模型训练方法，其特征在于，在所述获取包含真实图片和模板图片的训练图片数据时，还包括：对所述真实图片进行数据增强处理。8.如权利要求7所述的特征提取模型训练方法，其特征在于，所述对所述对真实图片进行数据增强处理，包括：根据旋转、遮挡、裁切、色彩抖动、透视变换和重影叠加中的至少一种处理方式对所述真实图片进行数据增强处理。9.一种图片搜索方法，其特征在于，所...

【专利技术属性】
技术研发人员：沈辉，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：