一种训练图像量化模型的方法、检索图像的方法及装置制造方法及图纸

本申请提供一种训练图像量化模型的方法、检索图像的方法及装置，可以应用于人工智能领域，用于解决量化图像的准确性较低的问题。该方法包括：分别对各个样本图像进行量化特征提取处理，获得各个样本图像各自的量化特征；基于二值量化评估策略，对获得的各个量化特征进行量化评估，确定图像量化模型的二值量化损失；基于语义评估策略，对各个量化特征进行语义评估，确定图像量化模型的语义量化损失；基于所述二值量化损失和所述语义量化损失，确定待训练的图像量化模型满足训练目标时，输出已训练的目标图像量化模型，使得量化图像的准确性更高，进而提高图像检索的召回性能。进而提高图像检索的召回性能。进而提高图像检索的召回性能。

【技术实现步骤摘要】
一种训练图像量化模型的方法、检索图像的方法及装置


[0001]本申请涉及计算机
，尤其涉及一种训练图像量化模型的方法、检索图像的方法及装置。

技术介绍

[0002]随着科技的不断发展，设备不仅可以针对文字提供检索服务，还可以针对图像提供检索服务等。设备可以使用图像的量化特征作为索引标签，来表征相应的图像，从而，在针对图像进行检索时，可以通过索引标签检索出相应的图像。
[0003]相关技术下，获取图像的量化特征的方法是，基于乘积量化(Product Quantization，PQ)获得图像的量化特征，该方法在生成量化特征的过程中，存在较多特征损失，造成量化特征无法准确表征图像，使得量化图像的准确性较低，进而影响图像检索的召回性能。

技术实现思路

[0004]本申请实施例提供了一种量化图像的方法、装置、设备及存储介质，以解决量化图像的准确性较低的问题。
[0005]第一方面，提供一种训练图像量化模型的方法，基于各个样本图像，对待训练的图像量化模型进行多轮迭代训练，其中，每轮训练过程包括：
[0006]分别对所述各个样本图像进行量化特征提取处理，获得所述各个样本图像各自的量化特征；
[0007]基于二值量化评估策略，对获得的各个量化特征进行量化评估，确定图像量化模型的二值量化损失，其中，所述二值量化评估策略用于评估量化特征的二值化程度，以及针对相应样本图像的特征表征程度；
[0008]基于语义评估策略，对所述各个量化特征进行语义评估，确定图像量化模型的语义量化损失，其中，所述语义评估策略用于评估量化特征针对相应样本图像的语义表征程度；
[0009]基于所述二值量化损失和所述语义量化损失，确定所述待训练的图像量化模型满足训练目标时，输出已训练的目标图像量化模型。
[0010]第二方面，提供一种检索图像的方法，包括：
[0011]获得参考图像；
[0012]基于采用如第一方面对应的任一项方法训练得到的目标图像量化模型，对所述参考图像进行量化特征提取处理，获得所述参考图像的量化特征；
[0013]基于各个备选图像各自的量化特征，从所述各个备选图像中，筛选量化特征与所述参考图像的量化特征相匹配的备选图像，作为目标检索图像。
[0014]第三方面，提供一种训练图像量化模型的装置，包括：
[0015]特征提取模块：用于分别对各个样本图像进行量化特征提取处理，获得所述各个
样本图像各自的量化特征；
[0016]训练模块：用于基于二值量化评估策略，对获得的各个量化特征进行量化评估，确定图像量化模型的二值量化损失，其中，所述二值量化评估策略用于评估量化特征的二值化程度，以及针对相应样本图像的特征表征程度；
[0017]所述训练模块还用于：基于语义评估策略，对所述各个量化特征进行语义评估，确定图像量化模型的语义量化损失，其中，所述语义评估策略用于评估量化特征针对相应样本图像的语义表征程度；
[0018]所述训练模块还用于：基于所述二值量化损失和所述语义量化损失，确定所述待训练的图像量化模型满足训练目标时，输出已训练的目标图像量化模型。
[0019]可选的，所述各个样本图像中包含组成多个三元组样本的多个样本图像，其中，每个三元组样本包括一个参考样本图像、一个与所述参考样本图像相似的正样本图像，以及一个与所述参考样本图像不相似的负样本图像；
[0020]则所述训练模块具体用于：
[0021]基于所述多个三元组样本各自包含的参考样本图像、正样本图像和负样本图像各自的量化特征，确定图像量化模型的三元组量化损失；
[0022]分别对所述各个样本图像各自的量化特征进行二值化处理，确定图像量化模型的二值化损失；
[0023]基于所述三元组量化损失与所述二值化损失的加权和，确定图像量化模型的二值量化损失。
[0024]可选的，所述训练模块具体用于：
[0025]分别对所述各个样本图像各自的量化特征进行分类处理，确定图像量化模型的分类损失；
[0026]分别对所述各个样本图像各自的量化特征进行乘积量化处理，确定图像量化模型的乘积量化损失；
[0027]基于所述分类损失和所述乘积量化损失的加权和，确定图像量化模型的语义量化损失。
[0028]可选的，所述训练模块具体用于：
[0029]获得各个码本，其中，所述各个码本是基于所述各个样本图像各自的量化特征生成的，每个码本包含多个索引向量，所述索引向量用于作为量化特征的索引；
[0030]基于所述各个码本各自包含的多个索引向量，分别对所述各个样本图像各自的量化特征进行索引标记，获得各个量化特征各自对应的索引特征；
[0031]基于所述各个样本图像各自对应的索引特征，确定图像量化模型的乘积量化损失。
[0032]可选的，所述训练模块具体用于：
[0033]针对所述各个样本图像各自的量化特征，分别执行以下操作：
[0034]将量化特征划分为包含多个子特征的子特征序列，其中，所述子特征序列包含的子特征的数量与所述各个码本的数量相同，每个码本与子特征在子特征序列中的位置一一对应；
[0035]针对所述各个码本，分别确定码本包含的多个索引向量，与所述子特征序列中相
应位置上的子特征之间的相似度，针对所述子特征序列中的每个位置筛选出相似度最大的索引向量；
[0036]基于筛选出的各个索引向量，获得所述量化特征对应的索引特征。
[0037]可选的，所述训练模块具体用于：
[0038]基于所述各个样本图像各自对应的索引特征，与相应量化特征之间的误差，确定图像量化模型的索引量化损失；
[0039]基于多个三元组样本各自包含的参考样本图像、正样本图像和负样本图像各自对应的索引特征，确定图像量化模型的码本三元组量化损失，其中，所述多个三元组样本是基于所述各个样本图像中的样本图像组成的；
[0040]分别对所述各个码本各自包含的多个索引向量进行分类处理，确定图像量化模型的码本分类损失；
[0041]基于所述索引量化损失、所述码本三元组量化损失和所述码本分类损失的加权和，确定图像量化模型的乘积量化损失。
[0042]可选的，所述各个样本图像各自具有对应的样本分类；
[0043]则所述训练模块还用于：
[0044]在分别对所述各个样本图像进行量化特征提取处理，获得所述各个样本图像各自的量化特征之后，确定存在各个码本时，针对对应相同样本分类的多个样本图像，分别执行以下操作，其中，所述各个码本各自包含多个索引向量，所述索引向量用于作为量化特征的索引；
[0045]对所述多个样本图像各自的量化特征进行聚类处理，获得各个聚类中心；
[0046]分别确定所述多个样本图像各自的量化特征，与所述各个聚类中心之间的相似度，针对所述各个聚类中心，分别筛选出相似度最大的量化特征对应的样本图像作为目标样本图像；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练图像量化模型的方法，其特征在于，基于各个样本图像，对待训练的图像量化模型进行多轮迭代训练，包括：分别对所述各个样本图像进行量化特征提取处理，获得所述各个样本图像各自的量化特征；基于二值量化评估策略，对获得的各个量化特征进行量化评估，确定图像量化模型的二值量化损失，其中，所述二值量化评估策略用于评估量化特征的二值化程度，以及针对相应样本图像的特征表征程度；基于语义评估策略，对所述各个量化特征进行语义评估，确定图像量化模型的语义量化损失，其中，所述语义评估策略用于评估量化特征针对相应样本图像的语义表征程度；基于所述二值量化损失和所述语义量化损失，确定所述待训练的图像量化模型满足训练目标时，输出已训练的目标图像量化模型。2.根据权利要求1所述的方法，其特征在于，所述各个样本图像中包含组成多个三元组样本的多个样本图像，其中，每个三元组样本包括一个参考样本图像、一个与所述参考样本图像相似的正样本图像，以及一个与所述参考样本图像不相似的负样本图像；则基于二值量化评估策略，对获得的各个量化特征进行量化评估，确定图像量化模型的二值量化损失，包括：基于所述多个三元组样本各自包含的参考样本图像、正样本图像和负样本图像各自的量化特征，确定图像量化模型的三元组量化损失；分别对所述各个样本图像各自的量化特征进行二值化处理，确定图像量化模型的二值化损失；基于所述三元组量化损失与所述二值化损失的加权和，确定图像量化模型的二值量化损失。3.根据权利要求1所述的方法，其特征在于，基于语义评估策略，对所述各个量化特征进行语义评估，确定图像量化模型的语义量化损失，包括：分别对所述各个样本图像各自的量化特征进行分类处理，确定图像量化模型的分类损失；分别对所述各个样本图像各自的量化特征进行乘积量化处理，确定图像量化模型的乘积量化损失；基于所述分类损失和所述乘积量化损失的加权和，确定图像量化模型的语义量化损失。4.根据权利要求3所述的方法，其特征在于，分别对所述各个样本图像各自的量化特征进行乘积量化处理，确定图像量化模型的乘积量化损失，包括：获得各个码本，其中，所述各个码本是基于所述各个样本图像各自的量化特征生成的，每个码本包含多个索引向量，所述索引向量用于作为量化特征的索引；基于所述各个码本各自包含的多个索引向量，分别对所述各个样本图像各自的量化特征进行索引标记，获得各个量化特征各自对应的索引特征；基于所述各个样本图像各自对应的索引特征，确定图像量化模型的乘积量化损失。5.根据权利要求4所述的方法，其特征在于，基于所述各个码本各自包含的多个索引向量，分别对所述各个样本图像各自的量化特征进行索引标记，获得各个量化特征各自对应
的索引特征，包括：针对所述各个样本图像各自的量化特征，分别执行以下操作：将量化特征划分为包含多个子特征的子特征序列，其中，所述子特征序列包含的子特征的数量与所述各个码本的数量相同，每个码本与子特征在子特征序列中的位置一一对应；针对所述各个码本，分别确定码本包含的多个索引向量，与所述子特征序列中相应位置上的子特征之间的相似度，针对所述子特征序列中的每个位置筛选出相似度最大的索引向量；基于筛选出的各个索引向量，获得所述量化特征对应的索引特征。6.根据权利要求4所述的方法，其特征在于，基于所述各个样本图像各自对应的索引特征，确定图像量化模型的乘积量化损失，包括：基于所述各个样本图像各自对应的索引特征，与相应量化特征之间的误差，确定图像量化模型的索引量化损失；基于多个三元组样本各自包含的参考样本图像、正样本图像和负样本图像各自对应的索引特征，确定图像量化模型的码本三元组量化损失，其中，所述多个三元组样本是基于所述各个样本图像中的样本图像组成的；分别对所述各个码本各自包含的多个索引向量进行分类处理，确定图像量化模型的码本分类损失；基于所述索引量化损失、所述码本三元组量化损失和所述码本分类损失的加权和，确定图像量化模型的乘积量化损失。7.根据权利要求1所述的方法，其特征在于，所述各个样本图像各自具有对应的样本分类；则在分别对所述各个样本图像进行量化特征提取处理，获得所述各个样本图像各自的量化特征之后，还包括：确定存在各个码本时，针对对应相同样本分类的多个样本图像，分别执行以下操作，其中，...

【专利技术属性】
技术研发人员：郭卉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：