一种训练模型的方法、图像检索的方法以及装置制造方法及图纸

本申请公开了一种训练模型的方法，涉及人工智能领域，包括：获取多个训练样本，每个训练样本包括图像和文本，文本用于描述图像中的目标对象。将多个训练样本输入目标模型中，以使目标模型执行下述流程，直至满足预设的停止条件：提取第一图像的图像特征和第一文本的文本特征。根据第一向量和第二向量之间的差异获取第一损失值。第一向量的维度和第二向量的维度相同，第一向量用于指示第一图像的图像特征，第二向量用于指示第一文本的文本特征。根据第一损失值更新目标模型。本申请提供的方案利用文本特征指导图像特征的学习，使通过目标模型提取的图像特征对图像的表征能力更好。

【技术实现步骤摘要】
一种训练模型的方法、图像检索的方法以及装置
本申请涉及图像处理领域，尤其涉及一种训练模型的方法、图像检索的方法以及装置。
技术介绍
人工智能(artificialintelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。图像检索是计算机视觉中备受关注的问题之一，而产品的图像检索是图像检索中非常重要的部分。产品的图像检索是指根据用户输入的产品图像，获取该产品图像的图像特征，根据该图像特征从图像数据库中检索出对应的产品，并向用户展示。产品的图像检索技术在电商行业中有广泛的应用，商业价值巨大。产品图像检索要求返回的结果本文档来自技高网...

【技术保护点】
1.一种训练模型的方法，其特征在于，包括：/n获取多个训练样本，每个所述训练样本包括图像和文本，所述文本用于描述所述图像中的目标对象；/n将所述多个训练样本输入目标模型中，以使所述目标模型执行下述流程，直至所述满足预设的停止条件：/n提取第一图像的图像特征和第一文本的文本特征，所述第一图像是所述多个训练样本中任意一个所述训练样本中包括的图像，所述第一文本用于描述所述第一图像中的目标对象；/n根据第一向量和第二向量之间的差异获取第一损失值，所述第一向量的维度和所述第二向量的维度相同，所述第一向量用于指示所述第一图像的图像特征，所述第二向量用于指示所述第一文本的文本特征；/n所述根据所述第一损失值...

【技术特征摘要】
1.一种训练模型的方法，其特征在于，包括：
获取多个训练样本，每个所述训练样本包括图像和文本，所述文本用于描述所述图像中的目标对象；
将所述多个训练样本输入目标模型中，以使所述目标模型执行下述流程，直至所述满足预设的停止条件：
提取第一图像的图像特征和第一文本的文本特征，所述第一图像是所述多个训练样本中任意一个所述训练样本中包括的图像，所述第一文本用于描述所述第一图像中的目标对象；
根据第一向量和第二向量之间的差异获取第一损失值，所述第一向量的维度和所述第二向量的维度相同，所述第一向量用于指示所述第一图像的图像特征，所述第二向量用于指示所述第一文本的文本特征；
所述根据所述第一损失值更新所述目标模型。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述第一图像的图像特征，预测所述第一图像中的目标对象的至少一个属性；
根据所述至少一个属性和预设标签之间的差异获取第二损失值，所述预设标签是对所述第一文本进行分词预处理后获取的；
所述根据所述第一损失值更新所述目标模型，包括：
根据所述第一损失值和所述第二损失值更新所述目标模型。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述第一图像的图像特征，预测所述第一图像中的目标对象属于对象集合中各个目标对象的第一概率，所述对象集合包括所述多个训练样本中全部所述图像中包括的目标对象；
根据所述第一文本的文本特征预测所述第一文本用于描述对象集合中各个目标对象的第二概率；
根据所述第一概率和所述第二概率之间的差异获取第三损失值；
所述根据所述第一损失值更新所述目标模型，包括：
根据所述第一损失值、所述第二损失值以及所述第三损失值更新所述目标模型。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
根据所述第一概率和第一预设值之间的差异，获取第四损失值，所述第一预设值指示预设的所述第一图像中的目标对象属于对象集合中各个目标对象的概率；
根据所述第二概率和第二预设值之间的差异，获取第五损失值，所述第二预设值指示预设的所述第一文本用于描述对象集合中各个目标对象的概率；
所述根据所述第一损失值更新所述目标模型，包括：
根据所述第一损失值、所述第二损失值、所述第三损失值、所述第四损失值以及所述第五损失值更新所述目标模型。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述第一图像的图像特征和第二图像的图像特征之间的差异获取第六损失值，所述第二图像和所述第一图像从不同角度展示相同的目标对象；
所述根据所述第一损失值更新所述目标模型，包括：
根据所述第一损失值、所述第二损失值、所述第三损失值、所述第四损失值、所述第五损失值以及所述第六损失值更新所述目标模型。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取所述第一向量和第三向量之间的第一距离，获取所述第一向量和第四向量之间的第二距离，所述第三向量用于指示所述第二图像的图像特征，所述第四向量用于指示第三图像的图像特征，所述第三图像和所述第一图像中包括的目标对象不同；
根据所述第一距离和所述第二距离之间的差值与预设阈值的差异获取第七损失值；
所述根据所述第一损失值更新所述目标模型，包括：
根据所述第一损失值、所述第二损失值、所述第三损失值、所述第四损失值、所述第五损失值、所述第六损失值以及所述第七损失值更新所述目标模型。


7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取多个训练样本，包括：
获取产品的第一目标图像、所述产品的文本标题、所述产品的第二目标图像，所述第一目标图像来自于所述产品的提供者，所述第二目标图像来自所述产品的购买者；
将所述第一目标图像作为分割模型的输入，以获取分割结果，所述分割结果指示所述产品在所述第一目标图像中的轮廓；
根据所述分割结果提取第三目标图像的目标区域，所述第三目标图像是通过将所述第一目标图像输入生成器中获取的，其中所述生成器在训练过程中利用了来自所述产品的提供者提供的图像，以及来自所述产品的购买者提供的图像；
对所述目标区域进行随机仿射变换，以获取变换后的所述目标区域；
将所述变换后的目标区域与预设背景进行组合，以获取第四目标图像；
获取第一类型的训练样本、第二类型的训练样本以及第三类型的训练样本，每个所述第一类型的训练样本包括所述第一目标图像和所述文本标题，每个所述第二类型的训练样本包括所述第二目标图像和所述文本标题，每个所述第三类型的训练样本包括所述第四目标图像和所述文本标题。


8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：
根据所述目标模型提取的多个图像特征，对哈希模型进行多次训练，以获取训练后的所述哈希模型，其中，所述多次训练中的任意一次训练，包括：
获取每个所述图像特征对应的哈希特征；
对多个所述哈希特征进行聚类处理，以获取多个聚类数据集；
从多个所述哈希特征中获取第一哈希特征，所述第一哈希特征是所述多个哈希特征中的任意一个；
根据各个所述聚类数据集的聚类中心和所述第一哈希特征的相似性，从所述多个聚类数据集中获取第一聚类数据集，所述多个聚类数据中所述第一聚类数据集的聚类中心和所述第一哈希特征的相似性最高；
根据所述第一聚类数据集的聚类中心和所述第一哈希特征的差异获取第八损失值；
根据所述第八损失值更新所述哈希模型。


9.根据权利要求8所述的方法，其特征在于，所述根据所述第一损失值更新所述目标模型，包括：
根据所述第一损失值、所述第二损失值、所述第三损失值、所述第四损失值、所述第五损失值、所述第六损失值、所述第七损失值以及所述第八损失值更新所述目标模型。


10.根据权利要求8或9所述的方法，其特征在于，所述多次训练中的任意一次训练，还包括：
对目标哈希特征施加第一约束和第二约束，以获取更新后的所述目标哈希特征，所述目标哈希特征是根据上一次更新后的所述哈希模型获取的哈希特征，所述第一约束为所述哈希特征中的第三预设值和第四预设值的数目是平均的，所述第二约束为目标矩阵的第一对角线上的元素为所述第四预设值，所述目标矩阵中除所述第一对角线之外的其他元素为所述第三预设值，所述目标矩阵中第i行第j列的元素表示多个目标元素的平均值，所述多个目标元素表示各个所述哈希特征的第i个维度的取值和各个所述哈希特征各自的第j个维度的取值的乘积，所述i和所述j为正整数；
对所述目标哈希特征中每一维度的取值和第二均值进行比较，所述第二均值是所述第三预设值和所述第四预设值的平均值；
所述每一维度的取值小于所述第二均值时，根据所述哈希特征的每一维度的取值和所述第三预设值之间的差异获取第九损失值；
所述每一维度的取值不小于所述第二均值时，根据所述哈希特征的每一维度的取值和所述第四预设值之间的差异获取第九损失值；
所述根据所述第八损失值更新所述哈希模型，包括：

【专利技术属性】
技术研发人员：李炜棉，朱凯强，黄飞，许松岑，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44