模型训练、物品匹配方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种模型训练、物品匹配方法、装置、电子设备及存储介质。该模型训练方法包括：将训练物品的训练图像和训练文本，作为一组训练样本，并基于得到的多组训练样本训练原始特征提取模型，得到中间特征提取模型；将检验物品的检验图像和检验文本，作为一组检验样本，并将得到的多组检验样本输入中间特征提取模型，以得到第一匹配度集；将多组训练样本输入中间特征提取模型，以得到第二匹配度集；基于第一匹配度集以及第二匹配度集，筛选多组训练样本，并基于筛选出的训练样本，训练原始特征提取模型，得到目标特征提取模型。本发明专利技术实施例的技术方案，可提高物品匹配的精准度。准度。准度。

【技术实现步骤摘要】
模型训练、物品匹配方法、装置、电子设备及存储介质


[0001]本专利技术实施例涉及计算机应用
，尤其是涉及一种模型训练、物品匹配方法、装置、电子设备及存储介质。

技术介绍

[0002]物品匹配技术在电商平台具有广泛的应用场景，例如物品比价、同款识别以及拍照购等。由此可见，物品匹配的精准性，对于电商平台而言至关重要。
[0003]在实现本专利技术的过程中，专利技术人发现现有技术中存在以下技术问题：现有的物品匹配技术，无法取得较好的匹配精度，有待改进。

技术实现思路

[0004]本专利技术实施例提供了一种模型训练、物品匹配方法、装置、电子设备及存储介质，以提高物品匹配的精准度。
[0005]根据本专利技术的一方面，提供了一种模型训练方法，可以包括：
[0006]将训练物品的训练图像和训练文本，作为一组训练样本，并基于得到的多组训练样本训练原始特征提取模型，得到中间特征提取模型；
[0007]将检验物品的检验图像和检验文本，作为一组检验样本，并将得到的多组检验样本输入中间特征提取模型，以得到第一匹配度集；
[0008]将多组训练样本输入中间特征提取模型，以得到第二匹配度集；
[0009]基于第一匹配度集和第二匹配度集，筛选多组训练样本，并基于筛选出的训练样本，训练原始特征提取模型，得到目标特征提取模型；
[0010]其中，第一匹配度集用于表征多组检验样本中的每个检验图像与每个检验文本之间的匹配度，第二匹配度集用于表征多组训练样本中的每组训练样本内的训练图像与训练文本之间的匹配度。
[0011]根据本专利技术的另一方面，提供了一种物品匹配方法，可以包括：
[0012]获取待匹配物品的待匹配信息，以及，按照本专利技术任意实施例提供的模型训练方法训练得到的目标特征提取模型；
[0013]将待匹配信息输入到目标特征提取模型，得到待匹配特征，其中，待匹配特征包括待匹配图像特征和/或待匹配文本特征；
[0014]将待匹配特征，分别与至少一个候选物品的候选特征进行匹配，以从至少一个候选物品中确定与待匹配物品匹配的目标物品，其中，候选特征包括候选图像特征和/或候选文本特征。
[0015]根据本专利技术的另一方面，提供了一种模型训练装置，可以包括：
[0016]粗训练模块，用于将训练物品的训练图像和训练文本，作为一组训练样本，并基于得到的多组训练样本训练原始特征提取模型，得到中间特征提取模型；
[0017]第一输入模块，用于将检验物品的检验图像和检验文本作为一组检验样本，并将
得到的多组检验样本输入中间特征提取模型，以得到第一匹配度集；
[0018]第二输入模块，用于将多组训练样本输入中间特征提取模型，以得到第二匹配度集；
[0019]精训练模块，用于基于第一匹配度集和第二匹配度集，筛选多组训练样本，并基于筛选出的训练样本，训练原始特征提取模型，得到目标特征提取模型；
[0020]其中，第一匹配度集用于表征多组检验样本中的每个检验图像与每个检验文本之间的匹配度，第二匹配度集用于表征多组训练样本中的每组训练样本内的训练图像与训练文本之间的匹配度。
[0021]根据本专利技术的另一方面，提供了一种物品匹配装置，可以包括：
[0022]模型获取模块，用于获取待匹配物品的待匹配信息，及，按照本专利技术任意实施例提供的模型训练方法训练得到的目标特征提取模型；
[0023]模型应用模块，用于将待匹配信息输入到目标特征提取模型，得到待匹配特征，其中，待匹配特征包括待匹配图像特征和/或待匹配文本特征；
[0024]物品匹配模块，用于将待匹配特征，分别与至少一个候选物品的候选特征进行匹配，以从至少一个候选物品中确定出与待匹配物品匹配的目标物品，其中，候选特征包括候选图像特征和/或候选文本特征。
[0025]根据本专利技术的另一方面，提供了一种电子设备，可以包括：
[0026]至少一个处理器；以及
[0027]与至少一个处理器通信连接的存储器；其中，
[0028]存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行时实现本专利技术任意实施例所提供的模型训练方法或是物品匹配方法。
[0029]根据本专利技术的另一方面，提供了一种计算机可读存储介质，其上存储有计算机指令，该计算机指令用于使处理器执行时实现本专利技术任意实施例所提供的模型训练方法或是物品匹配方法。
[0030]本专利技术实施例的技术方案，通过将训练物品的训练图像和训练文本，作为一组训练样本，并基于得到的多组训练样本训练原始特征提取模型，得到中间特征提取模型；然后，将检验物品的检验图像和检验文本，作为一组检验样本，并将得到的多组检验样本输入中间特征提取模型，以得到第一匹配度集；以及，将多组训练样本输入中间特征提取模型，以得到第二匹配度集；进一步，基于第一匹配度集和第二匹配度集，筛选多组训练样本，并基于筛选出的训练样本，训练原始特征提取模型，得到最终在物品匹配过程中应用的目标特征提取模型。上述技术方案，通过粗精两轮训练以及自动筛选高质量的训练样本的相互配合，可以有效避免低质量的训练样本对于模型效果的影响，由此提高了物品表征的有效性，进而保证了后续应用模型进行物品匹配时的精准度。
[0031]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或是重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0032]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1是根据本专利技术实施例提供的一种模型训练方法的流程图；
[0034]图2是根据本专利技术实施例提供的另一种模型训练方法的流程图；
[0035]图3是根据本专利技术实施例提供的另一种模型训练方法的流程图；
[0036]图4是根据本专利技术实施例提供的另一种模型训练方法中的模型训练示例的示意图；
[0037]图5是根据本专利技术实施例提供的一种物品匹配方法的流程图；
[0038]图6是根据本专利技术实施例提供的一种物品匹配方法中模型应用示例的示意图；
[0039]图7是根据本专利技术实施例提供的一种模型训练装置的结构框图；
[0040]图8是根据本专利技术实施例提供的一种物品匹配装置的结构框图；
[0041]图9是实现本专利技术实施例的模型训练方法或是物品匹配方法的电子设备的结构示意图。
具体实施方式
[0042]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：将训练物品的训练图像和训练文本，作为一组训练样本，并基于得到的多组训练样本训练原始特征提取模型，得到中间特征提取模型；将检验物品的检验图像和检验文本，作为一组检验样本，并将得到的多组检验样本输入所述中间特征提取模型，以得到第一匹配度集；将所述多组训练样本输入所述中间特征提取模型，以得到第二匹配度集；基于所述第一匹配度集和所述第二匹配度集，筛选所述多组训练样本，并基于筛选出的训练样本，训练所述原始特征提取模型，得到目标特征提取模型；其中，所述第一匹配度集用于表征所述多组检验样本中的每个检验图像与每个检验文本之间的匹配度，所述第二匹配度集用于表征所述多组训练样本中的每组训练样本内的训练图像与训练文本之间的匹配度。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一匹配度集和所述第二匹配度集，筛选所述多组训练样本，包括：基于所述第一匹配度集中的各个第一匹配度，确定匹配度筛选门限；基于所述匹配度筛选门限，及，所述第二匹配度集中与所述每组训练样本分别对应的第二匹配度，对所述多组训练样本进行筛选。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一匹配度集中的各个第一匹配度，确定匹配度筛选门限，包括：针对所述第一匹配度集中的每个第一匹配度，得到所述第一匹配度对应的匹配真值，其中，所述匹配真值用于表征所述第一匹配度对应的检验图像表征的检验物品，与，检验文本表征的检验物品之间的相同性；根据所述第一匹配度集中的各个第一匹配度，以及，所述第一匹配度集中的各个第一匹配度分别对应的匹配真值，得到匹配度筛选门限。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一匹配度集中的各个第一匹配度，以及，所述第一匹配度集中的各个第一匹配度分别对应的匹配真值，得到匹配度筛选门限，包括：对所述第一匹配度集中的各个第一匹配度进行排序，得到排序结果；基于所述排序结果中的各个第一匹配度分别所对应的匹配真值，计算所述排序结果中的各个第一匹配度分别对应的累计准确率；基于预先设置的累计准确率阈值及所述累计准确率，从所述排序结果中的各个第一匹配度中得到匹配度筛选门限。5.根据权利要求2所述的方法，其特征在于，基于所述匹配度筛选门限，及，所述第二匹配度集中与所述每组训练样本分别对应的第二匹配度，对所述多组训练样本进行筛选，包括：针对所述第二匹配度集中与所述每组训练样本分别对应的第二匹配度，在所述第二匹配度大于所述匹配度筛选门限的情况下，保留所述训练样本，以实现所述多组训练样本的筛选过程。6.根据权利要求1所述的方法，其特征在于，所述原始特征提取模型包括原始图像特征提取网络和原始文本特征提取网络，所述基于得到的多组训练样本训练原始特征提取模
型，得到中间特征提取模型，包括：将得到的多组训练样本中的各个训练图像输入所述原始图像特征提取网络，以及，各个训练文本输入所述原始文本特征提取网络；利用对比学习损失，对所述原始图像特征提取网络的输出结果，及，所述原始文本特征提取网络的输出结果进行损失计算，并根据得到的损失计算结果调整所述原始特征提取模型中的网络参数，以得到中间特征提取模型。7.根据权利要求6所述的方法，其特征在于，所述中间特征提取模型包括中间图像特征提取网络和中间文本特征提取网络，所述将得到的多组检验样本输入所述中间特征提取模型，以得到第一匹配度集，包括：针对得到的多组检验样本中的每个检验图像，将所述检验图像输入到所述中间图像特征提取网络，得到检验图像特征；针对所述多组检验样本中的每个检验文...

【专利技术属性】
技术研发人员：张立平，单新媛，王秋霖，曹俊豪，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：