模型训练方法、信息生成方法、装置、设备和介质制造方法及图纸

本公开的实施例公开了模型训练方法、信息生成方法、装置、设备和介质。该方法的一具体实施方式包括：获取训练图像数据集；对于每个训练图像数据，执行样本对生成步骤：确定每个剩余图像数据与训练图像数据之间的动态语境相似度；筛选出与训练图像数据之间对应动态语境相似度满足预设相似度条件的图像数据，作为目标图像数据；将目标图像数据和训练图像数据组成正样本图像数据对，将训练图像数据和每个剩余图像数据组成负样本图像数据对，得到负样本图像数据对组；对初始图像与文本语义转换模型进行模型训练，得到图像与文本语义转换模型。该实施方式与人工智能有关，利用图像与文本语义转换模型，可以精准地将图像转换成对应的文本语义信息。本语义信息。本语义信息。

【技术实现步骤摘要】
模型训练方法、信息生成方法、装置、设备和介质


[0001]本公开的实施例涉及计算机
，具体涉及模型训练方法、信息生成方法、装置、设备和介质。

技术介绍

[0002]目前，图像与文本语义转换模型已广泛应用于计算机视觉和自然语言处理的众多下游任务中。对于图像与文本语义转换模型的训练，通常采用的方式为：通过对图像和文本语义的标注，来实现后续针对初始图像与文本语义转换模型的对比学习训练。
[0003]然而，专利技术人发现，当采用上述方式来训练模型，经常会存在如下技术问题：
[0004]现有图像与文本语义转换模型常将图像内容事件不一致的两个图像作为正样本对，导致所学习的样本特征无法区别出图像之间的图像细微差距，使得所训练的图像与文本语义转换模型进行文本语义转换不够精准。
[0005]该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。

技术实现思路

[0006]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0007]本公开的一些实施例提出了模型训练方法、信息生成方法、装置、设备和介质，来解决以上
技术介绍
部分提到的技术问题。
[0008]第一方面，本公开的一些实施例提供了一种模型训练方法，包括：获取训练图像数据集；对于上述训练图像数据集中的每个训练图像数据，执行样本对生成步骤：利用预先训练的动态语境相似度生成模型，确定剩余图像数据集中的每个剩余图像数据与上述训练图像数据之间的动态语境相似度，其中，上述剩余图像数据集为上述训练图像数据集中去除上述训练图像数据后的图像数据集；从上述剩余图像数据集中筛选出与上述训练图像数据之间对应动态语境相似度满足预设相似度条件的图像数据，作为目标图像数据；将上述目标图像数据和上述训练图像数据组成正样本图像数据对，以及将上述训练图像数据和剩余图像数据子集中的每个剩余图像数据组成负样本图像数据对，得到负样本图像数据对组；根据所得到的正样本图像数据对集和负样本图像数据对组集，对初始图像与文本语义转换模型进行模型训练，得到图像与文本语义转换模型。
[0009]可选地，上述动态语境相似度生成模型包括：关联图像表征向量生成模型；以及上述利用预先训练的动态语境相似度生成模型，确定剩余图像数据集中的每个剩余图像数据与上述训练图像数据之间的动态语境相似度，包括：对上述训练图像数据和上述剩余图像数据分别进行数据向量化，得到训练图像向量和剩余图像向量；将上述训练图像向量输入至上述关联图像表征向量生成模型，以输出至少一个第一历史关联图像向量和至少一个第
一未来关联图像向量；将上述剩余图像向量输入至上述关联图像表征向量生成模型，以输出至少一个第二历史关联图像向量和至少一个第二未来关联图像向量；根据上述至少一个第一历史关联图像向量、上述至少一个第一未来关联图像向量、上述至少一个第二历史关联图像向量和上述至少一个第二未来关联图像向量，生成动态语境相似度。
[0010]可选地，上述关联图像表征向量生成模型包括：历史关联图像表征向量生成模型和未来关联图像表征向量生成模型，上述历史关联图像生成模型和上述未来关联图像生成模型之间的语义关联学习参数不同；以及上述将上述训练图像向量输入至上述关联图像表征向量生成模型，以输出至少一个第一历史关联图像向量和至少一个第一未来关联图像向量，包括：将上述训练图像向量输入至上述历史关联图像表征向量生成模型，以生成上述至少一个第一历史关联图像向量；将上述训练图像向量输入至上述未来关联图像表征向量生成模型，以生成上述至少一个第一未来关联图像向量。
[0011]可选地，上述根据上述至少一个第一历史关联图像向量、上述至少一个第一未来关联图像向量、上述至少一个第二历史关联图像向量和上述至少一个第二未来关联图像向量，生成动态语境相似度，包括：对上述至少一个第一历史关联图像向量进行向量加权求和处理，得到第一加权求和向量，以及对上述至少一个第二历史关联图像向量进行向量加权求和处理，得到第二加权求和向量；对上述至少一个第一未来关联图像向量进行向量加权求和处理，得到第三加权求和向量，以及对上述至少一个第二未来关联图像向量进行向量加权求和处理，得到第四加权求和向量；根据上述第一加权求和向量、上述第二加权求和向量、上述第三加权求和向量和第四加权求和向量，生成上述动态语境相似度。
[0012]可选地，上述关联图像表征向量生成模型通过以下步骤训练：获取图像数据组集，其中，图像数据组包括：当前图像数据，针对上述当前图像数据的至少一个历史语义关联图像数据，针对上述当前图像数据的至少一个未来语义关联图像数据；依据每个图像数据组包括的当前图像数据、至少一个历史语义关联图像数据和至少一个未来语义关联图像数据，对图像数据组中的图像数据进行数据搭配，以生成正图像数据组集和负图像数据组集；根据上述正图像数据组集和负图像数据组集，对上述初始关联图像表征向量生成模型中的至少一个初始语义关联学习参数进行参数学习，得到关联图像生成模型，其中，上述关联图像表征向量生成模型包括：学习后的至少一个语义关联学习参数。
[0013]可选地，上述关联图像表征向量生成模型包括：学习后的至少一个语义关联学习参数；以及上述将上述训练图像向量输入至上述关联图像表征向量生成模型，以输出至少一个第一历史关联图像向量和至少一个第一未来关联图像向量，包括：将上述训练图像向量与上述至少一个第一语义关联学习参数对应的至少一个参数转置矩阵进行相乘，得到至少一个第一相乘结果，作为上述至少一个第一历史关联图像向量；将上述训练图像向量与上述至少一个第二语义关联学习参数对应的至少一个参数矩阵进行相乘，得到至少一个第二相乘结果，作为上述至少一个第一未来关联图像向量。
[0014]第二方面，本公开的一些实施例提供了一种模型训练装置，包括：第一获取单元，被配置成获取训练图像数据集；执行单元，被配置成对于上述训练图像数据集中的每个训练图像数据，执行样本对生成步骤：利用预先训练的动态语境相似度生成模型，确定剩余图像数据集中的每个剩余图像数据与上述训练图像数据之间的动态语境相似度，其中，上述剩余图像数据集为上述训练图像数据集中去除上述训练图像数据后的图像数据集；从上述
剩余图像数据集中筛选出与上述训练图像数据之间对应动态语境相似度满足预设相似度条件的图像数据，作为目标图像数据；将上述目标图像数据和上述训练图像数据组成正样本图像数据对，以及将上述训练图像数据和剩余图像数据子集中的每个剩余图像数据组成负样本图像数据对，得到负样本图像数据对组；训练单元，被配置成根据所得到的正样本图像数据对集和负样本图像数据对组集，对初始图像与文本语义转换模型进行模型训练，得到图像与文本语义转换模型。
[0015]可选地，上述动态语境相似度生成模型包括：关联图像表征向量生成模型；以及执行单元可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，包括：获取训练图像数据集；对于所述训练图像数据集中的每个训练图像数据，执行样本对生成步骤：利用预先训练的动态语境相似度生成模型，确定剩余图像数据集中的每个剩余图像数据与所述训练图像数据之间的动态语境相似度，其中，所述剩余图像数据集为所述训练图像数据集中去除所述训练图像数据后的图像数据集；从所述剩余图像数据集中筛选出与所述训练图像数据之间对应动态语境相似度满足预设相似度条件的图像数据，作为目标图像数据；将所述目标图像数据和所述训练图像数据组成正样本图像数据对，以及将所述训练图像数据和剩余图像数据子集中的每个剩余图像数据组成负样本图像数据对，得到负样本图像数据对组；根据所得到的正样本图像数据对集和负样本图像数据对组集，对初始图像与文本语义转换模型进行模型训练，得到图像与文本语义转换模型。2.根据权利要求1所述的方法，其中，所述动态语境相似度生成模型包括：关联图像表征向量生成模型；以及所述利用预先训练的动态语境相似度生成模型，确定剩余图像数据集中的每个剩余图像数据与所述训练图像数据之间的动态语境相似度，包括：对所述训练图像数据和所述剩余图像数据分别进行数据向量化，得到训练图像向量和剩余图像向量；将所述训练图像向量输入至所述关联图像表征向量生成模型，以输出至少一个第一历史关联图像向量和至少一个第一未来关联图像向量；将所述剩余图像向量输入至所述关联图像表征向量生成模型，以输出至少一个第二历史关联图像向量和至少一个第二未来关联图像向量；根据所述至少一个第一历史关联图像向量、所述至少一个第一未来关联图像向量、所述至少一个第二历史关联图像向量和所述至少一个第二未来关联图像向量，生成动态语境相似度。3.根据权利要求2所述的方法，其中，所述关联图像表征向量生成模型包括：历史关联图像表征向量生成模型和未来关联图像表征向量生成模型，所述历史关联图像生成模型和所述未来关联图像生成模型之间的语义关联学习参数不同；以及所述将所述训练图像向量输入至所述关联图像表征向量生成模型，以输出至少一个第一历史关联图像向量和至少一个第一未来关联图像向量，包括：将所述训练图像向量输入至所述历史关联图像表征向量生成模型，以生成所述至少一个第一历史关联图像向量；将所述训练图像向量输入至所述未来关联图像表征向量生成模型，以生成所述至少一个第一未来关联图像向量。4.根据权利要求2所述的方法，其中，所述根据所述至少一个第一历史关联图像向量、所述至少一个第一未来关联图像向量、所述至少一个第二历史关联图像向量和所述至少一个第二未来关联图像向量，生成动态语境相似度，包括：对所述至少一个第一历史关联图像向量进行向量加权求和处理，得到第一加权求和向
量，以及对所述至少一个第二历史关联图像向量进行向量加权求和处理，得到第二加权求和向量；对所述至少一个第一未来关联图像向量进行向量加权求和处理，得到第三加权求和向量，以及对所述至少一个第二未来关联图像向量进行向量加权求和处理，得到第四加权求和向量；根据所述第一加权求和向量、所述第二加权求和向量、所述第三加权求和向量和第四加权求和向量，生成所述动态语境相似度。5.根据权利要求2所述的方法，其中，所述关联图像表征向量生成模型包括：学习后的至少一个语义关联学习参数；以及所述将所述训练图像向量输入至所述关联图像表征向量生成模型，以...

【专利技术属性】
技术研发人员：白亚龙，倪锦鸿，张炜，梅涛，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：