图像描述语句生成模块的训练方法及装置、电子设备制造方法及图纸

一种图像描述语句生成模块的训练方法及装置、电子设备，该方法包括：获取第一样本图像及其第一描述语句，并将第一样本图像输入预先训练的预测模块中进行标签识别，得到至少一个第一特征标签及其第一概率向量。获取第一特征标签的标签向量，并根据第一特征标签的标签向量和第一概率向量，生成第一特征标签的特征信息。最后，根据特征信息和第一描述语句对生成式模型进行训练，得到语句生成模块，既引入对特征标签的重要性分析，又基于特征信息的可导性实现误差量的梯度反传，达到更优训练效果，提升图像描述的准确性。提升图像描述的准确性。提升图像描述的准确性。

【技术实现步骤摘要】
图像描述语句生成模块的训练方法及装置、电子设备


[0001]本申请涉及人工智能
，具体涉及一种图像描述语句生成模块的训练方法及装置、电子设备。

技术介绍

[0002]图像描述(Image Caption)，即根据图像内容生成用于描述图像的自然语言语句，可广泛应用于看图说话等教育场景中。目前的图像描述方式大多是通过imagenet等图像特征提取模型从图像中提取图像特征，再将图像特征输入到循环神经网络中进行解码，得到目标描述语句序列。然而，实践中发现，图像特征中通常会包含噪声数据，比如与图像主题不相干的信息、半张人脸或杂乱背景等，这些噪声数据增加了现有方式中特征解码的不确定性，降低了图像描述的准确度。

技术实现思路

[0003]本申请提供一种图像描述语句生成模块的训练方法及装置、电子设备，其主要目的在于提升图像描述语句生成的准确性。
[0004]为实现上述目的，本申请实施例提供了一种图像描述语句生成模块的训练方法，所述方法包括：
[0005]获取第一样本图像和所述第一样本图像的第一描述语句；
[0006本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像描述语句生成模块的训练方法，其特征在于，所述方法包括：获取第一样本图像和所述第一样本图像的第一描述语句；将所述第一样本图像输入预先训练的预测模块中进行标签识别，得到至少一个第一特征标签以及所述第一特征标签对应的第一概率向量；获取所述第一特征标签的标签向量，并根据所述第一特征标签的标签向量和所述第一概率向量，生成所述第一特征标签的特征信息；根据所述特征信息和所述第一描述语句对生成式模型进行训练，得到语句生成模块。2.根据权利要求1所述的方法，其特征在于，所述根据所述特征信息和所述第一描述语句对生成式模型进行训练，得到语句生成模块之后，所述方法还包括：获取目标图像，并将所述目标图像输入所述预测模块中进行标签识别，得到所述目标图像的标签信息；将所述标签信息输入所述语句生成模块，得到所述目标图像的目标描述语句。3.根据权利要求2所述的方法，其特征在于，所述语句生成模块包括第一生成模块和第二生成模块，所述标签信息包括至少一个目标标签；所述将所述标签信息输入所述语句生成模块，得到所述目标图像的目标描述语句，包括：将所述至少一个目标标签输入所述第一生成模块，得到所述目标标签对应的语句位置信息，所述语句位置信息用于表示所述目标标签在语句中的位置；根据至少一个所述目标标签和所述目标标签对应的语句位置信息，生成标签序列；将所述标签序列输入所述第二生成模块，得到所述目标图像的目标描述语句。4.根据权利要求2所述的方法，其特征在于，所述将所述目标图像输入所述预测模块中进行标签识别，得到所述目标图像的标签信息，包括：将所述目标图像输入所述预测模块，得到输出矩阵，所述输出矩阵包括至少一个第二特征标签以及所述第二特征标签对应的第二概率向量；根据目标函数和至少一个所述第二概率向量，计算所述第二概率向量的求和值，并取求和值最大的k个第二概率向量为目标概率向量，k为正整数；根据所述目标概率向量对应的第二特征标签，确定k个目标标签；其中，所述目标函数满足：其中，i和j均为正整数，Y
ij
为所述输出矩阵中第i个第二概率向量的第j项向量数据，f为求和函数，Si为第i个第二概率向量的求和值。5.根据权利要求1至4任一项所述的方法，其特征在于，所述预测模块的训练步骤包括：获取多个样本数据，所述样本数据包括第二样...

【专利技术属性】
技术研发人员：舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：