场景布局预测网络的训练方法及场景布局的估计方法技术

本公开关于一种场景布局预测网络的训练方法及场景布局的估计方法，训练方法包括：获取多个样本组，每个样本组包括样本文本及样本文本对应的目标场景布局信息，目标场景布局信息包括样本文本中目标对象的标注类别信息、及目标对象的标注尺寸信息及标注位置信息；对每个样本组中的样本文本进行词向量转换处理，得到样本文本对应的样本词向量序列；通过初始场景布局预测网络对样本词向量序列进行场景布局预测处理，得到样本文本的预测场景布局信息；根据样本文本的预测场景布局信息和对应的目标场景布局信息的差异，确定初始场景布局预测网络的损失值；根据初始场景布局预测网络的损失值，训练初始场景布局预测网络，得到场景布局预测网络。本公开可以提高空间布局预测效率。率。率。

【技术实现步骤摘要】
场景布局预测网络的训练方法及场景布局的估计方法


[0001]本公开涉及自然语言处理
，尤其涉及一种场景布局预测网络的训练方法及场景布局的估计方法。

技术介绍

[0002]随着计算机视觉和自然语言处理技术的发展，目前可以实现基于自然语言生成对应的图像，但直接基于自然语言生成图像的任务难度较大。空间布局是对图像的抽象表达，它有利于拉近语言与图像之间的分布差异，可以降低直接从自然语言生成图像的任务难度，因此，将自然语言的语言空间关系解码为二维的空间布局具有重要的意义。
[0003]相关技术中，用户预先对待处理文本进行处理，获取待处理文本中涉及的实体的素材，并对素材的尺寸进行人工调整后，将待处理文本及素材输入预训练的布局预测网络中，可以得到包括各素材的位置和朝向的空间布局信息。
[0004]然而上述方式中，需要用户能够先理解待处理文本、并找出对应尺寸的素材方可获取对应的空间布局信息，无法实现从文本到空间位置的完全自动化处理，空间布局预测效率较低。

技术实现思路

[0005]本公开提供一种场景布局预测网络的训练方法及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景布局预测网络的训练方法，其特征在于，包括：获取多个样本组，每个所述样本组包括样本文本及所述样本文本对应的目标场景布局信息，所述目标场景布局信息包括所述样本文本中目标对象的标注类别信息、及所述目标对象的标注尺寸信息及标注位置信息；对每个所述样本组中的所述样本文本进行词向量转换处理，得到所述样本文本对应的样本词向量序列；通过初始场景布局预测网络对所述样本词向量序列进行场景布局预测处理，得到所述样本文本的预测场景布局信息，所述预测场景布局信息包括所述样本文本中目标对象的预测类别信息、所述目标对象的预测尺寸信息及预测位置信息；根据所述样本文本的预测场景布局信息和对应的所述目标场景布局信息的差异，确定所述初始场景布局预测网络的损失值；根据所述初始场景布局预测网络的损失值，训练所述初始场景布局预测网络，得到场景布局预测网络。2.根据权利要求1所述的方法，其特征在于，所述对每个所述样本组中的所述样本文本进行词向量转换处理，得到所述样本文本对应的样本词向量序列，包括：对所述样本文本进行词向量转换处理，得到所述样本文本对应的初始词向量序列；根据所述初始词向量序列及所述样本文本中各分词对应的位置索引，得到所述样本文本对应的样本词向量序列。3.根据权利要求2所述的方法，其特征在于，所述对所述样本文本进行词向量转换处理，得到所述样本文本对应的初始词向量序列，包括：对所述样本文本进行分句处理，得到所述样本文本中的各样本语句；针对任一所述样本语句，对所述样本语句进行词向量转换处理，得到所述样本语句对应的词向量序列；根据各所述样本语句对应的词向量序列，得到所述样本文本对应的初始词向量序列，所述初始词向量序列中起始位置设置有用于表示分类任务的分类标识，任意两个所述样本语句的词向量序列之间设置有分隔标识。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述初始场景布局预测网络包括基于变压器transformer的编码器及基于transformer的解码器，所述通过初始场景布局预测网络对所述样本词向量序列进行场景布局预测处理，得到所述样本文本的预测场景布局信息，包括：通过所述编码器对所述样本词向量序列进行编码处理，得到所述样本词向量序列的语义特征；通过所述解码器对所述语义特征进行解码处理，得到所述样本文本的预测场景布局信息。5.一种场景布局的估计方法，其特征在于，所述方法包括：对待处理文本进行词向量转换处理，得到所述待处理文本对应的词向量序列；通过场景布局预测网络对所...

【专利技术属性】
技术研发人员：李志航，刘锦龙，王华彦，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：