图像生成模型的训练方法、图像生成方法和装置制造方法及图纸

本公开提供了一种图像生成模型的训练方法、图像生成方法和装置，涉及人工智能技术领域，尤其涉及自然语言处理、深度学习、计算机视觉技术领域。具体实现方案为：获取训练数据；其中，训练数据包括设置有词性标注信息的样本文本，以及样本文本对应的样本图像；在图像生成模型中，根据设置有词性标注信息的样本文本，确定图像生成模型输出的预测图像；根据预测图像以及样本文本对应的样本图像，对图像生成模型进行训练。由此，根据设置有词性标注信息的样本文本，确定图像生成模型输出的预测图像，根据预测图像以及样本图像，训练图像生成模型，提高训练得到的图像生成模型的准确度。提高训练得到的图像生成模型的准确度。提高训练得到的图像生成模型的准确度。

【技术实现步骤摘要】
图像生成模型的训练方法、图像生成方法和装置


[0001]本公开涉及人工智能
，尤其涉及自然语言处理、深度学习、计算机视觉
，尤其涉及一种图像生成模型的训练方法、图像生成方法和装置。

技术介绍

[0002]目前，根据文本合成图像的方案为，图像生成模型基于提供的文本，对文本进行语义理解，得到语义表示；结合语义表示，生成文本对应的图像。
[0003]上述方案中，针对复杂乃至反事实的文本描述，例如“黑色的苹果”等，图像生成模型学习的较少，有很大可能会生成绿色苹果图像，导致生成的图像不符合文本的描述，准确度低。

技术实现思路

[0004]本公开提供了一种图像生成模型的训练方法、图像生成方法和装置。
[0005]根据本公开的一方面，提供了一种图像生成模型的训练方法，包括：获取训练数据；其中，所述训练数据包括设置有词性标注信息的样本文本，以及所述样本文本对应的样本图像；在图像生成模型中，根据设置有词性标注信息的样本文本，确定所述图像生成模型输出的预测图像；根据所述预测图像以及所述样本文本对应的样本图像，对所述图像生本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成模型的训练方法，包括：获取训练数据；其中，所述训练数据包括设置有词性标注信息的样本文本，以及所述样本文本对应的样本图像；在图像生成模型中，根据设置有词性标注信息的样本文本，确定所述图像生成模型输出的预测图像；根据所述预测图像以及所述样本文本对应的样本图像，对所述图像生成模型进行训练。2.根据权利要求1所述的方法，其中，所述在图像生成模型中，根据设置有词性标注信息的样本文本，确定所述图像生成模型输出的预测图像，包括：在图像生成模型的第i个图像生成层中，根据第i－1个图像生成层的输出图像以及所述样本文本，确定所述第i个图像生成层的输出图像；其中，i为大于1且小于或者等于N的正整数，所述N为所述图像生成网络中图像生成层的层数；对所述i进行加1处理，并重复确定第i个图像生成层的输出图像的步骤，直至获取到第N个图像生成层的输出图像；将所述第N个图像生成层的输出图像，作为所述图像生成模型输出的所述预测图像。3.根据权利要求2所述的方法，其中，所述在图像生成模型的第i个图像生成层中，根据第i－1个图像生成层的输出图像以及所述样本文本，确定所述第i个图像生成层的输出图像，包括：确定所述样本文本中各个文本字符的语义表示向量；在图像生成模型的第i个图像生成层中，根据第i－1个图像生成层的输出图像中各个像素点的像素值、所述样本文本中各个文本字符的语义表示向量以及所述词性标注信息，确定第i个图像生成层的权重矩阵；根据第i个图像生成层的权重矩阵以及所述样本文本中各个文本字符的语义表示向量，确定所述第i个图像生成层的输出图像。4.根据权利要求3所述的方法，其中，所述权重矩阵包括：第i－1个图像生成层的输出图像中像素点上各个所述文本字符的权重；所述在图像生成模型的第i个图像生成层中，根据第i－1个图像生成层的输出图像中各个像素点的像素值、所述样本文本中各个文本字符的语义表示向量以及所述词性标注信息，确定第i个图像生成层的权重矩阵，包括：在图像生成模型的第i个图像生成层中，根据第i－1个图像生成层的输出图像中各个像素点的像素值、所述样本文本中各个文本字符的语义表示向量，确定第i个图像生成层的初始权重矩阵；根据所述词性标注信息，对所述初始权重矩阵中像素点上标记有词性的文本字符的权重进行调整处理，得到第i个图像生成层的权重矩阵。5.根据权利要求4所述的方法，其中，所述根据所述词性标注信息，对所述初始权重矩阵中像素点上标记有词性的文本字符的权重进行调整处理，得到第i个图像生成层的权重矩阵，包括：根据所述词性标注信息，确定所述样本文本中标记有词性的文本字符；针对第i－1个图像生成层的输出图像中的像素点，针对所述样本文本中标记有词性的
每个文本字符，对所述像素点上所述文本字符的权重进行加预设值处理。6.根据权利要求4所述的方法，其中，所述根据所述词性标注信息，对所述初始权重矩阵中像素点上标记有词性的文本字符的权重进行调整处理，得到第i个图像生成层的权重矩阵，包括：根据所述词性标注信息，确定所述样本文本中标记有词性的文本字符；获取所述第i个图像生成层中指定神经网络参数的数值，其中，所述指定神经网络参数的数值可自动学习；针对第i－1个图像生成层的输出图像中的像素点，针对所述样本文本中标记有词性的每个文本字符，对所述像素点上所述文本字符的权重进行加所述数值处理。7.根据权利要求2所述的方法，其中，所述方法还包括：在所述图像生成模型的第1个图像生成层中，根据随机图像以及所述样本文本，确定第2个图像生成层的输出图像。8.根据权利要求1所述的方法，其中，所述获取训练数据，包括：获取多个原始样本文本，以及所述原始样本文本对应的样本图像；对所述初始训练数据中的部分原始样本文本进行词性标注处理，得到设置有词性标注信息的样本文本；根据所述设置有词性标注信息的样本文本以及所述样本文本对应的样本图像、所述原始样本文本以及所述原始样本文本对应的样本图像，生成所述训练数据。9.根据权利要求8所述的方法，其中，所述对所述初始训练数据中的部分原始样本文本进行词性标注处理，得到设置有词性标注信息的样本文本，包括：针对所述部分原始样本文本中的每个原始样本文本，确定所述原始样本文本中的词语以及所述词语的词性；对所述原始样本文本中具有指定词性的词语中的各个文本字符进行词性标注处理，得到设置有词性标注信息的样本文本。10.根据权利要求9所述的方法，其中，所述对所述原始样本文本中具有指定词性的词语中的各个文本字符进行词性标注处理，得到设置有词性标注信息的样本文本，包括：针对所述原始样本文本中具有所述指定词性的每个词语，在所述原始样本文本中的所述词语之前插入所述指定词性的标识，得到设置有词性标注信息的样本文本。11.根据权利要求1所述的方法，其中，所述根据所述预测图像以及所述样本文本对应的样本图像，对所述图像生成模型进行训练，包括：根据所述预测图像、所述样本文本对应的样本图像以及所述图像生成模型的损失函数，确定所述损失函数的数值；根据所述损失函数的数值，对所述图像生成模型中的系数进行调整，实现训练。12.一种图像生成方法，包括：获取待处理的文本；将所述文本输入预设的图像生成模型，以获取所述图像生成模型输出的所述文本对应的图像；其中，所述图像生成模型，结合设置有词性标注信息的样本文本以及所述样本文本对应的样本图像训练得到。13.一种图像生成模型的训练装置，包括：
获取模块，用于获取训练数据；其中，所述训练数据包括设置有...

【专利技术属性】
技术研发人员：冯智达，张振宇，余欣彤，李岚欣，方晔玮，陈徐屹，刘佳祥，尹维冲，冯仕堃，孙宇，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：