文本生成图像的方法及装置制造方法及图纸

本发明专利技术提供一种文本生成图像的方法及装置，该方法包括：确定输入的第一文本描述中的各概念在文本生成图像模型生成的图像中对应的预测位置框，所述文本生成图像模型根据第二噪声图像、第二文本描述和输入的参考图像，基于文本反转方法训练得到，所述第一文本描述和所述第二文本描述中包括目标概念，所述参考图像包括所述目标概念的对象；将第一噪声图像和第一文本描述输入文本生成图像模型，根据文本生成图像模型对第一噪声图像每次去噪后的图像确定各概念的注意力图，根据各概念的注意力图在各概念对应的预测位置框上的聚集损失对去噪后的图像进行再次去噪，直到满足预设条件。本发明专利技术实现生成图像中不丢失其他概念的对象。

【技术实现步骤摘要】

本专利技术涉及图像生成，尤其涉及一种文本生成图像的方法及装置。

技术介绍

1、文本生成图像模型可根据给定的文本描述对噪声图像进行去噪，得到所需图像。然而文本生成图像模型通常在大规模数据集上训练获得，为文本描述中的概念生成的对象的外观是随机的，无法生成用户所需的特定外观的对象。

2、目前，文本反转(textual inversion)方法可基于用户提供的特定对象的少量样本图像对文本生成图像模型中的词嵌入模块进行训练，生成包含样本图像中特定对象的图像。文本描述中除了特定对象的概念，还可能包含其他概念，使得训练后的词嵌入模块将其他概念反转，无法生成其他概念的对象，导致生成的图像中丢失其他概念的对象。

技术实现思路

1、本专利技术提供一种文本生成图像的方法及装置，用以解决现有技术中在使用文本反转方法生成包含特定对象的图像时，生成的图像中丢失其他概念的对象的缺陷，实现生成的图像中不丢失其他概念的对象。

2、本专利技术提供一种文本生成图像的方法，包括：

3、确定输入的第一文本描述中的各本文档来自技高网...

【技术保护点】

1.一种文本生成图像的方法，其特征在于，包括：

2.根据权利要求1所述的文本生成图像的方法，其特征在于，所述确定输入的第一文本描述中的各概念在所述文本生成图像模型生成的图像中对应的预测位置框，包括：

3.根据权利要求1所述的文本生成图像的方法，其特征在于，所述将第一噪声图像和所述第一文本描述输入所述文本生成图像模型，根据所述文本生成图像模型对所述第一噪声图像每次去噪后的图像确定所述各概念的注意力图，根据所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失对所述去噪后的图像进行再次去噪，直到满足预设条件，包括：

4.根据权利要求3所述的文本生成图...

【技术特征摘要】

1.一种文本生成图像的方法，其特征在于，包括：

2.根据权利要求1所述的文本生成图像的方法，其特征在于，所述确定输入的第一文本描述中的各概念在所述文本生成图像模型生成的图像中对应的预测位置框，包括：

3.根据权利要求1所述的文本生成图像的方法，其特征在于，所述将第一噪声图像和所述第一文本描述输入所述文本生成图像模型，根据所述文本生成图像模型对所述第一噪声图像每次去噪后的图像确定所述各概念的注意力图，根据所述各概念的注意力图在所述各概念对应的预测位置框上的聚集损失对所述去噪后的图像进行再次去噪，直到满足预设条件，包括：

4.根据权利要求3所述的文本生成图像的方法，其特征在于，所述根据所述去噪后的图像和所述各概念的语义特征确定所述各概念的注意力图，包括：

5.根据权利要求3所述的文本生成图像的方法，其特征在于，所述确定所述各概念的注意力图在所...

【专利技术属性】
技术研发人员：张兆翔，雷震，张栩禄，吴锦林，王玉玺，
申请(专利权)人：中国科学院香港创新研究院人工智能与机器人创新中心有限公司，
类型：发明
国别省市：