一种图像生成方法、装置、系统以及存储介质制造方法及图纸

技术编号:42328101 阅读:22 留言:0更新日期:2024-08-14 16:06
本发明专利技术提供一种图像生成方法、装置、系统以及存储介质,属于图像生成技术领域,方法包括:对待处理图像进行映射处理得到原始潜在表示向量;对原始提示词文本进行向量化分析得到原始文本向量组;通过原始提示词文本、原始潜在表示向量以及原始文本向量组对训练模型进行训练得到图像生成模型;通过图像生成模型对待生成提示词文本进行预测得到图像生成结果。本发明专利技术实现了对文本描述中关键属性的精确捕捉和准确映射,提高了生成的图像与文本之间的属性对应关系,提高了图像生成的准确率,在图像生成领域具有重要的实际应用价值。

【技术实现步骤摘要】

本专利技术主要涉及图像生成,具体涉及一种图像生成方法、装置、系统以及存储介质


技术介绍

1、尽管最近的文本到图像扩散模型取得了巨大的进步,已经实现了创建质量、分辨率、真实感和多样性水平不断提高的图像,但文本提示和生成的图像内容之间仍然存在一个主要的一致性问题。当多个对象类别,特别是那些在现实世界中不经常同时出现的对象类别包含在文本提示中时,模型失去了组合能力;对象可能不会出现在图像中,或者它们的配置不美观,这些问题都导致了图像生成结果不理想、图像生成的准确率差以及生成的图像与文本关联性差。


技术实现思路

1、本专利技术所要解决的技术问题是针对现有技术的不足,提供一种图像生成方法、装置、系统以及存储介质。

2、本专利技术解决上述技术问题的技术方案如下:一种图像生成方法,包括如下步骤:

3、导入多个待处理图像以及与各个所述待处理图像对应的原始提示词文本;

4、分别对各个所述待处理图像进行映射处理,得到与各个所述待处理图像对应的原始潜在表示向量;

>5、分别对各个所述本文档来自技高网...

【技术保护点】

1.一种图像生成方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的图像生成方法,其特征在于,所述分别对各个所述待处理图像进行映射处理,得到与各个所述待处理图像对应的原始潜在表示向量的过程包括:

3.根据权利要求1所述的图像生成方法,其特征在于,所述分别对各个所述原始提示词文本进行向量化分析,得到与各个所述提示词文本对应的原始文本向量组的过程包括:

4.根据权利要求3所述的图像生成方法,其特征在于,所述训练模型包括语义对齐模型和扩散模型,

5.根据权利要求4所述的图像生成方法,其特征在于,所述对所有所述原始提示词文本、所有所述文本嵌入...

【技术特征摘要】

1.一种图像生成方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的图像生成方法,其特征在于,所述分别对各个所述待处理图像进行映射处理,得到与各个所述待处理图像对应的原始潜在表示向量的过程包括:

3.根据权利要求1所述的图像生成方法,其特征在于,所述分别对各个所述原始提示词文本进行向量化分析,得到与各个所述提示词文本对应的原始文本向量组的过程包括:

4.根据权利要求3所述的图像生成方法,其特征在于,所述训练模型包括语义对齐模型和扩散模型,

5.根据权利要求4所述的图像生成方法,其特征在于,所述对所有所述原始提示词文本、所有所述文本嵌入向量、所有所述令牌向量、所有所述原始潜在表示向量、所有所述二值分割映射图集合以及所有所...

【专利技术属性】
技术研发人员:蔡晓东黄永森
申请(专利权)人:桂林电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1