System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像生成方法以及图像生成的数据处理方法技术_技高网

图像生成方法以及图像生成的数据处理方法技术

技术编号:40100864 阅读:6 留言:0更新日期:2024-01-23 17:40
本说明书实施例提供图像生成方法以及图像生成的数据处理方法,其中所述图像生成方法包括:获取图像生成任务的初始提示文本;将初始提示文本输入语言模型,获得目标提示文本,其中,语言模型基于样本提示对训练得到,训练包括基于语言模型输出的预测提示文本的反馈信息进行强化学习,反馈信息表征预测提示文本预生成参考图像的图像质量;基于目标提示文本,利用图像生成模型执行图像生成任务,获得目标图像。语言模型基于样本提示对,在预生成参考图像的图像质量上进行了提示文本优化的针对性强化学习,对初始提示文本针对性优化,生成了视觉对齐的目标图像,提升了生成图像的图像质量,提升了图像生成效率,降低了图像生成成本。

【技术实现步骤摘要】

本说明书实施例涉及深度学习,特别涉及一种图像生成方法。


技术介绍

1、随着深度学习技术的发展,文本到图像合成(tis,text-to-image synthesis)为代表的图像生成技术,正在多个领域内提升生产效率和生产效果,满足了图像生成的需求。

2、目前,文本到图像合成技术,是基于提示文本(prompt),利用图像生成模型,生成对应的图像。生成图像的图像质量,取决于提示文本的文本内容质量。

3、然而,提示文本是否可以满足图像生成需求,存在极高的不确定性,使得生成图像的图像质量同样存在有极高的不确定性。在实际图像生成场景中,往往由于提示文本未能满足图像生成需求,需要通过反复试错,无明确方向地修改提示文本,重新生成图像,导致大量的时间和计算资源的损耗,生成图像的图像质量不足。因此,亟需一种高效、低成本和高图像质量的图像生成方法。


技术实现思路

1、有鉴于此,本说明书实施例提供了一种图像生成方法。本说明书一个或者多个实施例同时涉及另一种图像生成方法,一种图像生成的数据处理方法,一种图像生成装置,另一种图像生成装置,一种图像生成的数据处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。

2、本说明书实施例提供了一种图像生成方法,包括:

3、获取图像生成任务的初始提示文本;

4、将初始提示文本输入语言模型,获得目标提示文本,其中,语言模型基于样本提示对训练得到,训练包括基于语言模型输出的预测提示文本的反馈信息进行强化学习,反馈信息表征预测提示文本预生成参考图像的图像质量;

5、基于目标提示文本,利用图像生成模型执行图像生成任务,获得目标图像。

6、本说明书一个实施例中,获取图像生成任务的初始提示文本;将初始提示文本输入语言模型,获得目标提示文本,其中,语言模型基于样本提示对训练得到,训练包括基于语言模型输出的预测提示文本的反馈信息进行强化学习,反馈信息表征预测提示文本预生成参考图像的图像质量;基于目标提示文本,利用图像生成模型执行图像生成任务,获得目标图像。语言模型基于样本提示对,在预生成参考图像的图像质量上进行了提示文本优化的针对性强化学习,使得训练得到的语言模型可以对初始提示文本进行预生成参考图像的图像质量上的针对性优化,在视觉层面上对提示文本进行了对齐,生成了视觉对齐的目标图像,提升了生成图像的图像质量,更好地满足了图像生成需求,无需反复试错,无明确方向地修改提示文本,重新生成图像,避免了对时间和计算资源的大量损耗,提升了图像生成效率,降低了图像生成成本。

本文档来自技高网...

【技术保护点】

1.一种图像生成方法,包括:

2.根据权利要求1所述的方法,在所述将所述初始提示文本输入语言模型,获得目标提示文本之前,还包括:

3.根据权利要求2所述的方法,所述基于所述目标预测提示文本的反馈信息,对所述语言模型进行强化学习,获得强化学习后的所述语言模型,包括:

4.根据权利要求2或3所述的方法,在所述对所述目标预测提示文本预生成参考图像的图像质量进行评估,获得所述目标预测提示文本的反馈信息之前,还包括:

5.根据权利要求4所述的方法,所述图像质量包括用户偏好维度和图像美学维度;

6.根据权利要求2所述的方法,在所述将所述目标样本提示文本输入语言模型,获得目标预测提示文本之前,还包括:

7.根据权利要求6所述的方法,所述获取训练样本集,包括:

8.根据权利要求7所述的方法,针对文本内容量高于预设阈值的任一样本提示文本,所述对任一样本提示文本进行文本转换,获得所述任一样本提示文本对应的参考样本提示文本,包括:

9.根据权利要求7所述的方法,针对文本内容量低于预设阈值的任一样本提示文本,所述对任一样本提示文本进行文本转换,获得所述任一样本提示文本对应的参考样本提示文本,包括:

10.一种图像生成方法,应用于云侧设备,包括:

11.根据权利要求10所述的方法,在所述将所述目标图像反馈至所述前端之后,还包括:

12.一种图像生成的数据处理方法,应用于云侧设备,包括:

13.一种计算设备,包括:

14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。

...

【技术特征摘要】

1.一种图像生成方法,包括:

2.根据权利要求1所述的方法,在所述将所述初始提示文本输入语言模型,获得目标提示文本之前,还包括:

3.根据权利要求2所述的方法,所述基于所述目标预测提示文本的反馈信息,对所述语言模型进行强化学习,获得强化学习后的所述语言模型,包括:

4.根据权利要求2或3所述的方法,在所述对所述目标预测提示文本预生成参考图像的图像质量进行评估,获得所述目标预测提示文本的反馈信息之前,还包括:

5.根据权利要求4所述的方法,所述图像质量包括用户偏好维度和图像美学维度;

6.根据权利要求2所述的方法,在所述将所述目标样本提示文本输入语言模型,获得目标预测提示文本之前,还包括:

7.根据权利要求6所述的方法,所述获取训练样本集,包括:

8.根据权...

【专利技术属性】
技术研发人员:汪诚愚曹庭锋朱金辉
申请(专利权)人:杭州阿里云飞天信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1