System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像生成、自动问答以及参数生成模型训练方法技术_技高网

图像生成、自动问答以及参数生成模型训练方法技术

技术编号:40954274 阅读:6 留言:0更新日期:2024-04-18 20:30
本说明书实施例提供图像生成、自动问答以及参数生成模型训练方法,其中所述图像生成方法包括:获取图像描述文本;将图像描述文本和生成提示信息输入参数生成模型,获得图像描述文本对应的图像生成参数,其中,图像生成参数用于描述图像的视觉特征,参数生成模型基于多个样本图像文本对和多个样本图像文本对携带的样本参数信息训练得到;将图像生成参数和图像描述文本输入图像生成模型,获得图像描述文本对应的目标图像。通过利用参数生成模型对图像的视觉元素进行语义拆解,获得图像生成参数,进一步基于图像生成参数完成精准的图像生成,使得目标图像可以清晰地表达图像描述文本和图像生成参数,提高了图像生成的可解释性和可控性。

【技术实现步骤摘要】

本说明书实施例涉及计算机,特别涉及图像生成、自动问答以及参数生成模型训练方法


技术介绍

1、随着计算机技术的发展,文生图技术逐渐成为人工智能生成领域(aigc,aigenerated content)的核心技术。文生图技术可以通过文本描述来生成图像,并且能够根据用户的要求和输入内容进行变换和调整,从而使用户更轻松地创作出具有独特风格的艺术作品,并在数字艺术领域中得到了广泛的应用。

2、目前,常见的文生图架构是隐空间扩散模型(hsdm,hidden space diffusionmodel),然而,由于隐空间扩散模型是在隐藏空间中进行操作的,导致生成过程难以理解、生成图像与用户最初输入的文本差异较大,因此,亟需一种可解释性高、且准确的图像生成方法。


技术实现思路

1、有鉴于此,本说明书实施例提供了一种图像生成方法。本说明书一个或者多个实施例同时涉及一种自动问答方法,一种参数生成模型训练方法,一种图像生成装置,一种自动问答装置,一种参数生成模型训练装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面,提供了一种图像生成方法,包括:

3、获取图像描述文本;

4、将图像描述文本和生成提示信息输入参数生成模型,获得图像描述文本对应的图像生成参数,其中,图像生成参数用于描述图像的视觉特征,参数生成模型基于多个样本图像文本对和多个样本图像文本对携带的样本参数信息训练得到;

5、将图像生成参数和图像描述文本输入图像生成模型,获得图像描述文本对应的目标图像。

6、根据本说明书实施例的第二方面,提供了一种参数生成模型训练方法,应用于云侧设备,包括:

7、获取样本集,其中,样本集包括多个样本图像文本对,样本图像文本对包括样本图像和样本描述文本,样本图像文本对携带样本参数信息;

8、将多个样本图像文本对和预测提示信息输入预训练语言模型,获得多个样本图像文本对分别对应的图像预测参数;

9、根据图像预测参数和样本参数信息,调整预训练语言模型的模型参数,获得完成训练的参数生成模型。

10、根据本说明书实施例的第三方面,提供了一种自动问答方法,包括:

11、接收图像问答请求,其中,图像问答请求携带图像描述文本;

12、将图像描述文本和生成提示信息输入参数生成模型,获得图像描述文本对应的图像生成参数,其中,图像生成参数用于描述图像的视觉特征,参数生成模型基于多个样本图像文本对和多个样本图像文本对携带的样本参数信息训练得到;

13、将图像生成参数和图像描述文本输入图像生成模型,获得图像问答请求对应的答复图像。

14、根据本说明书实施例的第四方面,提供了一种图像生成装置,包括:

15、第一获取模块,被配置为获取图像描述文本;

16、第一输入模块,被配置为将图像描述文本和生成提示信息输入参数生成模型,获得图像描述文本对应的图像生成参数,其中,图像生成参数用于描述图像的视觉特征,参数生成模型基于多个样本图像文本对和多个样本图像文本对携带的样本参数信息训练得到;

17、第二输入模块,被配置为将图像生成参数和图像描述文本输入图像生成模型,获得图像描述文本对应的目标图像。

18、根据本说明书实施例的第五方面,提供了一种参数生成模型训练装置,应用于云侧设备,包括:

19、第二获取模块,被配置为获取样本集,其中,样本集包括多个样本图像文本对,样本图像文本对包括样本图像和样本描述文本,样本图像文本对携带样本参数信息;

20、第三输入模块,被配置为将多个样本图像文本对和预测提示信息输入预训练语言模型,获得多个样本图像文本对分别对应的图像预测参数;

21、调整模块,被配置为根据图像预测参数和样本参数信息,调整预训练语言模型的模型参数,获得完成训练的参数生成模型。

22、根据本说明书实施例的第六方面,提供了一种自动问答装置,包括:

23、第一接收模块,被配置为接收图像问答请求,其中,图像问答请求携带图像描述文本;

24、第四输入模块,被配置为将图像描述文本和生成提示信息输入参数生成模型,获得图像描述文本对应的图像生成参数,其中,图像生成参数用于描述图像的视觉特征,参数生成模型基于多个样本图像文本对和多个样本图像文本对携带的样本参数信息训练得到;

25、第五输入模块,被配置为将图像生成参数和图像描述文本输入图像生成模型,获得图像问答请求对应的答复图像。

26、根据本说明书实施例的第七方面,提供了一种计算设备,包括:

27、存储器和处理器;

28、所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

29、根据本说明书实施例的第八方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

30、根据本说明书实施例的第九方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述第一方面或者第二方面或者第三方面所提供方法的步骤。

31、本说明书一个实施例提供的图像生成方法,获取图像描述文本;将图像描述文本和生成提示信息输入参数生成模型,获得图像描述文本对应的图像生成参数,其中,图像生成参数用于描述图像的视觉特征,参数生成模型基于多个样本图像文本对和多个样本图像文本对携带的样本参数信息训练得到;将图像生成参数和图像描述文本输入图像生成模型,获得图像描述文本对应的目标图像。通过利用参数生成模型对图像的视觉元素进行语义拆解,获得图像生成参数,进一步基于图像生成参数完成精准的图像生成,使得目标图像可以清晰地表达图像描述文本和图像生成参数,提高了图像生成的可解释性和可控性。

本文档来自技高网...

【技术保护点】

1.一种图像生成方法,包括:

2.根据权利要求1所述的方法,所述图像生成模型包括参数编码单元和编解码单元;

3.根据权利要求2所述的方法,所述参数编码单元包括一维参数编码单元、二维参数编码单元和特征聚合单元;

4.根据权利要求1所述的方法,所述将所述图像生成参数和所述图像描述文本输入图像生成模型,获得所述图像描述文本对应的目标图像之后,还包括:

5.根据权利要求4所述的方法,所述将所述掩码生成序列和所述目标图像输入所述图像生成模型,获得更新后的目标图像之后,还包括:

6.根据权利要求5所述的方法,所述将所述目标图像和所述更新后的目标图像发送至客户端之后,还包括:

7.根据权利要求1所述的方法,所述将所述图像生成参数和所述图像描述文本输入图像生成模型,获得所述图像描述文本对应的目标图像之后,还包括:

8.根据权利要求1所述的方法,所述将所述图像描述文本和生成提示信息输入参数生成模型,获得所述图像描述文本对应的图像生成参数之前,还包括:

9.根据权利要求8所述的方法,所述获取样本集,包括:

10.根据权利要求9所述的方法,所述根据所述第一样本图像和所述第一样本描述文本,生成所述第一样本图像的第一样本参数信息,包括:

11.根据权利要求9所述的方法,所述根据所述第一样本图像和所述第一样本描述文本,生成所述第一样本图像的第一样本参数信息之后,还包括:

12.根据权利要求1所述的方法,所述将所述图像生成参数和所述图像描述文本输入图像生成模型,获得所述图像描述文本对应的目标图像之前,还包括:

13.一种参数生成模型训练方法,应用于云侧设备,包括:

14.一种自动问答方法,包括:

15.一种计算设备,包括:

16.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项或者权利要求13或者权利要求14所述方法的步骤。

...

【技术特征摘要】

1.一种图像生成方法,包括:

2.根据权利要求1所述的方法,所述图像生成模型包括参数编码单元和编解码单元;

3.根据权利要求2所述的方法,所述参数编码单元包括一维参数编码单元、二维参数编码单元和特征聚合单元;

4.根据权利要求1所述的方法,所述将所述图像生成参数和所述图像描述文本输入图像生成模型,获得所述图像描述文本对应的目标图像之后,还包括:

5.根据权利要求4所述的方法,所述将所述掩码生成序列和所述目标图像输入所述图像生成模型,获得更新后的目标图像之后,还包括:

6.根据权利要求5所述的方法,所述将所述目标图像和所述更新后的目标图像发送至客户端之后,还包括:

7.根据权利要求1所述的方法,所述将所述图像生成参数和所述图像描述文本输入图像生成模型,获得所述图像描述文本对应的目标图像之后,还包括:

8.根据权利要求1所述的方法,所述将所述图像描述文本和生成提示信息输入参数生成模型,获得所...

【专利技术属性】
技术研发人员:冯玉彤龚镖陈狄沈宇军刘宇周靖人
申请(专利权)人:浙江阿里巴巴机器人有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1