一种模型训练的方法、图像生成的方法及装置制造方法及图纸

技术编号:43297856 阅读:23 留言:0更新日期:2024-11-12 16:15
本说明书公开了一种模型训练的方法、图像生成的方法及装置,具体包括:将原始图像以及文本描述信息输入到待训练的图像生成模型中,使得图像生成模型生成包含有指定对象的目标图像。将文本描述信息输入图像生成模型中,以生成出先验图像,并确定原始图像的标签信息,使图像生成模型根据标签信息,生成重构先验图像。根据目标图像和目标图像的参照数据确定第一偏差,根据先验图像和重构先验图像确定第二偏差。以最小化第一偏差和第二偏差为优化目标,训练图像生成模型。通过本方法可以有效提高图像生成模型在进行图像创作时的扩展能力,同时又完整保护了指定对象特征信息的完整性,极大程度上提高了目标图像中指定对象的保真性。

【技术实现步骤摘要】

本说明书涉及图像处理领域,尤其涉及一种模型训练的方法、图像生成的方法及装置


技术介绍

1、目前,伴随着人工智能领域的飞速发展和进步,文生图技术也越发趋于成熟,其能够凭借对文本数据的理解与转化,高效地创造出丰富且多样的高质量图像。文生图技术正日益普及并广泛应用于众多行业领域之中,例如是创意设计领域、媒体宣传领域、个人信息变更领域等,其在各领域中所带来的实用性和便利性都是无与伦比的。

2、在现阶段的文生图技术中,为了针对某一目标物进行多元化的图像创作,主要会利用带有目标物的实例图片作为参照基础,再施加相应的文本描述,以基于目标物进行多样化的图像生成。但是现阶段的文生图技术在针对目标物进行多样化图像生成时,所生成出的图像的多样性效果较差,无法很好的展现出目标物在不同场景或形态下的实际表现情况。并且通过此种手段所生成出的图像还可能存在对原本实例图像中的目标物进行异化失真的情况,进而对目标物的真实性以及与原示例图像之间的一致性造成负面影响。

3、因此,如何能够针对目标物生成出高保真且多样化的丰富多元图像,则是亟待解决的问题。


...

【技术保护点】

1.一种模型训练的方法,包括:

2.如权利要求1所述的方法,将所述原始图像和所述文本描述信息输入到待训练的图像生成模型中,以使所述图像生成模型基于所述原始图像,生成目标图像,具体包括:

3.如权利要求1所述的方法,确定针对所述目标图像的参照数据,具体包括:

4.如权利要求1所述的方法,根据所述先验图像和所述重构先验图像,确定第二偏差,具体包括:

5.如权利要求4所述的方法,根据所述重构特征数据和所述重构参考数据,确定所述第二偏差,具体包括:

6.一种图像生成方法,包括:

7.一种模型训练的装置,包括:

8...

【技术特征摘要】

1.一种模型训练的方法,包括:

2.如权利要求1所述的方法,将所述原始图像和所述文本描述信息输入到待训练的图像生成模型中,以使所述图像生成模型基于所述原始图像,生成目标图像,具体包括:

3.如权利要求1所述的方法,确定针对所述目标图像的参照数据,具体包括:

4.如权利要求1所述的方法,根据所述先验图像和所述重构先验图像,确定第二偏差,具体包括:

5.如权利要求4所述的方法,根据所述重构特征数据和所述重构参考数据,确定所述第二偏差,具体包括:

6.一种图像生成方法,包括:

7.一种模型训练的装置,包括:

8.如权利要求7所述的装置,所述生成模块具体用于,将所述原始图像和所述文本描述信息输入到所述图像生成模型中,以使所述图像生成模型根据所述原始图像,确定出所述原始图像对应的原始特征数据,以及根据所述文本描述信息,确定出所述文本描述信息对应的文本特征数据,并根据所述原始特征数据和所述文本特征数据,确定出针对所述原始图像以及所述文本描述信息的融合特征数据,以及根据所述融合特征数据,生成所述目标图像。

9.如权利要求7所述的装置,所述偏差确定模块具体用于,根据所述原始图像,确定所述原始图像对应的原始特征数据;根据所述文本描述信息,确定所述文本描述信息...

【专利技术属性】
技术研发人员:洪燕兰钧祝慧佳王维强
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1