图像生成模型的训练方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40537266 阅读:25 留言:0更新日期:2024-03-01 13:59
本申请提供一种图像生成模型的训练方法、装置、电子设备及存储介质,该方法包括获取训练样本数据集;训练样本数据集包括多个目标类样本图像;对所述目标类样本图像进行目标局部识别,得到所述目标局部对应的图像框;基于所述图像框的面积与所述目标类样本图像的面积的第一比值确定样本扩充数量;基于所述图像框生成扩充样本图像,并基于所述样本扩充数量复制所述扩充样本图像;将复制后的所述扩充样本图像扩充到所述训练样本数据集中,并基于扩充后的所述训练样本数据集训练目标图像生成模型,从而通过对图像局部样本数据的合理扩充,提高了图像生成模型处理局部细节的能力,能有效缓解图像中由于关键部位占比较小导致的生成效果较差的问题。

【技术实现步骤摘要】

本申请涉及图像生成,尤其涉及一种图像生成模型的训练方法、装置、电子设备及存储介质


技术介绍

1、本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

2、文本到图像生成任务目标是通过生成与输入文本描述相对应的逼真图像。为了实现文本到图像生成,通常使用大规模的图像和文本数据集进行深度学习模型的训练,模型通过学习图像和文本之间的语义关系,能够将给定的文本描述转化为合适的图像。目前相关技术中,对于图像中某些面积占比较小的特定关键区域,比如人脸和手部区域,现有的图像生成模型在处理这种复杂局部细节时的能力有限,导致局部细节生成效果较差。


技术实现思路

1、有鉴于此,本申请的目的在于提出一种图像生成模型的训练方法、装置、电子设备及存储介质,用以解决或部分解决上述
技术介绍
中的问题。

2、基于上述目的,本申请提供了一种图像生成模型的训练方法,包括:

3、获取训练样本数据集;所述训练样本数据集包括多个目标类样本图像;

本文档来自技高网...

【技术保护点】

1.一种图像生成模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于所述图像框生成扩充样本图像,具体包括:

3.根据权利要求1所述的方法,其特征在于,基于所述图像框的面积与所述目标类样本图像的面积的第一比值确定样本扩充数量,具体包括:

4.根据权利要求1所述的方法,其特征在于,基于扩充后的所述训练样本数据集训练目标图像生成模型,具体包括:

5.根据权利要求4所述的方法,其特征在于,计算所述预测图像与所述第一样本图像的像素点颜色值的函数损失,具体包括:

6.根据权利要求4所述的方法,其特征在于,确定所...

【技术特征摘要】

1.一种图像生成模型的训练方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于所述图像框生成扩充样本图像,具体包括:

3.根据权利要求1所述的方法,其特征在于,基于所述图像框的面积与所述目标类样本图像的面积的第一比值确定样本扩充数量,具体包括:

4.根据权利要求1所述的方法,其特征在于,基于扩充后的所述训练样本数据集训练目标图像生成模型,具体包括:

5.根据权利要求4所述的方法,其特征在于,计算所述预测图像与所述第一样本图像的像素点颜色值的函数损失,具体包括:

6.根据权利要求4所述的方法,其特征在于,确定所述目标局部在所述目标类样本图像中的区域面积,具体包括:

7.根据权利要求4所述的方法,其特征在于,所述多个目标类样本图像包括直接获得的第一目标类样本图像以及由所述基准图像生成模型通过第二文本生成的第二目标类样本图像;所述第一类样本图像对应有第一样本文本,所述第二样本文本是基于所述第一样本文本生成的。

8.根据权利要求4所述的方法,其特征在于,基于扩充后的所述训练样本数据集训练目标图像生成模型,具体包括:

9.根据权利要求8所述的方法,其特征在于,基于所述第一样本图像的尺寸将扩充后的所述训练样本数据集分成多个子样本数据集,具体包括:

10.根据权利要求9所述的方法,其特征在于,在对所述第一样本图像进行缩放和裁剪处理之后,...

【专利技术属性】
技术研发人员:宁苒宇吴远泸刘乙邑甄志坚梁可弘
申请(专利权)人:网易杭州网络有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1