基于文字生成图片的方法、装置、设备及存储介质制造方法及图纸

技术编号:39241792 阅读:10 留言:0更新日期:2023-10-30 11:54
本申请实施例公开了一种基于文字生成图片的方法、装置、设备及存储介质,属于计算机技术领域。该方法包括:获取第一图片描述,第一图片描述用于描述待生成图片的图片内容;通过描述扩展模型,对第一图片描述进行处理,得到第二图片描述,描述扩展模型是基于多个参考图片的规范图片描述和简约图片描述训练得到的,用于将简约图片描述扩展为对应的规范图片描述,规范图片描述包括用于描述参考图片的主要描述对象的多个词语和用于描述参考图片的次要描述对象的至少一个词语,简约图片描述为规范图片描述中用于描述主要描述对象的关键词;基于第二图片描述,生成图片。该方法通过丰富图片描述的内容来生成内容丰富的图片,提高了生成图片的质量。成图片的质量。成图片的质量。

【技术实现步骤摘要】
基于文字生成图片的方法、装置、设备及存储介质


[0001]本申请实施例涉及计算机
,特别涉及一种基于文字生成图片的方法、装置、设备及存储介质。

技术介绍

[0002]用户在发表评论、社区帖子等时,经常需要制作符合自己个性化表达需求的图片。随着基于文本生成图片的技术逐渐涌现,用户只需输入图片描述,即可指示设备生成相应的图片。
[0003]如果想要基于图片描述生成质量较高的图片,需要专业且复杂的图片描述。例如,生成一张质量较高的山峰图片,需要输入如下样式的图片描述:山,雄伟,令人敬畏,白雪皑皑,宁静,浩瀚,高峰,云雾,绵延,丘陵,郁郁葱葱,山谷,惊险,地平线,风景。
[0004]对于非专业人员的用户来说,输入上述专业且复杂的图片描述存在很大的困难,通常情况下用户只能输入一个基本概念,如“山”、“大海”等。由于用户输入的图片描述太过简单,导致生成图片的质量较低。

技术实现思路

[0005]本申请实施例提供了一种基于文字生成图片的方法、装置、设备及存储介质,能够提高生成图片的质量。所述技术方案如下:
[0006]一方面,提供了一种基于文字生成图片的方法,所述方法包括:
[0007]获取第一图片描述,所述第一图片描述用于描述待生成图片的图片内容;
[0008]通过描述扩展模型,对所述第一图片描述进行处理,得到第二图片描述,所述描述扩展模型是基于多个参考图片的规范图片描述和简约图片描述训练得到的,用于将所述简约图片描述扩展为对应的所述规范图片描述,所述规范图片描述包括用于描述所述参考图片的主要描述对象的多个词语和用于描述所述参考图片的次要描述对象的至少一个词语,所述简约图片描述为所述规范图片描述中用于描述所述主要描述对象的关键词;
[0009]基于所述第二图片描述,生成图片。
[0010]另一方面,提供了一种用于图片生成的描述扩展模型训练方法,所述方法包括:
[0011]将网络中图片的描述获取为规范图片描述;
[0012]对所述规范图片描述进行关键词提取,将提取到的关键词作为简约图片描述;
[0013]基于所述规范图片描述和所述简约图片描述,训练描述扩展模型,所述描述扩展模型是对用于生成图片的图片描述进行扩展的模型。
[0014]另一方面,提供了一种基于文字生成图片的装置,所述装置包括:
[0015]获取模块,用于获取第一图片描述,所述第一图片描述用于描述待生成图片的图片内容;
[0016]扩展模块,用于通过描述扩展模型,对所述第一图片描述进行处理,得到第二图片描述,所述描述扩展模型是基于多个参考图片的规范图片描述和简约图片描述训练得到
的,用于将所述简约图片描述扩展为对应的所述规范图片描述,所述规范图片描述包括用于描述所述参考图片的主要描述对象的多个词语和用于描述所述参考图片的次要描述对象的至少一个词语,所述简约图片描述为所述规范图片描述中用于描述所述主要描述对象的关键词;
[0017]生成模块,用于基于所述第二图片描述,生成图片。
[0018]可选地,所述扩展模块,包括:
[0019]参数确定单元,用于通过所述描述扩展模型,确定词表中词语的采样参数,所述采样参数用于表示所述词语被采样为所述第二图片描述中的词语的概率;
[0020]采样单元,用于通过所述描述扩展模型,基于所述词表中词语的采样参数,对所述词表进行采样,得到所述第二图片描述。
[0021]可选地,所述参数确定单元,用于通过所述描述扩展模型,确定所述词表中词语的相关性参数,所述相关性参数用于表示所述词语与所述第一图片描述的语义相关程度;通过所述描述扩展模型,基于描述对的共现参数以及所述词表中词语的相关性参数,确定所述词表中词语的采样参数,所述描述对包括简约图片描述中的第一词语与对应的规范图片描述对中的第二词语,所述共现参数用于表示在所述简约图片描述包括所述第一词语的情况下,对应的所述规范图片描述包括所述第二词语的概率。
[0022]可选地,所述装置还包括:
[0023]统计模块,用于对所述多个参考图片的规范图片描述中的词语和简约图片描述中的词语进行统计,得到多个描述对以及所述多个描述对的共现参数。
[0024]可选地,所述装置还包括:
[0025]筛选模块,用于基于共现参数阈值,对所述多个描述对进行筛选,保留共现参数不小于所述共现参数阈值的描述对。
[0026]可选地,所述采样单元,用于通过所述描述扩展模型,基于所述词表中词语的采样参数,采样所述词表中采样参数满足采样条件的多个词语,得到多个第二图片描述,不同第二图片描述包括满足所述采样条件的不同词语;
[0027]所述生成模块,用于对于所述多个第二图片描述,分别执行基于所述第二图片描述,生成图片的步骤。
[0028]可选地,所述扩展模块,用于通过描述扩展模型,对所述第一图片描述进行词语扩展,得到所述第二图片描述,所述描述扩展模型用于扩展出与输入图片描述语义关联的至少一个词语。
[0029]可选地,所述生成模块,包括:
[0030]获取单元,用于获取多个随机因子,所述随机因子用于指示待生成图片的初始状态;
[0031]生成单元,用于对于所述多个随机因子,分别基于所述随机因子和所述第二图片描述,生成图片。
[0032]可选地,所述图片为多个;所述装置还包括:
[0033]排序模块,用于基于多个图片的相关性参数和质量参数中的至少一项,对所述多个图片进行排序;
[0034]显示模块,用于基于所述多个图片的排列顺序,显示至少一个图片。
[0035]可选地,所述显示模块,用于按照所述多个图片的排列顺序,排列显示所述多个图片;或者,
[0036]所述显示模块,用于显示排列位次为第一位的图片;或者,
[0037]所述显示模块,用于基于所述多个图片的排列顺序,显示位于前目标位次的多个图片。
[0038]另一方面,提供了一种用于图片生成的描述扩展模型训练装置,所述装置包括:
[0039]获取模块,用于将网络中图片的描述获取为规范图片描述;
[0040]提取模块,用于对所述规范图片描述进行关键词提取,将提取到的关键词作为简约图片描述;
[0041]训练模块,用于基于所述规范图片描述和所述简约图片描述,训练描述扩展模型,所述描述扩展模型是对用于生成图片的图片描述进行扩展的模型。
[0042]另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以实现如上述方面所述的基于文字生成图片的方法所执行的操作,或者,以实现如上述方面所述的用于图片生成的描述扩展模型训练方法所执行的操作。
[0043]另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以实现如上述方本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于文字生成图片的方法,其特征在于,所述方法包括:获取第一图片描述,所述第一图片描述用于描述待生成图片的图片内容;通过描述扩展模型,对所述第一图片描述进行处理,得到第二图片描述,所述描述扩展模型是基于多个参考图片的规范图片描述和简约图片描述训练得到的,用于将所述简约图片描述扩展为对应的所述规范图片描述,所述规范图片描述包括用于描述所述参考图片的主要描述对象的多个词语和用于描述所述参考图片的次要描述对象的至少一个词语,所述简约图片描述为所述规范图片描述中用于描述所述主要描述对象的关键词;基于所述第二图片描述,生成图片。2.根据权利要求1所述的方法,其特征在于,所述通过描述扩展模型,对所述第一图片描述进行处理,得到第二图片描述,包括:通过所述描述扩展模型,确定词表中词语的采样参数,所述采样参数用于表示所述词语被采样为所述第二图片描述中的词语的概率;通过所述描述扩展模型,基于所述词表中词语的采样参数,对所述词表进行采样,得到所述第二图片描述。3.根据权利要求2所述的方法,其特征在于,所述通过所述描述扩展模型,确定所述词表中词语的采样参数,包括:通过所述描述扩展模型,确定所述词表中词语的相关性参数,所述相关性参数用于表示所述词语与所述第一图片描述的语义相关程度;通过所述描述扩展模型,基于描述对的共现参数以及所述词表中词语的相关性参数,确定所述词表中词语的采样参数,所述描述对包括简约图片描述中的第一词语与对应的规范图片描述对中的第二词语,所述共现参数用于表示在所述简约图片描述包括所述第一词语的情况下,对应的所述规范图片描述包括所述第二词语的概率。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:对所述多个参考图片的规范图片描述中的词语和简约图片描述中的词语进行统计,得到多个描述对以及所述多个描述对的共现参数。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:基于共现参数阈值,对所述多个描述对进行筛选,保留共现参数不小于所述共现参数阈值的描述对。6.根据权利要求2所述的方法,其特征在于,所述通过所述描述扩展模型,基于所述词表中词语的采样参数,对所述词表进行采样,得到所述第二图片描述,包括:通过所述描述扩展模型,基于所述词表中词语的采样参数,采样所述词表中采样参数满足采样条件的多个词语,得到多个第二图片描述,不同第二图片描述包括满足所述采样条件的不同词语;所述方法还包括:对于所述多个第二图片描述,分别执行基于所述第二图片描述,生成图片的步骤。7.根据权利要求1所述的方法,其特征在于,所述基于所述第二图片描述,生成图片,包括:获取多个随机因子,所述随机因子用于指示待生成图片的初始状态;对于所述多个随机因子,分别基于所述随机因子和所述第二图片描述,生成图片。
8.根据权利要求1所述的方法,其特征在于,所述图片为多个;所述方法还包括:基于多个图片的相关性参数和质量参数中的至少一项...

【专利技术属性】
技术研发人员:陈小帅
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1