用于生成图像的方法技术

根据本公开的实施例，提供了用于生成图像的方法

【技术实现步骤摘要】
用于生成图像的方法、装置、设备和存储介质


[0001]本公开的示例实施例总体涉及信息处理，并且更具体地，涉及用于生成图像的方法
、
装置
、
设备和计算机可读存储介质
。

技术介绍

[0002]随着机器学习技术的发展，已经可以利用机器学习模型来执行多种应用环境中的任务
。
基于模型的视觉任务是用于处理视觉数据，例如图像
、
视频等
。
视觉任务的示例包括但不限于图像生成
、
图像分类
、
目标检测
、
语义分割
、
光学字符识别
(OCR)
等，其中图像生成任务是视觉任务中的重要任务
。
图像生成中的艺术字图像生成由于其广泛应用而受到越来越多的关注，并且逐渐成为图像生成任务中的重要任务
。

技术实现思路

[0003]在本公开的第一方面，提供一种生成图像的方法
。
该方法包括：获取输入文本，输入文本指示生成与至少一个字符对应的图像；利用第一模型处理输入文本，以确定与至少一个字符对应的材质描述文本；获取基于材质描述文本生成的材质图像；以及基于材质图像以及与至少一个字符对应的字形图像，生成与至少一个字符对应的目标图像
。
[0004]在本公开的第二方面，提供一种用于生成图像的装置
。
该装置包括：文本获取模块，被配置为获取输入文本，输入文本指示生成与至少一个字符对应的图像；文本确定模块，被配置为利用第一模型处理输入文本，以确定与至少一个字符对应的材质描述文本；图像获取模块，被配置为获取基于材质描述文本生成的材质图像；以及图像生成模块，被配置为基于材质图像以及与至少一个字符对应的字形图像，生成与至少一个字符对应的目标图像
。
[0005]在本公开的第三方面，提供了一种电子设备
。
该电子设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令
。
指令在由至少一个处理单元执行时使电子设备执行根据本公开的第一方面的方法
。
[0006]在本公开的第四方面，提供了一种计算机可读存储介质
。
该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以执行根据本公开的第一方面的方法
。
[0007]应当理解，此部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围
。
本公开的其它特征将通过以下的描述而变得容易理解
。
附图说明
[0008]在下文中，结合附图并参考以下详细说明，本公开各实现方式的上述和其他特征
、
优点及方面将变得更加明显
。
在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0009]图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
[0010]图2示出了根据本公开的一些实施例的生成图像的过程的流程图；
[0011]图3示出了根据本公开的一些实施例的生成图像的示例架构的示意图；
[0012]图4示出了根据本公开的一些实施例的循环填充的示例的示意图；
[0013]图5示出了根据本公开的一些实施例的模糊处理的示例的示意图；
[0014]图6示出了根据本公开的一些实施例的添加噪音的示例的示意图；
[0015]图7示出了根据本公开的某些实施例的用于生成图像的装置的示意性结构框图；以及
[0016]图8示出了能够被用来实现本公开一些实施例的电子设备的框图
。
具体实施方式
[0017]下面将参照附图更详细地描述本公开的实施例
。
虽然附图中示出了本公开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开
。
应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围
。
[0018]在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。
术语“基于”应当理解为“至少部分地基于”。
术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。
术语“一些实施例”应当理解为“至少一些实施例”。
下文还可能包括其它明确的和隐含的定义
。
[0019]术语“响应于”表示相应的事件发生或者条件得以满足
。
将会理解，响应于该事件或者条件而被执行的后续动作的执行时机，与事件发生或者条件满足的时间，这二者不一定是强关联的
。
在某些情况下，后续动作可在事件发生或者条件成立时立即被执行；在另一些情况下，后续动作也可在事件发生或者条件成立后经过一段时间才被执行
。
[0020]可以理解的是，本技术方案所涉及的数据
(
包括但不限于数据本身
、
数据的获得或使用
)
应当遵循相应法律法规及相关规定的要求
。
[0021]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型
、
使用范围
、
使用场景等告知用户并获得用户的授权
。
[0022]例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备
、
应用程序
、
服务器或存储介质等软件或硬件提供个人信息
。
[0023]作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息
。
此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件
。
[0024]可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中
。
[0025]如本文中所使用的，术语“模型”可以从训练数据中学习到相应的输入与输出之间
的关联关系，从而在训练完成后可以针对给定的输入，生成对应的输出
。
模型的生成可以基于机器学习技术
。
深度学习是一种机器学习算法，通过使用多层处理单元来处理输入和提供相应输出
。
神经网络模型是基于深度学习的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种生成图像的方法，包括：获取输入文本，所述输入文本指示生成与至少一个字符对应的图像；利用第一模型处理所述输入文本，以确定与所述至少一个字符对应的材质描述文本；获取基于所述材质描述文本生成的材质图像；以及基于所述材质图像以及与所述至少一个字符对应的字形图像，生成与所述至少一个字符对应的目标图像
。2.
根据权利要求1所述的方法，其中利用第一模型处理所述输入文本包括：基于所述输入文本，生成所述第一模型的第一输入信息；以及向所述第一模型提供所述第一输入信息，以获取由所述第一模型生成的所述材质描述文本
。3.
根据权利要求2所述的方法，其中所述第一输入信息包括：预设约束信息，用于约束所述第一模型的输出生成；和
/
或一组参考材质描述文本
。4.
根据权利要求1所述的方法，其中获取基于所述材质描述文本生成的材质图像包括：向第二模型提供第二输入信息，以获取由所述第二模型生成的所述材质图像，其中所述第二输入信息基于所述材质描述文本而被生成
。5.
根据权利要求4所述的方法，其中所述第二模型包括多个卷积层，并且所述多个卷积层中的至少一个卷积层被配置为：生成与第一尺寸对应的第一特征图；以及填充所述第一特征图，以获取与第二尺寸对应的第二特征图，以作为所述至少一个卷积层的输入，所述第二尺寸大于所述第一尺寸
。6.
根据权利要求5所述的方法，其中填充所述第一特征图包括：确定所述第一特征图中的第一边缘位置；基于所述第一特征图，确定在目标方向上与所述第一边缘位置对称的第二边缘位置；以及利用所述第二边缘位置的值，填充所述第一边缘像素在所述目标方向上的相邻位置，所述相邻位置在所述第一特征图的外部
。7.
根据权利要求6所述的方法，其中所述第一边缘位置包括所述第一特征图的左边缘
、
右边缘
、
上边缘或下边缘上的位置，所述目标方向包括水平方向
、
竖直方向或对角方向中的至少一个
。8.
根据权利要求1所述的方法，还包括：基于所述输入文本和
/
或字形选择信息，从一组预设字形库中确定目标字形；以及基于所述目标字形，生成与所述至少一个字符对应的所述字形图像
。9.
...

【专利技术属性】
技术研发人员：包泽华，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：