使用参考图像的生成式图像填充制造技术

本公开的实施例涉及使用参考图像的生成式图像填充。实施例包括用于基于文本和参考图像的生成式图像填充的系统和方法。在一个方面，系统获得输入图像、参考图像和文本提示。然后，系统对参考图像进行编码以获得图像嵌入，并且对文本提示进行编码以获得文本嵌入。随后，基于输入图像、图像嵌入和文本嵌入来生成合成图像。

【技术实现步骤摘要】

技术介绍

1、以下内容总体上涉及机器学习，更具体地，涉及用于图像编辑的机器学习。数字图像处理通常是指使用计算机或其他电子设备对数字图像进行改变的过程。计算机或其他电子设备可以使用算法、处理网络等对数字图像进行改变。在一些情况下，图像处理软件可以用于各种图像处理任务，诸如图像编辑、图像生成等。一些图像处理系统可以实施机器学习技术，以例如使用预测式模型执行任务(例如，在不为每个任务对系统进行显式编程的情况下)，更准确地或用更少时间执行任务，使用专用硬件执行任务，等等。用于生成图像数据的机器学习架构的示例包括生成式对抗网络(generative adversarial network，gan)和扩散模型。

技术实现思路

1、本公开描述了用于图像编辑的系统和方法。本公开的实施例包括一种被配置为使用参考图像来填充输入图像的被掩膜部分的图像编辑装置。图像编辑装置可以获得输入图像、参考图像和文本提示，并且图像编辑装置可以基于输入图像、参考图像和文本提示来生成合成图像。特别地，图像编辑装置可以基于参考图像和文本提示来编辑输本文档来自技高网...

【技术保护点】

1.一种方法，包括：

2.根据权利要求1所述的方法，其中生成所述合成图像包括：

3.根据权利要求1所述的方法，其中：

4.根据权利要求1所述的方法，其中：

5.根据权利要求1所述的方法，其中：

6.根据权利要求1所述的方法，其中：

7.根据权利要求1所述的方法，其中：

8.根据权利要求1所述的方法，其中：

9.根据权利要求1所述的方法，还包括：

10.根据权利要求1所述的方法，还包括：

11.一种方法，包括：

12.根据权利要求11所述的方法，还包括：...

【技术特征摘要】

1.一种方法，包括：

2.根据权利要求1所述的方法，其中生成所述合成图像包括：

3.根据权利要求1所述的方法，其中：

4.根据权利要求1所述的方法，其中：

5.根据权利要求1所述的方法，其中：

6.根据权利要求1所述的方法，其中：

7.根据权利要求1所述的方法，其中：

8.根据权利要求1所述的方法，其中：

9.根据权利要求1所述的方法，还包括：

10.根据权利要求1所述的方法，还包括：

...

【专利技术属性】
技术研发人员：周宇乾，K·K·辛格，林哲，刘晴，Z·张，S·阿米尔格霍德斯，E·谢克特曼，吕婧琬，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：