多模态图像编辑制造技术

本公开涉及多模态图像编辑。提供了用于多模态图像编辑的系统和方法。在一个方面，一种用于多模态图像编辑的系统和方法包括标识图像、提示和蒙版，该提示标识要被添加到图像的元素，该蒙版指示用于描绘元素的图像的第一区域。然后，该系统生成包括第一区域中的噪声和来自第一区域之外的第二区域中的图像的图像特征的部分噪声图像图。扩散模型基于部分噪声图像图和提示来生成合成图像图。在一些情况下，合成图像图包括与蒙版相对应的第一区域中的目标元素。

【技术实现步骤摘要】

技术介绍

1、本公开总体涉及图像编辑，并且更具体地，涉及使用机器学习模型的多模态图像编辑。图像编辑可以通过在图像中添加或从图像中移除信息来完成。图像编辑方法的一个示例是图像修复(inpaint)，其中从图像中移除信息，重构缺失的信息，并且将重构的信息与图像中的剩余信息进行组合以形成新图像。

2、机器学习模型可以用于基于多种模态(modality)生成和编辑图像。扩散模型是基于随机过程生成数据的一类机器学习模型。具体地，扩散模型在多个级别引入随机噪声，并训练网络来移除噪声。一旦经过训练，扩散模型就可以从随机噪声开始，并生成与训练数据类似的数据。

技术实现思路

1、本公开的各方面提供了用于多模态图像编辑的系统和方法。根据本公开的一方面，多模态图像编辑系统接收图像、蒙版(mask)和文本提示作为输入，该文本提示描述要被添加到图像的对象或背景纹理。多模态图像编辑系统通过如下来执行图像修复：用噪声替换与蒙版相对应的图像的区域，并且使用扩散模型，根据对象或背景纹理在与图像组合时看起来应该怎样的预测，基于蒙版本文档来自技高网...

【技术保护点】

1.一种用于图像编辑的方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，还包括：

4.根据权利要求1所述的方法，还包括：

5.根据权利要求1所述的方法，还包括：

6.根据权利要求1所述的方法，还包括：

7.根据权利要求1所述的方法，还包括：

8.一种用于训练神经网络的方法，所述方法包括：

9.根据权利要求8所述的方法，还包括：

10.根据权利要求8所述的方法，还包括：

11.根据权利要求10所述的方法，其中：

12.根据权利...

【技术特征摘要】

1.一种用于图像编辑的方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，还包括：

4.根据权利要求1所述的方法，还包括：

5.根据权利要求1所述的方法，还包括：

6.根据权利要求1所述的方法，还包括：

7.根据权利要求1所述的方法，还包括：

8.一种用于训练神经网络的方法，所述方法包括：

9.根据权利要求8所述的方法，还包括：

10.根据权利要求8所述的方法，还包括：

11.根...

【专利技术属性】
技术研发人员：谢少安，张志飞，林哲，T·欣兹，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人