【技术实现步骤摘要】
技术介绍
1、在数字图像编辑领域，深度生成模型在各种应用中变得越来越有效，诸如从随机采样的种子产生真实的图像或图像修复。这些模型，诸如生成式对抗性网络(“gan”)，已经彻底改变了数字图像合成，通过提取和组合数字图像的特征来实现数字图像修改。实际上，gan已经在数字图像修复方面取得了重大进展，以填充缺失或有缺陷的像素区域。然而，尽管利用这些模型的常规数字图像系统有所进步，但是这些常规系统仍然存在许多缺点，诸如在共享语义标签但是描绘不同对象实例的像素区域上修复数字图像的准确性。
技术实现思路
1、本公开描述了系统、方法和非暂态计算机可读介质的一个或多个实施例，其通过利用全景修复神经网络全景地引导数字图像修复来解决本领域中的一个或多个前述或其他问题。例如，所公开的系统利用全景修复神经网络来根据全景分割图生成已修复数字图像，该全景分割图定义对应于不同全景标签的像素区域，这些不同全景标签区分具有共享语义标签的对象的实例。在一些实施例中，通过利用全景修复神经网络，所公开的系统精确地利用与指定区域内的不同全景标签相对应的替换像素，来修复数字图像的指定区域(例如，有缺陷或缺失像素的区域)中的像素。
2、在一些实施例中，所公开的系统利用语义判别器训练或调谐神经网络(例如，全景修复神经网络或一些其他神经网络)。例如，所公开的系统用生成器和语义判别器来实施对抗性训练技术，以准确地学习神经网络的参数，从而解决相应网络通道中的语义(或全景)标签。在一些情况下，语义判别器具有独特的架构，该架构
3、在一个或多个实施例中，所公开的系统提供用于在客户端设备上显示的全景修复界面。例如，所公开的系统生成并提供全景修复界面，以便于用于修复数字图像的用户交互。在一些情况下，全景修复界面包括用于修改或定制全景分割图的可选元素，以调整如何修复数字图像(例如，将使用什么像素来修复数字图像的指定区域)。
4、此外，在某些实施例中，所公开的系统利用动态全景引导迭代地更新已修复数字图像。例如，当用户在全景修复界面内改变全景标签和/或区域边界时，所公开的系统接收对全景分割图的修改。在一些情况下，所公开的系统更新已修复数字图像，以反映对全景分割图所做出的修改。
本文档来自技高网...【技术保护点】
1.一种非暂态计算机可读介质，存储可执行指令，所述可执行指令在由处理设备执行时，使所述处理设备执行操作，所述操作包括：
2.根据权利要求1所述的非暂态计算机可读介质，其中生成所述真实性预测包括：
3.根据权利要求1所述的非暂态计算机可读介质，其中生成所述真实性预测包括：利用所述语义判别器来确定所述预测的数字图像的真实性以及所述预测的数字图像与所述语义分割的一致性。
4.根据权利要求1所述的非暂态计算机可读介质，其中生成所述真实性预测包括：利用所述语义判别器作为图像级判别器的一部分来确定针对所述预测的数字图像的整体的真实性得分。
5.根据权利要求1所述的非暂态计算机可读介质，其中生成所述真实性预测包括：利用所述语义判别器作为对象级判别器的一部分来确定针对所述预测的数字图像的裁剪的真实性得分。
6.根据权利要求1所述的非暂态计算机可读介质，其中生成所述真实性预测包括：利用所述语义判别器来生成第一真实性得分，以及利用生成式对抗性判别器来生成第二真实性得分。
7.根据权利要求1所述的非暂态计算机可读介质，其中修改所述
8.一种系统，包括：
9.根据权利要求8所述的系统，其中生成所述真实性预测包括：
10.根据权利要求9所述的系统，其中生成所述真实性预测还包括：
11.根据权利要求8所述的系统，其中生成所述真实性预测包括：
12.根据权利要求11所述的系统，其中确定所述全景条件包括：
13.根据权利要求8所述的系统，其中修改所述神经网络的所述参数包括：
14.根据权利要求8所述的系统，其中生成所述真实性预测包括：
15.一种计算机实现的方法，包括：
16.根据权利要求15所述的计算机实现的方法，其中确定所述真实性预测包括：
17.根据权利要求15所述的计算机实现的方法，还包括从所述样本数字图像数据确定全景条件，所述全景条件包括指示样本数字图像内要替换的像素的二元掩码、表示针对所述样本数字图像内的对象的语义标签的语义嵌入、以及反映所述样本数字图像内的所述对象之间的边界的边缘图。
18.根据权利要求17所述的计算机实现的方法，其中确定所述真实性预测包括利用所述语义判别器基于所述全景条件生成针对所述预测的数字图像的真实性得分。
19.根据权利要求15所述的计算机实现的方法，还包括通过对与图像级语义判别器相关联的第一对抗性损失、与对象级语义判别器相关联的第二对抗性损失、与图像级生成式对抗性判别器相关联的第三对抗性损失以及与对象级生成式对抗性判别器相关联的第四对抗性损失进行组合，来确定总体对抗性损失。
20.根据权利要求19所述的计算机实现的方法，其中修改所述神经网络的所述参数包括修改所述参数以减少所述总体对抗性损失。
...【技术特征摘要】
1.一种非暂态计算机可读介质，存储可执行指令，所述可执行指令在由处理设备执行时，使所述处理设备执行操作，所述操作包括：
2.根据权利要求1所述的非暂态计算机可读介质，其中生成所述真实性预测包括：
3.根据权利要求1所述的非暂态计算机可读介质，其中生成所述真实性预测包括：利用所述语义判别器来确定所述预测的数字图像的真实性以及所述预测的数字图像与所述语义分割的一致性。
4.根据权利要求1所述的非暂态计算机可读介质，其中生成所述真实性预测包括：利用所述语义判别器作为图像级判别器的一部分来确定针对所述预测的数字图像的整体的真实性得分。
5.根据权利要求1所述的非暂态计算机可读介质，其中生成所述真实性预测包括：利用所述语义判别器作为对象级判别器的一部分来确定针对所述预测的数字图像的裁剪的真实性得分。
6.根据权利要求1所述的非暂态计算机可读介质，其中生成所述真实性预测包括：利用所述语义判别器来生成第一真实性得分，以及利用生成式对抗性判别器来生成第二真实性得分。
7.根据权利要求1所述的非暂态计算机可读介质，其中修改所述神经网络的所述参数包括：
8.一种系统，包括：
9.根据权利要求8所述的系统，其中生成所述真实性预测包括：
10.根据权利要求9所述的系统，其中生成所述真实性预测还包括：
11.根据权利要求8所述的系统，...
【专利技术属性】
技术研发人员：林哲，郑海天，E·舍施特曼，张健明，吕婧琬，徐宁，刘晴，S·科恩，S·阿米尔格霍德斯，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。