【技术实现步骤摘要】
【国外来华专利技术】
本公开总体上涉及图像处理，诸如图像修改。更具体地，本公开涉及用于以改进的计算效率进行图像处理的级联多分辨率机器学习的系统和方法。
技术介绍
1、图像处理可以包括修改数字图像以具有更改的外观。示例图像修改包括平滑化、模糊、去模糊和/或许多其他操作。一些图像修改包括生成式修改，在生成式修改中，生成新的图像数据并将其插入图像中作为对原始图像数据的替换。一些示例生成式修改可以被称为“修复”。
2、图像处理还可以包括图像分析以标识或确定图像的特性。例如，图像处理可以包括诸如语义分割、对象检测、对象辨识、边缘检测、人体关键点估计和/或各种其他图像分析算法或任务的技术。
3、与使用机器学习模型进行图像处理相关联的一项主要挑战是输入和输出图像分辨率的限制。具体地，分辨率越高，存储器使用和延迟增加越多。因此，运行机器学习模型以对任何显著尺寸的图像执行图像处理消耗显著量的计算资源，诸如存储器使用、处理器使用等。这使得在高分辨率下使用机器学习模型在某些资源受限的环境(诸如具有很少或有限计算资源的计算装置(例如，智能手机)上的“装置上”)中变得非常具有挑战性，或甚至不可行。作为一个示例，典型机器学习模型的标准分辨率可在512×512的范围内，这对于在智能手机上运行来说已经非常高。
4、上述计算挑战的一种解决方案是在具有较低分辨率的图像上运行机器学习模型。这可以节省或减少资源消耗量。然而，在较低分辨率下处理图像降低处理输出的质量，因此有其自身的缺点。
技术实现思路
1、本
2、本公开的一个示例方面涉及一种用于以改进的计算效率进行图像修改的计算系统，所述计算系统包括：一个或多个处理器；以及一个或多个非暂时性计算机可读介质，所述一个或多个非暂时性计算机可读介质共同存储指令，所述指令在由一个或多个处理器执行时使计算系统执行操作。所述操作包括获得输入图像的较低分辨率版本，其中输入图像的较低分辨率版本具有第一分辨率，其中输入图像的较低分辨率版本包括要利用预测图像数据进行修改的一个或多个图像元素。所述操作包括利用第一机器学习模型处理输入图像的较低分辨率版本以生成具有第一分辨率的增强图像，其中增强图像包括替换一个或多个图像元素的第一预测图像数据。所述操作包括提取增强图像的一部分，其中增强图像的所述部分包括第一预测图像数据。所述操作包括放大(upscaling)增强图像的提取部分以生成具有放大分辨率的放大图像部分。所述操作包括利用第二机器学习模型处理放大图像部分以生成细化部分，其中细化部分包括修改第一预测图像数据的至少一部分的第二预测图像数据。所述操作包括基于细化部分和输入图像的较高分辨率版本来生成输出图像，其中输出图像和输入图像的较高分辨率版本两者都具有高于第一分辨率的第二分辨率。所述操作包括提供输出图像作为输出。
3、本公开的另一个示例方面涉及一种用于训练机器学习模型以执行图像修改的计算机实现的方法。所述方法包括由包括一个或多个处理器的计算系统接收输入图像的较低分辨率版本和真实值图像，其中输入图像的较低分辨率版本具有第一分辨率并且真实值图像具有高于第一分辨率的第二分辨率，并且其中输入图像的较低分辨率版本包括真实值图像中不存在的一个或多个图像元素。所述方法包括由计算系统利用第一机器学习模型处理输入图像的较低分辨率版本以生成具有第一分辨率的增强图像的较低分辨率版本，其中增强图像的较低分辨率版本包括替换一个或多个图像元素的第一预测数据。所述方法包括由计算系统放大增强图像的较低分辨率版本以生成具有第二分辨率的增强图像的较高分辨率版本。所述方法包括由计算系统利用第二机器学习模型处理增强图像的较高分辨率版本的至少一部分以生成具有第二分辨率的预测图像。所述方法包括由计算系统评估损失函数，所述损失函数评估预测图像与真实值图像之间的差异。所述方法包括至少部分地基于损失函数来调整第一机器学习模型或第二机器学习模型中的至少一者的一个或多个参数。
4、本公开的另一个示例方面涉及一种或多种非暂时性计算机可读介质，其共同存储指令，所述指令在由一个或多个处理器执行时使计算系统执行操作。所述操作包括获得输入图像的较低分辨率版本，其中输入图像的较低分辨率版本具有第一分辨率。所述操作包括利用第一机器学习模型处理输入图像的较低分辨率版本以生成具有第一分辨率的第一预测图像，其中第一预测图像包括第一预测图像数据。所述操作包括提取第一预测图像的一部分，其中第一预测图像的所述部分包括第一预测图像数据。所述操作包括放大第一预测图像的提取部分以生成具有放大分辨率的放大图像部分。所述操作包括利用第二机器学习模型处理放大图像部分以生成第二预测图像，其中第二预测图像包括修改第一预测图像数据的至少一部分的第二预测图像数据。
5、本公开的其他方面涉及各种系统、设备、非暂时性计算机可读介质、用户界面和电子装置。
6、参考以下描述和随附权利要求将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书中并且构成本说明书的一部分的附图示出了本公开的示例实施例，并且连同描述一起用于解释相关原理。
本文档来自技高网...【技术保护点】
1.一种用于以改进的计算效率进行图像修改的计算系统，所述计算系统包括：
2.如任一前述权利要求所述的计算系统，其中获得所述输入图像的所述较低分辨率版本包括缩小所述输入图像的所述较高分辨率版本以获得所述输入图像的所述较低分辨率版本。
3.如任一前述权利要求所述的计算系统，其中：
4.如任一前述权利要求所述的计算系统，其中放大所述增强图像的所提取的部分以生成具有所述放大分辨率的所述放大图像部分包括放大所述增强图像的所提取的部分，使得所述放大分辨率与所述输入图像的所述较高分辨率版本的对应部分的对应分辨率匹配，其中所述对应部分成比例地对应于所述增强图像的所提取的部分。
5.如任一前述权利要求所述的计算系统，其中基于所述细化部分和所述输入图像的所述较高分辨率版本来生成所述输出图像包括将所述细化部分插入所述输入图像的所述较高分辨率版本中。
6.如任一前述权利要求所述的计算系统，其中要替换的所述一个或多个图像元素包括已经基于一个或多个用户输入指定的一个或多个用户指定的图像元素。
7.如任一前述权利要求所述的计算系统，其中要
8.如任一前述权利要求所述的计算系统，其中所述第一预测图像数据和所述第二预测图像数据对应于所述一个或多个图像元素的修复、去模糊、重新着色或平滑化中的一者或多者。
9.如任一前述权利要求所述的计算系统，其中：
10.如任一前述权利要求所述的计算系统，还包括将一个或多个内部特征向量从所述第一机器学习模型传递到所述第二机器学习模型。
11.如任一前述权利要求所述的计算系统，其中所述增强图像还包括由所述第一机器学习模型输出的预测深度通道。
12.一种用于训练机器学习模型以执行图像修改的计算机实现的方法，所述方法包括：
13.如权利要求12所述的计算机实现的方法，其中所述一个或多个图像元素是一个或多个用户指定的图像元素，其中所述一个或多个用户指定的图像元素是基于一个或多个用户输入来指定的。
14.如权利要求12所述的计算机实现的方法，其中所述一个或多个图像元素是一个或多个计算机指定的图像元素，其中所述一个或多个计算机指定的图像元素是通过利用所述第一机器学习模型或所述第二机器学习模型中的至少一者的一个或多个分类子块处理所述输入图像来指定的。
15.如权利要求12至14中任一项所述的计算机实现的方法，其中所述预测图像对应于所述一个或多个图像元素的修复、去模糊、重新着色或平滑化中的至少一者。
16.一种或多种非暂时性计算机可读介质，其共同存储指令，所述指令在由一个或多个处理器执行时使计算系统执行操作，所述操作包括：
17.如权利要求16所述的一种或多种非暂时性计算机可读介质，其中所述第一预测图像和所述第二预测图像包括指示所述输入图像中的辨识出的边缘的边缘辨识图像。
18.如权利要求16所述的一种或多种非暂时性计算机可读介质，其中所述第一预测图像和所述第二预测图像包括指示在所述输入图像中检测到的对象的对象检测图像。
19.如权利要求16所述的一种或多种非暂时性计算机可读介质，其中所述第一预测图像和所述第二预测图像包括指示在所述输入图像中检测到的人体关键点的人体关键点估计图像。
20.如权利要求16所述的一种或多种非暂时性计算机可读介质，其中所述第一预测图像和所述第二预测图像包括指示所述输入图像中的辨识出的面部的面部辨识图像。
...【技术特征摘要】
【国外来华专利技术】
1.一种用于以改进的计算效率进行图像修改的计算系统，所述计算系统包括：
2.如任一前述权利要求所述的计算系统，其中获得所述输入图像的所述较低分辨率版本包括缩小所述输入图像的所述较高分辨率版本以获得所述输入图像的所述较低分辨率版本。
3.如任一前述权利要求所述的计算系统，其中：
4.如任一前述权利要求所述的计算系统，其中放大所述增强图像的所提取的部分以生成具有所述放大分辨率的所述放大图像部分包括放大所述增强图像的所提取的部分，使得所述放大分辨率与所述输入图像的所述较高分辨率版本的对应部分的对应分辨率匹配，其中所述对应部分成比例地对应于所述增强图像的所提取的部分。
5.如任一前述权利要求所述的计算系统，其中基于所述细化部分和所述输入图像的所述较高分辨率版本来生成所述输出图像包括将所述细化部分插入所述输入图像的所述较高分辨率版本中。
6.如任一前述权利要求所述的计算系统，其中要替换的所述一个或多个图像元素包括已经基于一个或多个用户输入指定的一个或多个用户指定的图像元素。
7.如任一前述权利要求所述的计算系统，其中要替换的所述一个或多个图像元素是一个或多个计算机指定的图像元素，其中所述一个或多个计算机指定的图像元素是通过利用所述第一机器学习模型或所述第二机器学习模型中的至少一者的一个或多个分类子块处理所述输入图像来指定的。
8.如任一前述权利要求所述的计算系统，其中所述第一预测图像数据和所述第二预测图像数据对应于所述一个或多个图像元素的修复、去模糊、重新着色或平滑化中的一者或多者。
9.如任一前述权利要求所述的计算系统，其中：
10.如任一前述权利要求所述的计算系统，还包括将一个或多个内部特征向量从所述第一机器学习模型传递到所述第二机器学习模型。
11.如任一前述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。