基于机器学习的图像处理技术制造技术

本文中公开了基于机器学习的图像处理架构和相关联的应用。在一些实施例中，训练机器学习框架以学习低级图像属性，诸如对象/场景类型、几何形状、放置、材料和纹理、相机特性、照明特性、对比度、噪声统计信息等。之后，该机器学习框架可以被采用以在其他图像中检测这样的属性，并在属性级别处理该图像。

Image processing technology based on machine learning

【技术实现步骤摘要】
【国外来华专利技术】基于机器学习的图像处理技术其他申请的交叉引用本申请要求2017年8月4日提交的题为DIRECTANDDERIVED3DDATAFORMACHINELEARNINGINIMAGEBASEDAPPLICATIONS的美国临时专利申请No.62/541,603的优先权，该美国临时专利申请出于所有目的通过引用并入本文中。
技术介绍
图像处理技术传统上已经以像素级别（即，对像素值或像素强度）进行操作。然而，对于诸如更改图像的高级视觉外观之类的应用，对低级（low-level）像素数据进行操作是不实际的。对于此类任务，基于特征的方法更为有效。基于特征的技术包括：首先定义具体特征（例如，边缘、斑块、SURF、SIFT等）的集合，并且然后定义关于可以被用来分析和操纵图像内容的那些特征的数学模型。机器学习技术可以被采用以基于相关的取决于应用的成本函数来学习特征和数学模型参数中的任一个或两个。然而，这样的人工智能技术需要详尽的训练数据集，该数据集跨越针对特定应用的所有特征的空间，并利用相关地面真实数据被标记。对于大多数有用的应用，通常禁止收集详尽的训练数据集。另外，很难用更复杂或更精细的地面真实数据来标记图像。因此，直到最近，机器学习技术的使用尚被限于基本的对象识别或分类应用。因此，需要并在本文中公开了一种克服这种局限并有效利用机器学习技术的图像处理架构，以及由此产生的新颖的基于图像的应用。附图说明在以下的详细描述和附图中公开了本专利技术的各种实施例。图1是用于学习与数据集相关联的属性的基于机器学习的图像处理框架的实施例的高级框图。图2图示了来自目录的展出图像（curatedimage）的示例。图3是用于将属于集合的图像缩小或分解为关键属性的图像处理框架的实施例的高级框图。图4是用于自动生成展出图像的图像处理框架的实施例的高级框图。图5是基于机器学习的图像处理架构的实施例的高级框图。图6A是用于重新风格化（restyle）的图像处理应用的实施例的高级框图。图6B图示了使用重新风格化应用的示例。图7A是图像处理应用的实施例的高级框图，该图像处理应用用于以不同的对象替代图像中的对象。图7B图示了使用对象替代应用的示例。图8A是用于对图像进行降噪的图像处理应用的实施例的高级框图。图8B图示了使用降噪应用的示例。具体实施方式本专利技术可以以众多方式实现，这些方式包括作为过程；装置；系统；物质的组成；被体现在计算机可读存储介质上的计算机程序产品；和/或处理器，诸如被配置成执行存储在耦合到处理器的存储器上的指令和/或由耦合到处理器的存储器提供的指令的处理器。在本说明书中，可以将这些实现方式或本专利技术可以采取的任何其它形式称为技术。一般而言，可以在本专利技术的范围内更改所公开过程的步骤的次序。除非另行说明，否则可以将被描述为被配置成实行任务的诸如处理器或存储器之类的组件实现为暂时地被配置成在给定时间实行任务的通用组件或被制造成实行该任务的特定组件。如本文中使用的，术语“处理器”指代被配置成处理数据（诸如计算机程序指令）的一个或多个设备、电路和/或处理核心。下面连同图示了本专利技术的原理的附图一起提供对本专利技术的一个或多个实施例的详细描述。结合这样的实施例对本专利技术进行描述，但是本专利技术并不限于任何实施例。本专利技术的范围仅受权利要求限制，并且本专利技术涵盖众多替换方案、修改和等同物。在以下描述中阐述了众多具体细节，以便提供对本专利技术的透彻理解。这些细节被提供以用于示例的目的，并且可以根据权利要求在没有这些具体细节中的一些或全部的情况下实践本专利技术。为了清晰起见，在与本专利技术相关的
中已知的技术材料并未被详细描述，以免不必要地模糊本专利技术。本文中公开了图像处理架构和由此产生的基于图像的应用。通常，图像可以包括场景，该场景包括单个对象、多个对象或丰富（虚拟）环境，并且另外可以包括动画或视频序列的静止图像或帧。此外，图像可以包括（高质量）照片或（照片级（photorealistic））渲染。包括机器学习技术的人工智能技术是数据驱动的，并且因此需要详尽的训练数据集才能对大多数实际应用有效。因此，将机器学习技术用于基于图像的应用的基础依赖于对综合训练数据集的访问，已经用与所需应用相关的适当元数据来对该综合训练数据集进行标记或加标签。在该描述中，一般地描述了机器学习技术，并且在各种实施例中，机器学习技术可以包括使用适合于给定应用的一个或多个机器学习架构（诸如深度神经网络和卷积神经网络）的任何组合。此外，术语“标记”、“标签”和“元数据”在本说明书中可互换使用，以指代与诸如图像之类的数据或内容单元相关联并保持一致的性质或属性。所公开的图像处理架构的基本方面包括：内容生成平台，其用于生成利用相关地面真实数据进行标记的综合图像数据集。这样的数据集可以例如填充有从三维（多边形网格）模型渲染的图像和/或从诸如相机之类的成像设备或诸如3D扫描仪之类的扫描设备捕获的图像。可以在例如离线处理期间生成图像数据集，该图像数据集涵盖以下各项的详尽排列：对象和布置的个体和/或组合、相机视角或姿态、照明类型和位置、材料和纹理等。此外，可以从外部来源获得图像资产。当在生成时间生成图像时，可以生成元数据并将其与图像相关联（例如，用来对图像进行标记或加标签），和/或可以在之后添加或修改元数据，并且另外可以自动生成元数据和/或可以至少部分地手动确定或定义元数据。图1是用于学习与数据集相关联的属性的基于机器学习的图像处理框架100的实施例的高级框图。收集或生成图像数据集104。在许多情况下，图像数据集104包括高质量（即，高清晰度或分辨率）照片或照片级渲染。可以至少部分地由从（如图1的示例中描绘的）三维模型102渲染的图像、从图像或扫描设备捕获的图像、来源于外部实体的图像或使用各种处理技术的从其他现有图像生成的图像来填充图像数据集104。通常，数据集104包括不同视角或视点、材料和纹理、照明源和位置、相机配置、对象组合和放置等的任何任意数量的排列。用综合的标记或元数据的集合来给包括数据集104的图像加标签。为规定数据集的图像定义和/或选择的标记的集合可以至少部分取决于应用。标记的集合可以包括：一个或多个分层的高级标记，其提供对包括图像的（一个或多个）对象和/或场景的分类。该标记的集合可以另外包括较低级标记，该较低级标记包括地面真实数据，该地面真实数据与从（一个或多个）底层三维模型渲染图像或其部分或使用诸如相机或扫描仪之类的物理设备捕获图像相关联。这样的标记的示例包括：与包括图像的场景的（三维）几何形状相关联的标记，诸如对象类型和位置、包括场景的对象的材料性质、表面法线矢量、照明类型和方位（例如，直接源以及间接源，诸如有助于大量高阶反弹的反射表面）、相机特性（例如，视角或姿态、取向、旋转、深度信息、焦距、孔径、缩放级别）等。该标记可以包括各种场景对象、光源和对场景进行捕获的（虚拟）相机当中的绝对和/或相对位置或方位、取向和深度信息。可以将不是基于场景的而是基于图像的其他本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n使用机器学习框架来检测输入图像的一个或多个属性的集合；以及/n输出包括所述输入图像的经修改版本的输出图像，其中，通过修改检测到的属性的集合的至少一个子集来修改所述输入图像。/n

【技术特征摘要】
【国外来华专利技术】20170804 US 62/5416031.一种方法，包括：
使用机器学习框架来检测输入图像的一个或多个属性的集合；以及
输出包括所述输入图像的经修改版本的输出图像，其中，通过修改检测到的属性的集合的至少一个子集来修改所述输入图像。


2.根据权利要求1所述的方法，其中，在由所述机器学习框架进行检测之前，对于所述输入图像，检测到的属性的集合是未知的。


3.根据权利要求1所述的方法，其中，检测到的属性的集合与风格或美学效果相关联。


4.根据权利要求3所述的方法，其中，所述输出图像包括所述输入图像的重新风格化的版本。


5.根据权利要求1所述的方法，其中，检测到的属性的集合与第一风格相关联，并且所述输出图像的经修改的属性的集合与第二风格相关联。


6.根据权利要求5所述的方法，其中，修改所述输入图像包括将所述第一风格修改为所述第二风格。


7.根据权利要求1所述的方法，其中，检测到的属性的集合与所述输入图像中的对象相关联。


8.根据权利要求7所述的方法，其中，所述输入图像中的对象由所述输出图像中的不同对象替代。


9.根据权利要求1所述的方法，其中，检测到的属性的集合与照明相关联。


10.根据权利要求9所述的方法，其中，所述输出图像包括所述输入图像的重新照明的版本。


11.根据权利要求1所述的方法，其中，检测到的属性的集合与噪声相关联。


12.根据权利要求11所述的方法，其中，所述输出图像包括所述输入图像的去噪版本。


13.根据权利要求1所述的方法，其进一步包括利用经修改的属性的集合对所述输出图像进行标记或加标签。


14.根据权利要求1所述的方法，其中，检测到的属性的集合包括与对象/场景类型、几何形状、放置、材料、纹理、相机特性、照明特性、噪声统计信息和对比度相关联的一个或多个属性。


15.根据权利要求1所述的方法，其中，在图像数据集上训练所述机器学习框架，所述图像数据集包括与所述输入图像所属的规定场景类型相关联的受约束的对象集合的排列。


16.根据权利要求1所述的方法，其中，在包括从三维对象模型渲染的标记图像的数据集上训练所述机器学习框架。


17.根据权利要求1所述的方法，其中，所述输入图像和所述输出图像均包括照片或照片级渲染。


18.根据权利要求1所述的方法，其中，所述输入图像和所述输出图像均包括动画或视频序列的帧。


19.一种系统，包括：
处理器，其被配置成：
使用机器学习框架来检测输入图像的一个或多个属性的集合；以及
输出包括所述输入图像的经修改版本的输出图像，其中，通过修改检测到的属性的集合的至少一个子集来修改所述输入图像；以及
存储器，其耦合到所述处理器并被配置成向所述处理器提供指令。


20.一种计算机程序产品，其体现在非暂时性计算机可读存储介质中，并且包括计算机指令以用于：
使用机器学习框架来检测输入图像的一个或多个属性的集合；以及
输出包括所述输入图像的经修改版本的输出图像，其中，通过修改检测到的属性的集合的至少一个子集来修改所述输入图像。


21.一种方法，包括：
使用机器学习框架来检测与具有共享美学效果的图像的第一集合相关联的美学属性；以及
通过将检测到的美学属性应用于被用来渲染图像的第二集合的三维对象模型，生成具有相同的共享美学效果的图像的第二集合。


22.根据权利要求21所述的方法，其中，所述图像的第一集合的共享美学效果来自后处理。


23.根据权利要求21所述的方法，其中，由艺术家将所述共享美学效果赋予所述图像的第一集合。


24.根据权利要求21所述的方法，其中，在没有艺术家输入或后处理的情况下，生成具有相同的共享美学效果的所述图像的第二集合。


25.根据权利要求21所述的方法，其中，所述美学属性包括一个或多个低级属性的组合。


26.根据权利要求25所述的方法，其中，所述美学属性可分离为其构成的低级属性。


27.根据权利要求25所述的方法，其中，所述低级属性包括与对象/场景类型、几何形状、放置、材料、纹理、相机特性、照明特性、噪声统计信息和对比度相关联的一个或多个属性。


28.根据权利要求21所述的方法，其中，所述共享美学效果与规定品牌相关联。


29.根据权利要求21所述的方法，其中，所述共享美学效果与规定场景类型相关联。


30.根据权利要求21所述的方法，其中，所述第二集合包括比所述第一集合更多的图像。


31.根据权利要求21所述的方法，其中，所述第一集合和所述第二集合共同包括具有共享美学效果的图像的超级目录，其中仅所述第一集合是艺术家后处理的。


32.根据权利要求21所述的方法，其中，所述第一集合和所述第二集合共同包括具有共享美学效果的图像的超级目录，所述共享美学效果被用来进一步训练和构建所述机器学习框架。


33.根据权利要求21所述的方法，进一步包括利用...

【专利技术属性】
技术研发人员：C徐，M帕马，
申请(专利权)人：奥沃德公司，
类型：发明
国别省市：美国;US