图像处理设备和方法技术

一种用于变换图像的图像处理设备，所述设备包括处理器，所述处理器用于实现经过训练的算法以处理接收的第一图像并根据所述接收的第一图像生成参数集，并且通过向所述第一图像应用局部参数滤波器来生成第二图像，所述局部参数滤波器将所述参数集用作输入。因此，所述设备可以预测将所述局部参数滤波器应用于所述第一图像以生成具有改进图像质量的第二图像所需的一组滤波器参数。像所需的一组滤波器参数。

Image processing apparatus and method

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和方法


[0001]本专利技术涉及一种图像处理，具体涉及使用参数滤波器进行增强或变换。

技术介绍

[0002]人类数字艺术家和摄影师可以通过手动图像增强和修整来提高数字照片的美学质量。目的是让处理后的图像具有视觉吸引力，并具有针对原始输入的感知改进。手动增强方法构成了各种后处理编辑选项，例如图像锐化工具和色彩调整。Photoshop和Lightroom等专业级软件工具允许通过交互式方法和半自动化方法来应用这些修改。除了对比度增强和增亮等基本全局工具外，还可以通过局部图像调整和自适应图像调整来使用高级编辑功能。
[0003]图1(a)和图1(b)示出了两种不同类型的可用局部滤波器，例如在Adobe Lightroom和Photoshop中。图1(a)示出了渐变滤波器，其使用三条平行线102、104和106对选定区域应用线性调整。图1(b)示出了径向滤波器，其以由椭圆108指示的径向方式应用局部调整。
[0004]对于可能因缺乏适当技能和知识而无法完美高效地改善图像的非专业用户而言，手动增强仍然具有挑战性。最终的图像质量高度依赖于最终用户的技能和主观审美判断。即使具备足够高的技能，通常仍需要进行大量的手动编辑才能达到令人满意的增强效果。半自动化工具可能只需要调整几个超参数，从而在一定程度上加快了这个过程，但结果可能对参数值高度敏感，同样需要用户具备经验和专业知识。此外，半自动化方法通常基于硬编码启发式规则，这些规则封装了人类感知经验法则，例如增强细节或拉伸图像对比度。这又会导致方法的脆弱性和低质量的最终效果。
[0005]现有的自动化图像增强方法主要是采用数据驱动的、基于学习的方法。此类模型通常从输入/输出图像对中进行全监督式学习，这些图像被定义为由专业数字艺术家或摄影师编辑的前像和后像。在早期，该领域的工作通常是从输入图像中提取诸如强度分布之类的手工特征，然后相应地学习从低级图像特征到增强工具参数设置值的适当映射。该策略以前已应用于单一的全局编辑工具，例如全局色调和色彩调整。最近的基于学习的工作已经替代地使用深度卷积神经网络(Convolutional Neural Network，CNN)来自动学习图像特征。学习特征逐层编码一系列试图捕获语义信息的低级到高级图像特征。
[0006]在该领域，CNN支持上下文相关的照片编辑。深度CNN已为照片修整带来了明显改进，并且CNN已被用于基于语义信息以及手工全局和局部特征的空间变化颜色映射，例如这篇文章中所述：Yan等人“基于深度神经网络的自动照片调整”，美国计算机学会图形学汇刊(TOG)，35.2(2016):11.；以及用于色觉恒常，其中语义理解有助于解决估计歧义，例如这篇文章中所述：Hu等人，“曝光：白盒照片后处理框架”，美国计算机学会图形学汇刊(SIGGRAPH)，2017年。CNN也被训练用来预测双边空间中的局部仿射变换，它可以用作边缘感知图像滤波器和色彩/色调调整的近似法，例如这篇文章中所述：Gharbi等人，“HDRNet：用于实时图像增强的深度双边学习”，美国计算机学会图形学汇刊(SIGGRAPH)，2017年。
Gharbi等人所做的工作是学习每个RGB通道的局部仿射颜色变换，并在低分辨率版本的图像上计算比例图。但是，此方法不执行任何全局调整。Hu及其同事最近提出的照片后处理框架预测了RGB空间中的全局修整曲线：[Hu等人，2018年，“曝光：白盒照片后处理框架”，美国计算机学会图形学汇刊(TOG)，37.2(2018):26.]。然而，这种方法仅限于单调曲线，这又限制了灵活性，因为不能基于图像空间区域进行局部调整。以下这篇文章中介绍的深度照片增强器可以使用生成对抗网络(Generative Adversarial Network，GAN)设置来学习增强功能：Chen等人，“深度照片增强器：从GAN的照片中进行图像增强的不成对学习”，CVPR，2018年。然而，这种设置可能缺乏可解释性，并且还必须考虑到与GAN模型相关的熟知的最小/最大博弈训练问题。如以下这篇文章所述，Park等人所做的工作是替代地采用深度强化学习来增强图像调整：Park等人，“扭曲和恢复：基于深度强化学习的色彩增强”，CVPR，2018年。然而，他们只能应用全局图像修改(例如对比度或饱和度)，这限制了模型的表现力。相反，在以下这篇最近的“深度亮度估计”论文中，使用编码器
‑
解码器设置来学习比例亮度图：“基于深度照度估计的欠曝光照片增强”，CVPR，2019年。但是，无法执行全局调整。学习的映射可以被认为是高度复杂的，并且关键取决于所采用的正则化策略。最近，在多任务设置中学习图像增强，如这篇文章中所述：Kong等人，“实时图像增强的多任务双边学习”，国际信息显示学会期刊，2019年。总之，近年来人们对利用神经网络结构进行图像增强的基于学习的方法很感兴趣。
[0007]需要开发自动化照片增强工具，该工具可以取代非专业用户的手动工作或为专业艺术家提供改进的手动编辑起点。

技术实现思路

[0008]根据一个方面，提供了一种用于变换图像的图像处理设备，所述设备包括处理器，所述处理器用于实现经过训练的算法以处理接收的第一图像并根据所述接收的第一图像生成参数集，并且通过向所述第一图像应用局部参数滤波器来生成第二图像，所述局部参数滤波器将所述参数集用作输入。所述对所述第一图像的处理使用经过训练的算法自动预测并生成一组参数滤波器，以用于增强所述图像，从而提高图像质量。
[0009]参数滤波器是可以使用有限数量的参数定义的滤波器。局部参数滤波器在应用滤波器的图像的局部区域内起作用。定义滤波器所需的参数数量越少，预测这些参数值的效率就越高。
[0010]所述局部参数滤波器可用于对所述第一图像的不同区域应用不同种类的变换，并且所述参数集包括一个或多个参数，所述一个或多个参数用于确定在所述第一图像中应用所述滤波器以进行特定种类的变换的区域。因此，所述图像处理可以支持在图像的多个区域中组合多个滤波器，以实现最佳的结果图像质量。
[0011]所述局部参数滤波器的特定种类的变换可以取决于输入到所述滤波器的参数，并且所述参数集可以包括用于确定所述特定种类的滤波器变换的一个或多个参数。使用局部参数滤波器意味着与标准模型相比，可以使用一组更少的参数来学习这些简单的滤波器。使用更少的参数也可能意味着实现过程中使用的内存减少以及所需的计算量减少。
[0012]所述滤波器可以是以下滤波器之一：渐变滤波器、椭圆滤波器和多项式滤波器。这些滤波器是常用的简单参数滤波器，它们易于学习并且可以提供改进的输出图像。
[0013]所述滤波器可以调整色调、饱和度、色度、亮度和颜色通道平衡中的一项或多项。对图像的这些特性进行调整可以提高图像质量。
[0014]所述第一图像可以包括一组多个颜色通道中的数据，并且所述滤波器可以调整少于所有颜色通道的数量。由于仅作用于必要的颜色通道以提高图像质量，这可以提高图像变换的实现速度。
[0015]所述经本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于变换图像的图像处理设备(1101)，其特征在于，所述设备包括处理器(1104)，所述处理器用于实现经过训练的算法以处理接收的第一图像并根据所述接收的第一图像生成参数集(A、B、C、T、H、O、K、M)，并且通过向所述第一图像应用局部参数滤波器来生成第二图像，所述局部参数滤波器将所述参数集用作输入。2.根据权利要求1所述的图像处理设备，其特征在于，所述局部参数滤波器用于对所述第一图像的不同区域应用不同种类的变换，并且所述参数集包括一个或多个参数，所述一个或多个参数用于确定在所述第一图像中应用所述滤波器以进行特定种类的变换的区域。3.根据权利要求1或2所述的图像处理设备，其特征在于，所述局部参数滤波器的特定种类的变换取决于输入到所述滤波器的参数，并且所述参数集包括一个或多个参数，所述一个或多个参数用于确定所述滤波器的所述特定种类的变换。4.根据上述权利要求中任一项所述的图像处理设备，其特征在于，所述滤波器是以下滤波器之一：渐变滤波器、椭圆滤波器和多项式滤波器。5.根据上述权利要求中任一项所述的图像处理设备，其特征在于，所述滤波器调整色调、饱和度、色度、亮度和颜色通道平衡中的一项或多项。6.根据上述权利要求中任一项所述的图像处理设备，其特征在于，所述第一图像包括一组多个颜色通道中的数据，并且所述滤波器调整少于所有颜色通道的数量。7.根据上述权利要求中任一项所述的图像处理设备，其特征在于，所述经过训练的算法是机器学习的算法。8.根据上述权利要求中任一项所述的图像处理设备，其特征在于，所述经过训练的算法通过识别所述第一图像中的...

【专利技术属性】
技术研发人员：肖恩，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：