像素级预测任务的低复杂度深度导向滤波器解码器制造技术

一种图像处理的方法包括：确定第一特征，其中第一特征具有维度D1；确定第二特征，其中第二特征具有维度D2并且基于特征提取网络的输出；通过处理第一特征来生成第三特征，该第三特征具有维度D3；通过处理第二特征来生成导向，该导向具有维度D3；通过使用导向将深度导向滤波器(DGF)应用于第三特征来生成滤波器输出；基于滤波器输出来生成图谱；以及基于该图谱来输出经处理的图像。谱来输出经处理的图像。谱来输出经处理的图像。

【技术实现步骤摘要】
像素级预测任务的低复杂度深度导向滤波器解码器
[0001]相关申请的交叉引用
[0002]本申请基于2021年3月16日提交的美国临时专利申请No.63/161,827、2021年5月18日提交的美国临时专利申请No.63/190,128、2021年7月21日提交的美国临时专利申请No.63/224,312、和2021年12月27日提交的美国专利申请No.17/563,012，并要求其优先权，其内容通过引用并入本文。


[0003]本公开总体上涉及用于深度导向滤波器(Deep Guided Filter，DGF)图像处理的方法和设备、以及训练或优化低复杂度DGF的方法。

技术介绍

[0004]语义分割是在某些计算机视觉任务等中使用的过程。基于神经网络的语义分割可以使用旨在将输入图像中的像素(例如，每个像素)分类到类别(例如，设置类别或预定义类别)的密集预测网络。对于一些任务，诸如将平滑滤波器应用于图像、内容感知图像信号处理(Image Signal Processing，ISP)或自动驾驶，在语义边界区域中实现这样的分类的准确性可能是重要的。然而，在一些过程中，实现这样的准确性可能以增加计算复杂度为代价，这可能涉及繁重的时间量和/或计算资源。

技术实现思路

[0005]根据一些实施例，一种图像处理的方法，包括：确定第一特征，其中第一特征具有维度D1；确定第二特征，其中第二特征具有维度D2并且基于特征提取网络的输出；通过处理第一特征来生成第三特征，该第三特征具有维度D3；通过处理第二特征来生成导向，该导向具有维度D3；通过使用导向将深度导向滤波器(DGF)应用于第三特征来生成滤波器输出；基于滤波器输出来生成图谱(map)；以及基于该图谱来输出经处理的图像。
[0006]根据一些实施例，一种系统包括处理电路，被配置为实施图像处理的方法。该方法包括：确定第一特征，其中第一特征具有维度D1；确定第二特征，其中第二特征具有维度D2并且基于特征提取网络的输出；通过处理第一特征来生成第三特征，该第三特征具有维度D3；通过处理第二特征来生成导向，该导向具有维度D3；通过使用导向将深度导向滤波器(DGF)应用于第三特征来生成滤波器输出；基于滤波器输出来生成图谱；以及基于该图谱来输出经处理的图像。
附图说明
[0007]从以下详细描述和附图中，本公开的某些实施例的某些方面、特征和优点将是显而易见的，其中：
[0008]图1示出了被配置用于电子通信的通信系统100的示例实施例；
[0009]图2示出了使用DGF的图像处理方法的比较示例；
[0010]图3示出了使用DGF的图像处理方法的示例实施例；
[0011]图4示出了在图3所示的图像处理方法中使用的DGF的示例实施例；
[0012]图5示出了使用DGF的图像处理方法的另一示例实施例；
[0013]图6示出了双分辨率DGF的示例实施例；
[0014]图7示出了单分辨率DGF的示例实施例；
[0015]图8示出了DGF训练过程的示例实施例；并且
[0016]图9示出了被配置为管理使用DGF的图像处理的系统的示例实施例。
具体实施方式
[0017]本文描述的某些实施例经由使用改进的DGF和语义分割来提供改进的图像平滑，并且可以包括低复杂度DGF和像素级预测。该图像处理可以是更大的图像处理方法或流水线的一部分，或者可以独立使用。在一些实施例中，应用对图像进行平滑的平滑滤波器。在一些实施例中，相对于图像的其他区域，可能期望对图像的不同语义区域之间的边界应用更弱或更少的平滑，以帮助维持那些语义区域(例如，图像中草地和天空之间的边界)之间的鲜明区别。语义分割可以用于帮助识别或定义这样的边界，平滑然后可以相应地被执行。
[0018]某些比较平滑图像处理技术，诸如图2所示和下面详细描述的那些技术，涉及向DGF输入“导向(guidance)”。DGF可以包括例如边缘保持平滑滤波器(保持语义区域之间的鲜明边界的平滑滤波器)。DGF可以利用明确地(例如，经由“平滑”权重或度量)或隐含地指示应该应用多少平滑的导向。例如，导向可以指示一个或多个像素是否是语义边界的一部分(或者一个或多个像素是语义边界的一部分的似然性)，并且平滑可以相应地被应用(例如，强有力地应用于非边界像素，而不太强有力地应用于边界像素)。通过另一示例的方式，导向可以指示图像的分块(patch)是高方差或低方差，并且平滑可以相应地被应用(例如，强有力地应用于低方差分块，而不太强有力地应用于高方差分块)。
[0019]根据本文描述的某些示例实施例，诸如图3所示和下面详细描述的那些示例实施例，改进的DGF可以利用比在比较技术中使用的导向更低分辨率的导向(即，维度上更小和/或尺寸上更小(如本文所使用的，“维度”或“尺寸”可以指数据量或数据点的数量(例如，具有三个像素的高度和三个像素的宽度的图像具有3
×
3的维度，即九的维度)))。这可以导致更快的过程和/或使用更少计算资源的过程。
[0020]图1示出了被配置用于电子通信(例如，蜂窝、Wi
‑
Fi、卫星或其他电子通信)的通信系统100的示例实施例。通信系统100包括网络系统102、网络104和设备106。网络系统102可以包括一个或多个服务器。网络104可以包括例如蜂窝、Wi
‑
Fi、卫星或其他网络。设备106可以包括例如被配置为经由网络104进行通信的任何设备(例如，移动设备、智能手机、平板电脑、台式电脑、膝上型电脑、服务本地设备并将它们连接到网络104的局域网(LAN)设备(诸如路由器)、物联网(IoT)设备或任何其他适当的通信设备)。本文描述的技术可以由通信系统100或者由其一个或多个组件实施。
[0021]在一些实施例中，本文描述的技术可以由网络系统102实施，以处理存储在网络系统102上的图像(例如，由设备106经由网络104传送到网络系统102的图像)，和/或训练或优化DGF。在一些实施例中，优化的或训练的DGF或者其优化的参数可以经由网络104从网络系统102传送到设备106。在一些实施例中，本文描述的技术可以由设备106实施，以处理存储
在设备106上的图像，和/或训练或优化存储在设备106上的DGF。
[0022]尽管本文描述的某些实施例可以被描述为由网络系统102或设备106执行，但是应该理解，实施例不限于此，并且可以例如由网络系统102、设备106或其组合执行。
[0023]图2示出了使用DGF的图像处理方法200的比较示例。图像处理方法200可以由设备106执行。图像处理方法200可以包括确定要在输入图像上使用的用于图像平滑过程的图谱。图像处理方法200包括确定并处理第一特征(202)，确定并处理第二特征(204)，生成图谱(206)，生成导向(208)，用DGF进行处理(210)，以及用细化的图谱处理输入图像(212)。图像处理方法200的输出可以包括平滑的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理的方法，包括：确定第一特征，其中所述第一特征具有维度D1；确定第二特征，其中所述第二特征具有维度D2并且基于特征提取网络的输出；通过处理所述第一特征来生成第三特征，所述第三特征具有维度D3；通过处理所述第二特征来生成导向，所述导向具有维度D3；通过使用所述导向将深度导向滤波器DGF应用于所述第三特征来生成滤波器输出；基于所述滤波器输出来生成图谱；以及基于所述图谱来输出经处理的图像。2.根据权利要求1所述的方法，还包括基于要被处理的图像来确定所述第二特征，使得所述第二特征编码边界信息。3.根据权利要求1所述的方法，还包括基于要被处理的图像来确定所述第一特征，使得所述第一特征编码关于所述要被处理的图像的语义信息。4.根据权利要求1所述的方法，其中，D1大于D2。5.根据权利要求1所述的方法，其中，所述第一特征和所述第二特征是基于要被处理的图像来确定的，所述要被处理的图像具有维度D4，并且D4大于D1、D2和D3中的每一个。6.根据权利要求1所述的方法，其中：处理所述第二特征包括将第一卷积应用于所述第二特征以生成第一经卷积的特征，以及基于所述滤波器输出来输出经处理的图像包括将所述滤波器输出与所述第一经卷积的特征聚合。7.根据权利要求6所述的方法，其中，将所述滤波器输出与所述第一经卷积的特征聚合包括将所述滤波器输出与所述第一经卷积的特征连结。8.根据权利要求6所述的方法，其中，处理所述第二特征包括将第二卷积应用于所述第一经卷积的特征以生成第二经卷积的特征，并且所述导向基于所述第二经卷积的特征。9.根据权利要求6所述的方法，其中，使用所述导向将所述DGF应用于所述第三特征包括：生成所述导向的下采样版本；使用滤波过程来获得系数，其中在所述滤波过程中使用所述导向的下采样版本；对所述系数进行上采样以匹配所述导向的维度；以及将所述系数应用于所述导向。10.根据权利要求1所述的方法，其中，使用所述导向将所述DGF应用于所述第三特征包括：生成所述导向的下采样版本；使用滤波过程来获得系数，其中在所述滤波过程中使用所述导向的下采样版本；将所述系数应用于所述导向的下采样版本，以生成结果；以及对所述结果进行上采样。11.一种图像处理的系统，包括：处理电路，被配置为实施图像处理的方法，所述方法包括：确定第一特征，其中所述第一特征具有维度D1；
确定第二特征...

【专利技术属性】
技术研发人员：刘青峰，粟海，莫斯塔法伊尔哈米，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：