用于图像和视频处理的条件核预测网络和自适应深度预测制造技术

本申请公开了用于图像和视频处理的条件核预测网络和自适应深度预测。实施例一般地涉及用于图像和视频去噪声和其它相关的图像和视频处理应用的条件核预测网络(CKPN)。公开了一种通过在计算引擎上实现的卷积神经网络对图像去噪声的方法的实施例，该图像包括多个像素，该方法包括：对于该图像的该多个像素中的每一个，对于像素生成具有多个核权重的卷积核，多个核权重分别对应于包围该像素的区域内的多个像素；基于对于包围该像素的区域内的相应多个像素分别生成的多个卷积核来调整用于该像素的卷积核的多个核权重；以及利用经调整的该多个核权重和包围该像素的区域内的相应多个像素的像素值来对该像素滤波，以获得去噪声的像素。声的像素。声的像素。

【技术实现步骤摘要】
用于图像和视频处理的条件核预测网络和自适应深度预测


[0001]实施例总体上涉及数据处理，并且更具体地涉及经由通用图形处理单元的图像和视频处理。

技术介绍

[0002]当前的并行图形数据处理包括被开发为用于对图形数据执行特定操作的系统和方法，这些特定操作诸如例如，线性插值、曲面细分、栅格化、纹理映射、深度测试等。传统上，图形处理器使用固定功能计算单元来处理图形数据；然而，最近，图形处理器的多个部分已经变得可编程，使得此类处理器能够支持用于处理顶点和片段数据的更广泛种类的操作。
[0003]为了进一步提高性能，图形处理器典型地实现诸如流水线操作之类的处理技术，这些处理技术尝试贯穿图形流水线的不同部分并行地处理尽可能多的图形数据。具有单指令多线程(SIMT)架构的并行图形处理器被设计成使图形流水线中的并行处理的量最大化。在SIMT架构中，成组的并行线程尝试尽可能频繁地一起同步地执行程序指令，以提高处理效率。可以在Shane Cook的CUDA编程(CUDA Programming)第三章，第37
‑
51页(2013年)中找到对SIMT架构的软件和硬件的总体概述。
附图说明
[0004]为了以能够详细理解本实施例的以上记载特征的方式，可通过参考实施例来对以上简要概括的实施例进行更具体的描述，这些实施例中的一些在所附附图中被图示。然而，应当注意，所附附图仅图示出典型实施例，并且因此不应被认为是对其范围的限制。
[0005]图1是图示配置成用于实现本文中所描述的实施例的一个或多个方面的计算机系统的框图；
[0006]图2A
‑
图2D图示根据实施例的并行处理器组件；
[0007]图3A
‑
图3C是根据实施例的图形多处理器和基于多处理的GPU的框图；
[0008]图4A
‑
图4F图示在其中多个GPU通信地耦合至多个多核处理器的示例性架构；
[0009]图5图示根据实施例的图形处理流水线；
[0010]图6图示根据实施例的机器学习软件栈；
[0011]图7图示根据实施例的通用图形处理单元；
[0012]图8图示根据实施例的多GPU计算系统；
[0013]图9A
‑
图9B图示示例性深度神经网络的层；
[0014]图10图示示例性递归神经网络；
[0015]图11图示深度神经网络的训练和部署；
[0016]图12是图示分布式学习的框图；
[0017]图13图示适用于使用经训练的模型执行推断的示例性推断芯片上系统(SOC)；
[0018]图14是根据实施例的处理系统的框图；
[0019]图15A
‑
图15C图示由本文中描述的实施例提供的计算系统和图形处理器；
[0020]图16A
‑
图16C图示由本文中描述的实施例提供的附加的图形处理器和计算加速器架构的框图；
[0021]图17是根据一些实施例的图形处理器的图形处理引擎的框图；
[0022]图18A
‑
图18B图示根据本文中描述的实施例的包括在图形处理器核中采用的处理元件阵列的线程执行逻辑；
[0023]图19图示根据实施例的附加的执行单元；
[0024]图20是图示根据一些实施例的图形处理器指令格式的框图；
[0025]图21是根据另一个实施例的图形处理器的框图；
[0026]图22A
‑
图22B图示根据一些实施例的图形处理器命令格式和命令序列；
[0027]图23图示根据一些实施例的用于数据处理系统的示例性图形软件架构；
[0028]图24A是图示根据实施例的IP核开发系统的框图；
[0029]图24B图示根据本文中描述的一些实施例的集成电路封装组件的横截面侧视图；
[0030]图24C图示封装组件，该封装组件包括连接到衬底的多个单元的硬件逻辑小芯片(例如，基础管芯)；
[0031]图24D图示根据实施例的包括可互换小芯片的封装组件；
[0032]图25是图示根据实施例的示例性芯片上系统集成电路的框图；
[0033]图26A
‑
图26B是图示根据本文中所描述的实施例的用于在SoC内使用的示例性图形处理器的框图；
[0034]图27A是示出常规的核预测网络(KPN)的示意图；
[0035]图27B是示出通过常规的KPN对像素进行滤波的示例的示意图；
[0036]图28A是示出根据实施例的条件核预测网络(CKPN)的示意图；
[0037]图28B是示出根据实施例的通过CKPN对像素进行滤波的示例的示意图；
[0038]图29是示出根据实施例的具有自适应深度预测逻辑的核生成逻辑的示意图；
[0039]图30是示出根据实施例的通过CKPN对图像去噪声的方法的流程图；
[0040]图31是示出根据实施例的用于预测在生成卷积核时卷积神经网络的目标深度的方法的流程图；以及
[0041]图32是根据实施例的用于图像去噪声的装置的框图。
具体实施方式
[0042]在一些实施例中，图形处理单元(GPU)通信地耦合至主机/处理器核以加速图形操作、机器学习操作、模式分析操作、以及各种通用GPU(GPGPU)功能。GPU可通过总线或另一互连(例如，诸如PCIe或NVLink之类的高速互连)而通信地耦合至主机处理器/核。在其他实施例中，GPU可与核集成在同一封装或芯片上，并且通过内部处理器总线/互连(即，在封装或芯片的内部)通信地耦合至核。不论连接GPU所采用的方式如何，处理器核都可以采取工作描述符中所包含的命令/指令序列的形式将工作分配给GPU。GPU随后使用专用电路/逻辑来有效地处理这些命令/指令。
[0043]在下列描述中，阐述了众多特定细节来提供更全面的理解。然而，对本领域技术人员将会显而易见的是，可在没有这些特定细节中的一个或多个细节的情况下实施本文中所
描述的实施例。在其他实例中，未描述公知的特征以避免使当前实施例的细节变得模糊。
[0044]系统概览
[0045]图1是图示出被配置成用于实现本文中所描述的示例性实施例的一个或多个方面的计算系统100的框图。计算系统100包括具有一个或多个处理器102和系统存储器104的处理子系统101，这一个或多个处理器102与系统存储器104经由可包括存储器中枢105的互连路径进行通信。存储器中枢105可以是芯片组组件内的单独组件或者可被集成在一个或多个处理器102内。存储器中枢105经由通信链路106而与I/O子系统111耦合。I/O子系统111包括I/O中枢107，该I/O中枢107可以使得计算系统100能够从一个或多个输入设备108接收输入。另外，I/O中枢107可以使得显示控制器能够向一个或多个显示设备110A提供输出，该显示控制器可包括在一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通过在计算引擎上实现的卷积神经网络对图像去噪声的方法，所述图像包括多个像素，所述方法包括：对于所述图像的所述多个像素中的每一个，对于所述像素生成具有多个核权重的卷积核，多个核权重分别对应于包围该像素的区域内的多个像素；基于对于包围所述像素的区域内的相应多个像素分别生成的多个卷积核来调整用于所述像素的卷积核的多个核权重；以及利用经调整的所述多个核权重和包围所述像素的区域内的相应多个像素的像素值来对所述像素滤波，以获得去噪声的像素。2.如权利要求1所述的方法，其特征在于，基于对于包围所述像素的区域内的相应多个像素生成的多个卷积核来调整用于所述像素的多个核权重是基于：所述像素的卷积核与对于包围所述像素的区域内的相应多个像素生成的多个卷积核的每一个之间的关联，以及所述像素相对于包围所述像素的区域内的相应多个像素中的每一个的相对位置。3.如权利要求2所述的方法，其特征在于，基于对于包围所述像素的区域内的相应多个像素生成的多个卷积核来调整用于所述像素的多个核权重是根据以下公式：其中：Ω(i)表示包围像素i的k
×
k区域，其中像素i是该k
×
k区域的中心像素，f
i
是对于像素i生成的具有多个核权重的卷积核的矩阵表示，并且具有k2×
1的维度，f
j
是对于包围像素i的k
×
k区域内的像素j生成的具有多个核权重的卷积核的矩阵表示，并且具有k2×
1的维度，K(f
i
，f
j
)表示将卷积核f
i
与用于包围像素i的k
×
k区域内的像素j的卷积核f
j
相关联的联合函数，w
j
是指示包围像素i的k
×
k区域内的像素j的位置的位置标量，以及是用于像素i的经调节的卷积核的矩阵表示，并且具有k2×
1的维度。4.如权利要求3所述的方法，其特征在于，所述联合函数K(f
i
，f
j
)和位置标量w
j
是由所述卷积神经网络通过学习获得。5.如权利要求3所述的方法，其特征在于，所述联合函数K(f
i
，f
j
)是的形式，并且所述经调节的核权重是根据以下公式计算得出的：其中：Ω(i)表示包围像素i的k
×
k区域，其中像素i是该k
×
k区域的中心像素，是卷积核f
i
的转置矩阵表示，并且具有1
×
k2的维度，g
j
是具有维度k2×
1的独热向量，其中第j行的元素是1而其它行是0，是对于包围像素i的区域内的多个像素分别生成的卷积核f
j
的转置矩
阵表示的横向拼接，所述转置矩阵表示具有k2×
1的维度，具有k2×
k2的维度，diag(f
i
)是包含卷积核f
i
的多个核权重作为对角矩阵元素的对角矩阵，并且具有k2×
k2的维度，是位置标量w
j
的向量表示，并且具有k2×
1的维度，以及是用于像素i的经调节的卷积核的矩阵表示，并且具有k2×
1的维度。6.如权利要求1所述的方法，其特征在于，利用经调节的所述多个核权重和包围所述像素的区域内的相应多个像素的像素值来对所述像素滤波包括：计算包围所述像素的区域内的所述多个像素的像素值中的每一个与经调节的所述多个核权重中的相应一个相乘之后的和。7.如权利要求1所述的方法，其特征在于，对于所述像素生成具有多个核权重的卷积核进一步包括：确定用于生成用于所述像素的卷积核的卷积神经网络的目标深度，所确定的目标深度小于或等于所述卷积神经网络的完全深度；以及利用所述卷积神经网络的所确定的目标深度来推断所述卷积核。8.如权利要求7所述的方法，其特征在于，由所述卷积神经网络对于所述图像的每个像素单独地确定所述目标深度。9.如权利要求7所述的方法，其特征在于，在训练的每次迭代中，可利用基于随机采样的目标深度和预测的目标深度计算的损失来训练所述卷积神经网络。10.一种用于对图像去噪声的装置，包括：计算引擎，所述计算引擎用于通过卷积神经网络对图像去噪声，所述图像包括多个像素，所述计算引擎用于：对于所述图像的所述多个像素中的每一个，对于...

【专利技术属性】
技术研发人员：姚安邦，陆鸣，王一凯，陈玉荣，A，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：