机器学习环境中的有效卷积制造技术

描述了一种用于促进机器学习环境中的智能卷积的机制。如本文所述的实施例的设备包括：一个或多个处理器，包括一个或多个图形处理器；以及检测和选择逻辑，用于检测和选择具有与神经网络将被训练的对象相关联的多个几何形状的输入图像。该设备进一步包括滤波器生成和存储逻辑(“滤波器逻辑”)，用于基于多个几何形状生成提供权重的滤波器，其中滤波器逻辑进一步用于基于多个几何形状中的共同几何形状对滤波器组中的滤波器进行分类，并且其中滤波器逻辑进一步基于共同几何形状将滤波器组存储在箱中，其中每个箱对应于几何形状。

Effective Convolution in Machine Learning Environment

【技术实现步骤摘要】
机器学习环境中的有效卷积
本文中所描述的实施例总体上涉及计算机。更具体地，描述了用于促进机器学习环境中的有效卷积的实施例。技术背景神经网络模型可以实现为在非循环图中连接的节点(神经元)的集合。一种类型的神经网络，“前馈网络”，可以在其节点的输入层处接收输入(单个向量)，并且通过一系列隐藏层将输入映射到节点的输出层中的值。网络中的每个层由一组神经元组成，其中每个神经元完全连接到(多个)相邻层中的所有神经元，并且其中层内的神经元不共享任何连接。如果网络正在对分类建模，则输出层中的节点中的每一个可以表示实体所属的可能类别中的一种，并且每个输出节点的值可以表示输入实体属于该类别的概率。卷积神经网络(CNN)是另一种类型的神经网络模型，其可以通过对输入数据执行卷积运算来对特征检测进行建模。例如，在图像处理中，CNN可以接收原始图像数据输入，并随后输出表示原始数据的抽象的一组特征图。神经网络在各种应用领域中已经呈上升趋势；然而，传统的神经网络模型需要大量的存储器和计算能力。在某些情况下，在其性能能够满足指定的性能要求之前，导出神经网络模型可能涉及多次训练，甚至是连续的训练。参考图15-19进一步描述神经网络建模。当前的并行图形数据处理包括被开发用于对图形数据执行特定操作的系统和方法，所述特定操作诸如例如线性插值、曲面细分、光栅化、纹理映射、深度测试等。此外，可编程的通用图形处理器可以被配置成执行各种各样的操作，以用于处理顶点和片段数据，以及用于执行通用并行处理操作。例如，具有单指令多线程(SIMT)架构的并行图形处理器被设计成使图形流水线中的并行处理量最大化。在SIMT架构中，多组并行线程尝试尽可能经常地一起同步执行程序指令，以提高处理效率。用于SIMT架构的软件和硬件的一般性概述可以在ShaneCook的《CUDA编程(CUDAProgramming)》，第3章，第37到51页(2013年)和/或NicholasWilt的《CUDA手册，GPU编程的综合指南(CUDAHandbook，AComprehensiveGuidetoGPUProgramming)》，章节2.6.2到3.1.2(2013年6月)中找到。附图说明在所附附图的各图中，以示例方式而不以限制方式说明实施例，其中相同的附图标记指代类似的元件。图1是根据实施例的处理系统的框图。图2是处理器的实施例的框图，所述处理器具有一个或多个处理器核、集成存储器控制器以及集成图形处理器。图3是图形处理器的框图，所述图形处理器可以是分立的图形处理单元，或可以是与多个处理核集成的图形处理器。图4是根据一些实施例的图形处理器的图形处理引擎的框图。图5是根据一些实施例的图形处理器核的硬件逻辑的框图。图6A-6B示出了根据一些实施例的包括在图形处理器核中采用的处理元件阵列的线程执行逻辑。图7是示出了根据一些实施例的图形处理器指令格式的框图。图8是图形处理器的另一实施例的框图。图9A是示出根据实施例的图形处理器命令格式的框图。图9B是示出根据实施例的图形处理器命令序列的框图。图10示出了根据一些实施例的用于数据处理系统的示例性图形软件架构。图11A是示出了根据实施例的可用于制造集成电路以执行操作的IP核开发系统的框图。图11B示出了根据一些实施例的集成电路封装组件的横截面侧视图。图12是示出了根据实施例的可以使用一个或多个IP核来制造的示例性芯片上系统集成电路的框图。图13A-13B是示出根据本文描述的实施例的用于在芯片上系统(SoC)内使用的示例性图形处理器的框图。图14A-14B示出了根据本文描述的实施例的附加示例性图形处理器逻辑。图15是机器学习软件栈的广义图。图16A示出了具有卷积神经网络(CNN)的各种层。图16B示出了CNN的卷积层内的计算阶段。图17示出了示例性递归神经网络。图18示出了深度神经网络的训练和部署。图19是示出分布式学习的框图。图20示出了根据一个实施例的主控(host)智能深度学习卷积机制的计算设备。图21示出了根据一个实施例的智能深度学习卷积机制。图22A示出了根据一个实施例的用于促进基于几何形状的滤波器的生成和存储以用于智能深度学习卷积的方法。图22B示出了根据一个实施例的用于滤波器和神经网络的基于几何形状的训练的方法。图22C示出了根据一个实施例的用于促进用于深度学习中的智能卷积的卷积滤波器的分离的方法。图23A示出了根据一个实施例的用于深度学习中的基于几何形状的智能卷积的事务序列。图23B示出了根据一个实施例的用于深度学习中的智能卷积的可分离卷积的事务序列。图24示出了根据一个实施例的用于执行可分离卷积的结构设置。图25是示出了被配置成实现本文所描述的实施例的一个或多个方面的计算机系统的框图。图26A-26D示出了根据实施例的并行处理器部件。图27A-27B是根据实施例的图形多处理器的框图。图28A-28G示出了其中多个图形处理单元(GPU)被通信地耦合至多个多核处理器的示例性架构。图29示出了根据实施例的图形处理流水线。具体实施方式在以下描述中，陈述了众多具体细节。然而，在没有这些特定细节的情况下，也可实施如上文描述的多个实施例。在其他实例中，未详细示出公知的电路、结构和技术，以免使对本描述的理解模糊。实施例提供了一种新颖的技术，该新颖的技术用于减少由神经网络(NN)模型通过为下卷积层提供类别专用的权重填充器(filler)来实现收敛所花费的时间。此外，关于要被识别的类别的复杂性，可以重新训练神经网络，其中二维(2D)空间卷积的初始层被修改成两个分开的一维(1D)卷积。这种新颖的技术可以降低整个操作的复杂性，并提高整体速度，而不会影响或失去任何准确性。可以预见，贯穿本文档，可以互换地引用诸如“请求”、“查询”、“作业”、“工作”、“工作项”和“工作负荷”之类的术语。类似地，“应用”或“代理”可以指代或包括通过诸如自由渲染应用编程接口(API)(诸如开放图形库11，12等)之类的API提供的计算机程序、软件应用、游戏、工作站应用等，其中“分派”可以互换地称为“工作单位”或“绘制”，并且类似地，“应用”可以互换地称为“工作流”或简单地称为“代理”。例如，诸如三维(3D)游戏的工作负荷之类的工作负荷可以包括并发布任何数量和类型的“帧”，其中，每个帧可以表示图像(例如，帆船、人脸)。此外，每个帧可以包括并提供任何数量和类型的工作单元，其中，每个工作单元可以表示由其相应帧表示的图像(例如，帆船、人脸)的一部分(例如，帆船的桅杆、人脸的前额)。然而，为了一致性，贯穿本文档，每一项可以由单个术语(例如，“分派”、“代理”等)来引用。在一些实施例中，如“显示屏”和“显示表面”之类的术语可用于互换地指代显示设备的可见部分，而显示设备的其余部分可以被嵌入到诸如智能电话、可穿戴设备之类的计算设备中。可以预见并且应当注意，实施例不限于任何特定的计算设备、软件应用、硬件部件、显示设备、显示屏或表面、协议、标准等。例如，实施例可被应用于并且可以与在任何数量和类型的计算机上的任何数量和类型的实时应用一起使用，所述计算机诸如台式机、膝上型计算机、平板计算机、智能电话、头戴式显示器、以及其他可穿戴设备等。进一步地，例如，使用这种新颖技术渲染高效性本文档来自技高网...

【技术保护点】
1.一种用于促进机器学习环境中的智能卷积的设备，所述设备包括：一个或多个处理器，包括一个或多个图形处理器；检测和选择逻辑，用于检测卷积神经网络(CNN)的低层；经训练的权重生成和存储逻辑(“训练权重逻辑”)，用于在存储库处生成权重文档的库，其中，所述权重文档包括与所述CNN的所述低层相关联的权重；训练优化逻辑，用于对所述权重进行预训练，以检测包含在于所述CNN处正被处理的输入图像中的基元几何形状；以及训练和微调逻辑，用于基于所预训练的权重启动对所述CNN的训练。

【技术特征摘要】
2017.12.30 US 15/859,4871.一种用于促进机器学习环境中的智能卷积的设备，所述设备包括：一个或多个处理器，包括一个或多个图形处理器；检测和选择逻辑，用于检测卷积神经网络(CNN)的低层；经训练的权重生成和存储逻辑(“训练权重逻辑”)，用于在存储库处生成权重文档的库，其中，所述权重文档包括与所述CNN的所述低层相关联的权重；训练优化逻辑，用于对所述权重进行预训练，以检测包含在于所述CNN处正被处理的输入图像中的基元几何形状；以及训练和微调逻辑，用于基于所预训练的权重启动对所述CNN的训练。2.如权利要求1所述的设备，其特征在于，所述经训练的权重逻辑进一步用于使用对滤波器的训练来生成所述权重，其中使用视觉工具来分析所述权重，其中，所述滤波器包括3×3滤波器和5×5滤波器中的至少一者。3.如权利要求1所述的设备，其特征在于，所述经训练的权重逻辑进一步用于基于所述基元几何形状将所述权重存储在箱中。4.如权利要求1所述的设备，其特征在于，所述训练和微调逻辑进一步用于在训练所述CNN之前，基于从所述箱获得的值初始化所述预训练权重，其中，由用户使用所述视觉工具来标识所述箱。5.如权利要求1所述的设备，其特征在于，进一步包括可分离卷积逻辑，用于将低层卷积滤波器分离成卷积滤波器的对，其中，所述低层卷积滤波器包括二维(2D)卷积滤波器，并且其中所述卷积滤波器的对包括一维(1D)卷积滤波器的对。6.如权利要求1所述的设备，其特征在于，所述训练和微调逻辑用于基于所述卷积滤波器的对来训练所述CNN。7.如权利要求1所述的设备，其特征在于，所述一个或多个图形处理器与公共半导体封装上的一个或多个应用处理器共同定位。8.一种用于促进机器学习环境中的智能卷积的方法，所述方法包括：通过计算设备的一个或多个处理器，检测卷积神经网络(C...

【专利技术属性】
技术研发人员：D·斯里瓦斯塔瓦，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US