稀疏矩阵优化机制制造技术

公开了一种用来促进矩阵处理的设备。该设备包括矩阵加速器，所述矩阵加速器用来执行以下操作：接收输入矩阵数据、将所述输入矩阵数据变换为多个子块、检查所述子块的第一块以确定所述第一块是否包括稀疏数据、在确定所述第一块包括稀疏数据时选择第一贴片大小、以及基于所述第一贴片大小生成输出矩阵数据。

【技术实现步骤摘要】
稀疏矩阵优化机制
技术介绍
神经网络可以被建模为在非循环图中连接的神经元的集合。神经网络可以接收输入(单个向量)并通过一系列隐藏层对其进行变换。每个隐藏层由一组神经元组成，其中每个神经元完全连接到前一层中的所有神经元，并且其中单层中的神经元完全独立地起作用并且不共享任何连接。卷积神经网络(CNN)类似于标准神经网络。每个神经元接收一些输入，执行点积，并且可选地以非线性跟随它。然而，CNN被明确地定制为处理输入图像数据。基于原始图像数据输入，网络输出对于输入数据的分类评分。被配置为执行神经网络处理的并行数据处理系统可以包括图形处理器，其可以被配置为对图形数据执行特定操作，诸如例如线性插值、镶嵌、光栅化、纹理映射、深度测试等。图形处理器的部分可被制成可编程的，从而使得此类处理器能够支持用于处理顶点数据及片段数据的广泛多种操作。图形处理器内的完全可编程执行单元可被利用来执行各种并行处理操作。然而，为了最大化吞吐量，图形处理器可使用专门的固定功能逻辑单元来执行一些操作。附图说明为了可详细地理解本实施例的上述特征的方式，可通过参考实施例来得到对上文简要概述的实施例的更特定描述，实施例中的一些在附图中示出。然而，要注意，附图仅示出了典型的实施例，并且因此不应被认为是对其范围的限制。图1是根据实施例的处理系统的框图；图2A-2D示出了由本文中描述的实施例提供的计算系统和图形处理器；图3A-3C示出了由实施例提供的附加图形处理器和计算加速器架构的框图；图4是根据一些实施例的图形处理器的图形处理引擎的框图；图5A-5B示出了根据实施例的包含在图形处理器核中采用的处理元件的阵列的线程执行逻辑500；图6示出了根据实施例的附加执行单元600；图7是示出根据一些实施例的图形处理器指令格式的框图；图8是根据另一实施例的图形处理器的框图；图9A和9B示出了根据一些实施例的图形处理器命令格式和命令序列；图10示出了根据一些实施例的用于数据处理系统的示例性图形软件架构；图11A-11D示出了根据实施例的集成电路封装组装件；图12是示出根据实施例的在芯片集成电路上的示例性系统的框图；图13A和13B是示出附加示例性图形处理器的框图；图14示出了根据实施例的机器学习软件栈（softwarestack）；图15A-15B示出了示例性深度神经网络的层；图16示出了示例性递归神经网络；图17示出了深度神经网络的训练和部署；图18是示出分布式学习的框图；图19是根据实施例的数据处理系统的框图；图20示出了根据实施例的由指令流水线执行的矩阵运算；图21示出了拼贴的矩阵数据的一个实施例；图22A-22C示出了子块的实施例；图23A和23B示出了脉动流水线的实施方式；以及图24是示出用于执行拼贴优化的一个实施例的流程图。具体实施方式在实施例中，矩阵加速器检查接收的矩阵数据并基于数据的稀疏性优化处理贴片大小。系统概述图1是根据实施例的处理系统100的框图。系统100可用于单处理器台式计算机系统、多处理器工作站系统或具有大量处理器102或处理器核107的服务器系统中。在一个实施例中，系统100是并入在供移动、手持式或嵌入式装置中（诸如在带有到局域或广域网的有线或无线连接性的物联网（IoT）装置内）使用的片上系统（SoC）集成电路内的处理平台。在一个实施例中，系统100可包含以下各项、与以下各项耦合或者被集成在以下各项内：基于服务器的游戏平台；游戏控制台，包含游戏和媒体控制台、移动游戏控制台、手持式游戏控制台或在线游戏控制台。在一些实施例中，系统100是以下各项的一部分：移动电话、智能电话、平板计算装置或诸如带有低内部存储容量的膝上型计算机之类的移动因特网连接的装置。处理系统100还可包含以下各项、与以下各项耦合或者被集成在以下各项内：可穿戴装置，诸如智能手表可穿戴装置；智能眼镜（smarteyewear）或服装，其用增强现实（AR）或虚拟现实（VR）特征来被增强以提供视觉、音频或触觉输出，以补充现实世界视觉、音频或触觉体验或者以其他方式提供文本、音频、图形、视频、全息图像或视频、或者触觉反馈；其他增强现实（AR）装置；或者其他虚拟现实（VR）装置。在一些实施例中，处理系统100包含电视或机顶盒装置，或者是电视或机顶盒装置的一部分。在一个实施例中，系统100可包含以下各项、与以下各项耦合或者被集成在以下各项内：自动驾驶交通工具，诸如公共汽车、牵引车拖车、汽车、摩托车或电动自行车、飞机或滑翔机（或其任何组合）。自动驾驶交通工具可使用系统100来处理在交通工具周围感测到的环境。在一些实施例中，一个或多个处理器102各自包含一个或多个处理器核107以处理指令，所述指令在被执行时，执行用于系统或用户软件的操作。在一些实施例中，一个或多个处理器核107中的至少一个处理器核被配置成处理特定指令集109。在一些实施例中，指令集109可促进复杂指令集计算（CISC）、精简指令集计算（RISC）或经由超长指令字（VLIW）的计算。一个或多个处理器核107可处理不同指令集109，所述指令集109可包含用于促进对其他指令集的仿真的指令。处理器核107还可包含其他处理装置，诸如数字信号处理器（DSP）。在一些实施例中，处理器102包含高速缓冲存储器104。取决于架构，处理器102可具有单个内部高速缓存或多个级别的内部高速缓存。在一些实施例中，在处理器102的各种组件之间共享高速缓冲存储器。在一些实施例中，处理器102还使用外部高速缓存（例如，3级（L3）高速缓存或末级高速缓存（LLC））（未示出），其可在使用已知高速缓存一致性技术的处理器核107之间被共享。寄存器堆106可另外被包含在处理器102中，并且可包含用于存储不同类型的数据的不同类型的寄存器（例如，整数寄存器、浮点寄存器、状态寄存器和指令指针寄存器）。一些寄存器可以是通用寄存器，而其他寄存器可特定于处理器102的设计。在一些实施例中，一个或多个处理器102与一个或多个接口总线110耦合，以在处理器102与系统100中的其他组件之间传送通信信号，诸如地址、数据或控制信号。接口总线110在一个实施例中可以是处理器总线，诸如某一版本的直接媒体接口（DMI）总线。然而，处理器总线不限于DMI总线，并且可包含一个或多个外设组件互连总线（PeripheralComponentInterconnectbus）（例如，PCI、PCIexpress）、存储器总线或其他类型的接口总线。在一个实施例中，（一个或多个）处理器102包含集成的存储器控制器116和平台控制器集线器130。存储器控制器116促进存储器装置与系统100的其他组件之间的通信，而平台控制器集线器（PCH）130经由本地I/O总线提供到I/O装置的连接。存储器装置120可以是动态随机存取存储器（DRAM）装置、静态随机存取存储器（SRAM）装置、闪速本文档来自技高网...

【技术保护点】
1.一种用来促进矩阵处理的设备，包括：/n矩阵加速器，用来接收输入矩阵数据、将所述输入矩阵数据变换为多个子块、检查所述子块的第一块以确定所述第一块是否包括稀疏数据、在确定所述第一块包括稀疏数据时选择第一贴片大小、以及基于所述第一贴片大小生成输出矩阵数据。/n

【技术特征摘要】
20191211 US 16/7100811.一种用来促进矩阵处理的设备，包括：
矩阵加速器，用来接收输入矩阵数据、将所述输入矩阵数据变换为多个子块、检查所述子块的第一块以确定所述第一块是否包括稀疏数据、在确定所述第一块包括稀疏数据时选择第一贴片大小、以及基于所述第一贴片大小生成输出矩阵数据。


2.根据权利要求1所述的设备，其中所述第一贴片大小包括所述第一块的大小。


3.根据权利要求2所述的设备，其中所述矩阵加速器在确定所述第一块不包括稀疏数据时选择第二贴片大小。


4.根据权利要求3所述的设备，其中所述第二贴片大小包括子块的大小。


5.根据权利要求1所述的设备，其中所述矩阵加速器取回具有多个子块位的位图数据，每个子块位与所述多个子块之一相关联。


6.根据权利要求5所述的设备，其中检查所述第一块包括检查与所述第一块中的每一子块相关联的子块位以确定每一子块是否包括稀疏数据。


7.根据权利要求6所述的设备，其中所述矩阵加速器在确定所述第一块中的每个子块包括稀疏数据时选择所述第一贴片大小。


8.根据权利要求7所述的设备，其中所述矩阵加速器在确定所述第一块中的至少一个子块不包括稀疏数据时选择所述第二贴片大小。


9.一种用来促进矩阵处理的方法，包括：
接收输入矩阵数据;
将所述输入矩阵数据变换为多个子块;
检查所述子块的第一块以确定所述第一块是否包括稀疏数据;
在确定所述第一块包括稀疏数据时选择第一贴片大小;以及
基于所述第一贴片大小生成输出矩阵数据。


10.根据权利要求9所述的方法，其中所述第一贴片大小包括所述第一块的大小。


11.根据权利要求10所述的方法，进一步包括在确定所述第一块不包括稀疏数据时，选择第二贴片大小。


12.根据权利要求9所述...

【专利技术属性】
技术研发人员：N·夏玛，S·帕尔，B·P·西蒙，T·D·维韦克，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US