用于均衡权重稀疏卷积处理的方法及系统技术方案

用于均衡权重稀疏卷积处理的方法、系统、及装置，包含编码于计算机存储介质上的计算机程序。例示性方法包括：获得输入张量及复数个过滤器；根据可用处理器的数目来将输入张量分割成复数个子张量；将复数个过滤器中的每个过滤器分割成一个或多个子过滤器以获得复数个子过滤器；将复数个子张量及子过滤器分别指派给可用处理器；针对可用处理器中的每个可用处理器，迭代每个索引

【技术实现步骤摘要】
【国外来华专利技术】用于均衡权重稀疏卷积处理的方法及系统


[0001]本公开总地涉及人工智能，更具体地涉及均衡权重稀疏卷积处理。

技术介绍

[0002]当前，神经网络(NN)是诸多现代人工智能(AI)应用(诸如，图像及视频辨识、推荐系统、分类、医疗图像分析、及自然语言处理)的基础。NN被用在从无人驾驶汽车及检测癌症到玩复杂游戏的各种使用场景中。典型NN可包括其中执行昂贵(在运算及能量方面)的卷积运算的一系列卷积层。
[0003]近年来，已开发出各种技术以通过将稀疏性引入NN中的卷积处理(诸如，修剪过滤器以减少非零权重的数目)来提高NN的计算效率。然而，既有的硬件架构依赖于通用计算引擎(例如，GPU)，但是没有针对涉及具有稀疏权重(例如，有限数目个非零权重)的过滤器的卷积对通用计算引擎进行优化。这些架构无法将稀疏过滤器高效存储于存储器中或完全利用稀疏性来大规模地达到更高水平的并行性。因此，期望构建用于高效稀疏卷积的新颖系统架构。

技术实现思路

[0004]本说明书的各种实施例可包含用于均衡权重稀疏卷积处理及并行化的系统、方法、及非暂态计算机可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实施的方法，包括：获得输入张量及复数个过滤器，其中所述输入张量及所述复数个过滤器具有相同数目个通道；根据可用处理器的数目来将所述输入张量分割成复数个子张量；将所述复数个过滤器中的每个过滤器分割成一个或多个子过滤器以获得复数个子过滤器，其中所述复数个子过滤器均包括相同数目个非零权重；将所述复数个子张量及所述复数个子过滤器分别指派给所述可用处理器，其中所述复数个子过滤器中的每个子过滤器由将该子过滤器的非零权重存储为索引
‑
值对的紧凑存储器布局表示；针对所述可用处理器中的每个可用处理器，迭代所指派的复数个子过滤器的紧凑存储器布局中的每个索引
‑
值对且基于该索引
‑
值对来识别所指派的子张量中的对应输入值以执行乘法及累加(MAC)运算从而产生部分和；通过在所述复数个处理器中间轮换所述复数个子过滤器来将所述复数个子过滤器重新指派给所述可用处理器；以及累加由所述复数个处理器中的每个处理器产生的复数个部分和以获得输出张量。2.如权利要求1所述的方法，其中所述复数个子张量中的每个子张量包括与所述输入张量相同的通道数目。3.如权利要求1所述的方法，进一步包括：修剪所述复数个过滤器中的每个过滤器，使得该过滤器的每预定数目个通道包括相同数目个非零值。4.如权利要求1所述的方法，其中每个索引
‑
值对包括通道维度索引、宽度维度索引、及对应非零权重。5.如权利要求4所述的方法，其中基于该索引
‑
值对来识别所指派的子张量中的对应输入值以执行MAC运算从而产生部分和包括：基于该索引
‑
值对中的通道维度索引和宽度维度索引来识别所述所指派的子张量中的输入值；基于所识别的输入值及该索引
‑
值对中的对应非零权重来执行乘法运算以获得点积；以及累加所述点积与对应部分和以获得新部分和。6.如权利要求1所述的方法，其中所述复数个过滤器中的每个过滤器包括通道维度、高度维度、及宽度维度，且将所述复数个过滤器中的每个过滤器分割成一个或多个子过滤器包括：将所述通道维度分成复数个通道群组；以及根据所述复数个通道群组来将所述过滤器分割成复数个子过滤器，其中每个子滤器对应于所述复数个通道群组之一。7.如权利要求6所述的方法，其中根据所述通道群组来将所述过滤器分割成复数个子过滤器包括：根据所述复数个通道群组将所述过滤器分割成复数个组块；以及沿所述高度维度分割所述复数个组块中的每个组块以获得所述复数个子过滤器，其中
所述复数个子过滤器中的每个子过滤器与所述过滤器共享所述宽度维度。8.如权利要求6所述的方法，其中将所述复数个子张量中来自所述输入张量的相同水平面的子集分别指派给所述可用处理器的子集，且将所述复数个子过滤器指派给所述可用处理器包括：识别所述复数个子过滤器中来自相同过滤器但对应于不同通道群组的子集；以及将所述复数个子过滤器的该子集分别指派给所述可用处理器的该子集。9.如权利要求1所述的方法，其中在所述复数个处理器之间轮换所述复数个子过滤器包括：通过使指派给第i处理器的子过滤器轮换至第(i+1)处理器来将所述复数个子过滤器重新指派给所述可用处理器。10.如权利要求1所述的方法，其中将通过执行所述MAC运算产生的部分和存储于能够由相邻处理器存取的处理器的累加缓冲器中。11.如权利要求1所述的方法，其中累加由所述复数个处理器中的每个处理器产生的复数个部分和以获得输出张量包括：在神经网络的当前卷积层期间，累加由所述复数个处理器中的每个处理器产生的复数个部分和以获得激活子张量；响应于所述当前卷积层不是最后卷积层，将所述激活子张量存储于所述处理器中用于所述神经网络的下一卷积层；以及响应于所述当前卷积层是所述最后卷积层，聚集来自所述可用处理器的复数个激活子张量以获得所述输出张量。12.一种用于均衡权重稀疏卷积处理的系统，包括一个或多个处理器及一个或多个非暂态计算机可读存储器，所述一个或多个非暂态计算机可读存储器耦合至所述一个或多个处理器且配置有可由所述一个或多个处理器执行以促使所述系统执行包括以下各项的操作的指令：获得输入张量及复数个过滤器，其中所述输入张量及所述复数个过滤器具有相同数目个通道；根据可用处理器的数目来将所述输入张量分割成复数个子张量；将所述复数个过滤器中的每个过滤器分割成一个或多个子过滤器以获得复数个子过滤器，其中所述复数个子过滤器均包括相同数目个非零权重；将所述复数个子张量及所述复数个子过滤器分别指派给所述可用处理器，其中所述复数个子过滤...

【专利技术属性】
技术研发人员：肖志斌，严恩勖，王维，芦勇，
申请(专利权)人：墨子国际有限公司，
类型：发明
国别省市：