以存储器内计算阵列进行神经网络的卷积层的并行处理制造技术

一种装置包括第一和第二存储器内计算(CIM)阵列。第一CIM阵列被配置成：存储与过滤器张量相对应的权重，接收与输入的第一感受野相对应的第一组激活，并使用这些权重来处理第一组激活，以生成对应的输出值第一张量。第二CIM阵列被配置成：存储与该过滤器张量相对应的权重的第一副本，并接收与输入的第二感受野相对应的第二组激活。第二CIM阵列还被配置成：使用权重的第一副本来处理第二组激活，以生成对应的输出值第二张量。第一和第二存储器内计算阵列被配置成并行地处理第一和第二感受野。算阵列被配置成并行地处理第一和第二感受野。算阵列被配置成并行地处理第一和第二感受野。

【技术实现步骤摘要】
【国外来华专利技术】以存储器内计算阵列进行神经网络的卷积层的并行处理
[0001]根据35U.S.C.
§
119的优先权要求
[0002]本专利申请要求于2019年9月19日提交的题为“PARALLEL PROCESSING OF A CONVOLUTIONAL LAYER OF A NEURAL NETWORK WITH COMPUTE
‑
IN
‑
MEMORY ARRAY(以存储器内计算阵列进行神经网络的卷积层的并行处理)”的非临时申请No.16/576,597的优先权，该非临时申请被转让给本申请受让人并因而通过援引被明确纳入于此。
[0003]公开领域
[0004]本公开的各方面一般涉及以存储器内计算阵列进行神经网络的卷积层的并行处理。

技术介绍

[0005]常规地，卷积神经网络(CNN)中的卷积层使用小尺寸过滤器。然而，卷积神经网络有时具有非常大量的输入输出通道。因此，过滤器在乘法和累加(MAC)运算中被重用多次以生成所有的输出，这花费众多循环，而且耗时。
[0006]在一些数字实现(例如，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装置，包括：第一存储器内计算阵列，其被配置成：存储与过滤器张量相对应的多个权重；接收与输入的第一感受野相对应的第一组激活；以及使用所述多个权重来处理所述第一组激活以生成对应的输出值第一张量；以及第二存储器内计算阵列，其被配置成：存储与所述过滤器张量相对应的所述多个权重的第一副本；接收与所述输入的第二感受野相对应的第二组激活；以及使用所述多个权重的所述第一副本来处理所述第二组激活以生成对应的输出值第二张量，其中所述第一存储器内计算阵列和所述第二存储器内计算阵列被配置成并行地处理所述第一感受野和所述第二感受野。2.如权利要求1所述的装置，其中所述第一存储器内计算阵列和所述第二存储器内计算阵列被配置成同时在所述第一感受野和所述第二感受野上执行并行卷积层乘法和累加(MAC)功能。3.如权利要求2所述的装置，其中所述并行卷积层乘法和累加功能包括在所述第一存储器内计算阵列和所述第二存储器内计算阵列中的模拟过程。4.如权利要求1所述的装置，其中所述装置用于卷积神经网络，并且所述卷积神经网络包括二值神经网络。5.如权利要求1所述的装置，其中所述过滤器张量包括与卷积神经网络层的输出通道相对应的多个过滤器。6.如权利要求1所述的装置，进一步包括：第三存储器内计算阵列，其被配置成：存储与所述过滤器张量相对应的所述多个权重的第二副本；接收与所述输入的第三感受野相对应的第三组激活；以及使用所述多个权重的所述第二副本来处理所述第三组激活以生成对应的输出值第三张量，所述第一存储器内计算阵列、所述第二存储器内计算阵列和所述第三存储器内计算阵列被配置成并行地处理所述第一、第二和第三感受野。7.如权利要求1所述的装置，其中对所述第一组激活和所述第二组激活的处理包括逐位运算和位计数。8.一种用于卷积神经网络的卷积层的处理方法，包括：将与过滤器张量相对应的多个权重存储在第一存储器内计算阵列中；由所述第一存储器内计算阵列接收与输入的第一感受野相对应的第一组激活；将与所述过滤器张量相对应的所述多个权重的第一副本存储在第二存储器内计算阵列中；由所述第二存储器内计算阵列来接收与所述输入的第二感受野相对应的第二组激活；以及使用所述多个权重在所述第一存储器内计算阵列中处理所述第一组激活以生成对应的输出值第一张量，并且使用所述多个权重的所述第一副本在所述第二存储器内计算阵列中处理所述第二组激活以生成对应的输出值第二张量，其中所述第一存储器内计算阵列和
所述第二存储器内计算阵列被配置成并行地处理所述第一感受野和所述第二感受野。9.如权利要求8所述的方法，其中所述过滤器张量包括与卷积神经网络层的输出通道相对应的多个过滤器。10.如权利要求8所述的方法，其...

【专利技术属性】
技术研发人员：Z，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：