【技术实现步骤摘要】
加速器和加速器的操作方法
[0001]本申请要求于2020年5月14日提交的题为“用于神经网络加速器的分层权重预处理(HIERARCHICAL WEIGHT PREPROCESSING FOR NEURAL NETWORK ACCELERATOR)”的第63/024,676号美国临时申请的优先权和权益，该美国临时申请的全部内容通过引用包含于此。
[0002]根据本公开的实施例的一个或多个方面涉及用于神经网络的加速器，并且更具体地，涉及一种用于神经网络加速器的分层权重预处理的系统和方法。
技术介绍
[0003]在神经网络中执行的计算可以涉及权重和激活的张量积。涉及的张量可能是相对稀疏度的，因此，由于这些乘积的很大一部分会等于零，所以如果计算每个逐元素乘积，则会导致显著的低效率。
[0004]因此，需要一种提高用于神经网络的加速器的运行效率的技术。
技术实现思路
[0005]根据本专利技术的实施例，提供了一种加速器的操作方法，包括：通过第一处理电路访问权重缓冲器，以执行权重缓冲器中的第一权重张量的...
【技术保护点】
【技术特征摘要】
1.一种加速器的操作方法，包括：通过第一处理电路访问权重缓冲器，以执行权重缓冲器中的第一权重张量的区块内预处理，以在权重缓冲器中形成第一预处理后的权重张量，以及通过第一处理电路访问权重缓冲器，以执行第一预处理后的权重张量的区块间预处理，以在权重缓冲器中形成第二预处理后的权重张量，其中，区块内预处理包括：通过将第一权重张量的第一权重区块的第一元素存储在权重缓冲器的第二位置处，将第一权重张量的第一权重区块的第一元素沿向前方向或沿旁视方向移动一个位置，第二位置是沿向前方向或沿旁视方向与存储有第一元素的第一位置邻近的位置，并且区块间预处理包括：通过将第一预处理后的权重张量的第一权重区块的第一行存储在权重缓冲器的第四位置处，将第一预处理后的权重张量的权重区块的第一行沿向前方向移动一个位置或者沿旁视方向移动一个位置，第四位置是沿向前方向或沿旁视方向与存储有第一行的第三位置邻近的位置。2.如权利要求1所述的操作方法，其中，区块内预处理还包括：在第一权重张量的第二权重区块内，将第二权重区块的第一元素沿旁视方向移动一个位置。3.如权利要求1或2所述的操作方法，其中：第一行是第一预处理后的权重张量的第二权重区块的行，区块间预处理包括：将第一行沿旁视方向从第二权重区块移动到第一权重区块。4.如权利要求3所述的操作方法，其中，区块间预处理还包括：创建与第一预处理后的权重张量对应的区块稀疏度图，区块稀疏度图具有：列，针对第一预处理后的权重张量的每个权重区块，以及行，针对权重区块的每个行，区块稀疏度图指示第一预处理后的权重张量的权重区块的空行的位置。5.如权利要求4所述的操作方法，其中，区块稀疏度图具有比第一预处理后的权重张量的维度少一个维度的维度。6.如权利要求4所述的操作方法，还包括：基于区块稀疏度图来标识第一行。7.如权利要求4所述的操作方法，还包括：将第一行与第一激活向量相乘，以形成第一点积，其中，相乘的步骤包括从激活缓冲器的与第一行对应的列提取第一激活向量。8.如权利要求4所述的操作方法，还包括：在加速器的第二处理电路的第一处理元件电路中，将第一行与第一激活向量相乘，以形成第一点积，在加速器的第二处理电路的第二处理元件电路中，将第一预处理后的权重张量的权重区块的第二行与第二激活向量相乘，以形成第二点积，以及将第一点积和第二点积相加。9.如权利要求4所述的操作方法，其中，区块间预处理还包括：将第一预处理后的权重张量的第二行沿向前方向移动一个位置。10.如权利要求9所述的操作方法，还包括：基于区块稀疏度图来标识第二行。11.一种加速器，包括：
第一处理电路，第一处理电路被配置为：访问权重缓冲器，以执行权重缓冲器中的第一权重张量的区块内预处理，以在权重缓冲器中形成第一预处理后的权重张量，以及访问权重缓冲器，以执行第一预处理后的权重张量的区块间预处理，以在权重缓冲器中形成第二预处理后的权重张量，其中，区块内预处理包括：通过将第一权重张量的第一权重区块的第一元素存储在权重缓冲器的第二位置...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。