【技术实现步骤摘要】
运算单元、相关装置和方法
[0001]本公开涉及芯片领域，更具体而言，涉及一种运算单元、相关装置和方法。
技术介绍
[0002]深度神经网络(DNN)使用大量的矩阵和向量运算，例如矩阵和矩阵相乘，矩阵与向量相乘。深度神经网络具有多层节点，每个节点与前一层的节点连接，相当于接收前一层的节点的输出作为输入，与节点的权重矩阵进行运算(乘法、卷积等)。可以将深度神经网络的输出结果看作权重矩阵与输入的激励向量或激励矩阵的乘积。由于矩阵运算的计算量很大，为了降低计算强度和内存开销，提出了剪枝技术来去除DNN中的冗余连接，相当于将权重矩阵中大量对结果影响不大的元素变成0，为0的元素不用参加矩阵乘法运算，从而通过提高稀疏度来降低计算强度和内存开销。例如，稀疏度为30％的权重矩阵中有30％的元素是非0，只要计算这30％的元素与激励向量中相应元素的乘积并累加，就能得到最后结果。
[0003]在稀疏矩阵与激励向量相乘(稀疏矩阵与激励矩阵相乘可以化为稀疏矩阵与一个个激励向量相乘)中，一般需要3次加载。首先，需要到稀疏矩阵中加载未被剪枝的权重...
【技术保护点】
【技术特征摘要】
1.一种运算单元，包括：指令缓存单元，用于接收索引与有效元素加载指令，所述索引与有效元素加载指令用于在稀疏矩阵与待相乘向量的乘法中，从所述待相乘向量中获取与稀疏矩阵中未剪枝元素对应的有效元素向量，所述索引与有效元素加载指令包括第一源地址、第二源地址和目的地地址，所述第一源地址表示所述稀疏矩阵中未剪枝元素索引的起始存储地址，所述第二源地址表示所述待相乘向量的起始存储地址，所述目的地地址表示所述有效元素向量要存放回的地址；未剪枝元素索引读取单元，用于根据所述第一源地址读取未剪枝元素索引；有效元素读取单元，用于根据所述第二源地址和读取的未剪枝元素索引，在所述待相乘向量中读取用于与稀疏矩阵中未剪枝元素相乘的有效元素；回存单元，用于将所述有效元素组装成有效元素向量，按照所述目的地地址存储。2.根据权利要求1所述的运算单元，其中，所述有效元素读取单元将所述第二源地址和读取的未剪枝元素索引分别相加，得到各有效元素的存储地址，并按照所述存储地址读取所述有效元素。3.根据权利要求1所述的运算单元，其中，所述指令缓存单元还用于接收未剪枝元素值加载指令，所述未剪枝元素值加载指令在稀疏矩阵与待相乘向量的乘法中，获取所述稀疏矩阵中的未剪枝元素值，所述未剪枝元素值加载指令包括第三源地址，所述第三源地址表示所述未剪枝元素值的起始存储地址；所述运算单元还包括：未剪枝元素值读取单元，用于根据所述第三源地址，读取所述未剪枝元素值。4.根据权利要求2所述的运算单元，其中，所述指令缓存单元还用于接收向量乘法指令，所述向量乘法指令在稀疏矩阵与待相乘向量的乘法中，基于所述未剪枝元素值与所述有效元素向量，得到稀疏矩阵与待相乘向量的相乘结果向量；所述运算单元还包括：相乘结果向量获取单元，用于通过所述未剪枝元素值与所述有效元素向量中有效元素的乘法，得到所述相乘结果向量。5.根据权利要求1所述的运算单元，其中，所述第一源地址包括第一基源地址，所述第二源地址包括第二基源地址。6.根据权利要求1所述的运算单元，其中，所述第一源地址包括第一基源地址和第一立即数，所述第二源地址包括第二基源地址和第二立即数，所述未剪枝元素索引读取单元根据所述第一基源地址和所述第一立即数的和得到的地址，来读取未剪枝元素索引；所述有效元素读取单元根据所述第二基源地址和所述第二立即数的和得到的地址、以及读取的未剪枝元素索引，在所述待相乘向量中读取所述有效元素。7.根据权利要求1所述的运算单元，其中，所述第一源地址包括第一基源地址和第一系数，所述第二源地址包括第二基源地址和第二系数，所述未剪枝元素索引读取单元根据所述第一系数、向量长度与向量中元素大小的积、以及所述第一基源地址的和得到的地址，来读取未剪枝元素索引；所述有效元素读取单元根据所述第二系数、向量长度与向量中元素大小的积、以及所
述第二基源地址的和得到的地址、以及读取的未剪枝元素索引，在所述待相乘向量中读取所述有效元素。8.根据权利要求1所述的运算单元，其中，所述第一源地址包括第一基源地址和第三系数，所述第二源地址包括第二基源地址和第四系数，所述未剪枝元素索引读取单元根据所述第三系数与向量中元素大小的积、以及所述第一基源地址的和得到的地址，来读取未剪枝元素索引；所述有效元素读取单元根据所述第四系数与向量中元素大小的积、以及所述第二基源地址的和得到的地址、以及读取的未剪枝元素索引，在所述待相乘向量中读取所述有效元素。9.根据权利要求1所述的运算单元，其中，所...
【专利技术属性】
技术研发人员：李浩然，孙飞，罗竣文，王邦彦，赵梓豪，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。