本申请提供一种卷积计算单元、AI运算阵列及相关设备，卷积计算单元包括n个权重传输子单元，用于各自独立接收权重数据；权重数据中携带有权重值数据；n为大于等于2的常数；至少一个数据传输子单元，用于接收待运算数据；n个卷积运算电路，分别与n个权重传输子单元一一连接，且每个卷积运算电路与一个数据传输子单元连接，用于根据所连接的权重传输子单元接收到的权重值数据对所连接的数据传输子单元接收到的待运算数据进行卷积运算。本申请的方案在实现AI算法时，可以同时最多进行n个权重数据的并行传输，从而可以成倍地提高权重的加载效率，从而提高实现AI算法时的运算速度，降低实现AI算法时的功耗。实现AI算法时的功耗。实现AI算法时的功耗。
【技术实现步骤摘要】
卷积计算单元、AI运算阵列及相关设备
[0001]本申请涉及处理器
，具体而言，涉及一种卷积计算单元、AI运算阵列及相关设备。
技术介绍
[0002]AI(Artificial Intelligence，人工智能)算法(例如机器学习算法、循环神经网络算法等)中存在大量的Convolution(卷积)运算。因此，处理器中卷积计算单元的复杂度，卷积运算速度，数据和权重的加载效率以及延时，将直接影响到处理器中实现AI算法时的功耗与运算速度。
技术实现思路
[0003]本申请实施例的目的在于提供一种卷积计算单元、AI运算阵列及相关设备，用以提高实现AI算法时的运算速度，降低实现AI算法时的功耗。
[0004]本申请实施例提供了一种卷积计算单元，包括：n个并行设置的权重传输子单元，用于各自独立接收权重数据；所述权重数据中携带有权重值数据；所述n为大于等于2的常数；至少一个数据传输子单元，用于接收待运算数据；n个卷积运算电路，分别与所述n个权重传输子单元一一连接，且每个所述卷积运算电路与一个所述数据传输子单元连接，用于根据所连接的所述权重传输子单元接收到的权重值数据对所连接的数据传输子单元接收到的所述待运算数据进行卷积运算。
[0005]在上述实现方式中，由于各权重传输子单元各自可以独立接收权重数据，因此在实现AI算法时，可以同时最多进行n个权重数据的并行传输，从而可以成倍地提高权重的加载效率，从而提高实现AI算法时的运算速度，降低实现AI算法时的功耗。
[0006]进一步地，所述权重数据中还携带有权重掩码；所述卷积计算单元还包括：n个数据选择器，所述n个数据选择器分别与所述n个权重传输子单元一一连接；各所述卷积运算电路通过不同的所述数据选择器与一个所述数据传输子单元连接；各所述数据选择器用于根据所述权重掩码从所述待运算数据中选择出目标运算数据；各所述卷积运算电路具体用于根据所连接的所述权重传输子单元接收到的权重值数据对所述目标运算数据进行卷积运算。
[0007]在实际应用中，为了降低计算开销和提升推理效率，AI算法中可以通过压缩模型(如模型剪枝)等方法降低权重值数据中参数值的数量。为此，在上述实现方式中，通过数据选择器来根据权重掩码从待运算数据中选择出目标运算数据，就可以实现数据压缩的目的，例如可以实现sparsity 4：2压缩(即从4个数据中选择2个有效的数据)，从而降低参数卷积运算的数据的数量，进而降低计算开销、提升推理效率。
[0008]进一步地，所述权重数据中还携带有第一唯一标识；各所述权重传输子单元中配置有第二唯一标识；各所述权重传输子单元具体用于，在所述第一唯一标识与自身配置的第二唯一标识不一致时，将所述权重数据传输给所连接的另一卷积计算单元的权重传输子
单元，在所述第一唯一标识与自身配置的第二唯一标识一致时，存储所述权重数据，并将所述权重数据的状态设置为有效。
[0009]在上述实现方式中，通过对第二唯一标识和第一唯一标识的一致性判断，可快速确定当前接收到的权重数据是否为所连接的卷积运算电路计算所需的权重数据，从而快速将权重数据传输到指定的权重传输子单元处，保证卷积计算的正确执行。
[0010]进一步地，所述卷积计算单元还包括：n个权重执行子单元；所述n个数据选择器通过不同的所述权重执行子单元分别与所述n个权重传输子单元一一连接；各所述权重执行子单元用于，在所连接的所述权重传输子单元中的权重数据的状态为有效，且所述权重执行子单元中的权重数据需要被替换或者状态为无效时，加载所述权重传输子单元中存储的权重数据；所述数据传输子单元具体用于在所述权重执行子单元加载完成时，获取所述待运算数据。
[0011]在上述实现方式中，权重执行子单元从权重传输子单元中加载有效的权重数据，权重传输子单元可以并行的进行新的权重数据加载，这时卷积运算电路可以和权重传输单元并行工作。当权重执行子单元中的权重数据需要被替换或者为无效时，若权重传输子单元中新的权重数据已经加载好，可以从权重传输子单元中加载新的权重数据，通过权重传输子单元和权重执行子单元2个单并行工作，提高了权重数据的传输效率，卷积运算单元不需要等待权重数据的加载，从而提高了实现AI算法时的运算速度。
[0012]进一步地，所述数据传输子单元的数量小于n。
[0013]在上述实现方式中，由于数据传输子单元的数量小于n，因此至少一个数据传输子单元可以同时连接多个卷积运算电路，也即至少一个数据传输子单元可以被多个卷积运算电路复用。而通过多个卷积运算电路对数据传输子单元进行复用，可以减少数据传输单元的数目和降低数据传输的功耗，从而达到降低卷积计算单元的面积开销和降低卷积算单元功耗的目的。
[0014]进一步地，所述数据传输子单元的数量为1。
[0015]在上述实现方式中，n个卷积运算电路复用1个数据传输子单元，从而可以减少数据传输单元的数目和降低数据传输的功耗，达到降低卷积计算单元的面积开销和降低卷积算单元功耗的目的，降低实现AI算法时的功耗。
[0016]本申请实施例提供了一种卷积计算单元，包括：n个权重传输子单元，各所述权重传输子单元用于接收权重数据；所述权重数据中携带有权重值数据；所述n为大于等于2的常数；n个卷积运算电路，分别与所述n个权重传输子单元一一连接；一个数据传输子单元，与所述n个卷积运算电路连接，用于接收待运算数据；各所述卷积运算电路用于根据所连接的所述权重传输子单元接收到的权重值数据对所述数据传输子单元接收到的所述待运算数据进行卷积运算。
[0017]在上述实现方式中，通过一个数据传输子单元同时与n个卷积运算电路连接，实现了这n个卷积运算电路对于该数据传输子单元的复用，通过n个卷积运算电路对数据传输子单元进行复用，减少数据传输单元的数目和降低数据传输的功耗，从而达到降低卷积计算单元的面积开销和降低卷积算单元功耗的目的，可以降低实现AI算法时的功耗，提高实现AI算法时的运算速度。
[0018]进一步地，所述权重数据中还携带有权重掩码；所述卷积计算单元还包括：n个数
据选择器，所述n个数据选择器分别与所述n个权重传输子单元一一连接；所述数据传输子单元分别通过不同的所述数据选择器与所述n个卷积运算电路连接；各所述数据选择器用于根据所述权重掩码从所述待运算数据中选择出目标运算数据；各所述卷积运算电路具体用于根据所连接的所述权重传输子单元接收到的权重值数据对所述目标运算数据进行卷积运算。
[0019]在实际应用中，为了降低计算开销和提升推理效率，AI算法中可以通过压缩模型等方法降低权重值数据中参数值的数量。为此，在上述实现方式中，通过数据选择器来根据权重掩码从待运算数据中选择出目标运算数据，减少参与卷积运算的数据量从而提升卷积运算性能，，例如可以实现sparsity 4：2稀疏卷积运算(即从每4个数据中选择2个有效的数据参与卷积计算)，即通过所述数据选择器从4个待运算数据中选择出2个目标数据将参与卷积运算的数据的数量减少了一半，、在不增加额外乘本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种卷积计算单元，其特征在于，包括：n个并行设置的权重传输子单元；所述权重数据中携带有权重值数据；所述n为大于等于2的常数；至少一个数据传输子单元，用于接收待运算数据；n个卷积运算电路，分别与所述n个权重传输子单元一一连接，且每个所述卷积运算电路与一个所述数据传输子单元连接，用于根据所连接的所述权重传输子单元接收到的权重值数据对所连接的数据传输子单元接收到的所述待运算数据进行卷积运算。2.如权利要求1所述的卷积计算单元，其特征在于，所述权重数据中还携带有权重掩码；所述卷积计算单元还包括：n个数据选择器，所述n个数据选择器分别与所述n个权重传输子单元一一连接；各所述卷积运算电路通过不同的所述数据选择器与一个所述数据传输子单元连接；各所述数据选择器用于根据所述权重掩码从所述待运算数据中选择出目标运算数据；各所述卷积运算电路具体用于根据所连接的所述权重传输子单元接收到的权重值数据对所述目标运算数据进行卷积运算。3.如权利要求2所述的卷积计算单元，其特征在于，所述权重数据中还携带有第一唯一标识；各所述权重传输子单元中配置有第二唯一标识；各所述权重传输子单元具体用于，在所述第一唯一标识与自身配置的第二唯一标识不一致时，将所述权重数据传输给所连接的另一卷积计算单元的权重传输子单元，在所述第一唯一标识与自身配置的第二唯一标识一致时，存储所述权重数据，并将所述权重数据的状态设置为有效。4.如权利要求3所述的卷积计算单元，其特征在于，所述卷积计算单元还包括：n个权重执行子单元；所述n个数据选择器通过不同的所述权重执行子单元分别与所述n个权重传输子单元一一连接；各所述权重执行子单元用于，在所连接的所述权重传输子单元中的权重数据的状态为有效，且所述权重执行子单元中的权重数据需要被替换或者状态为无效时，加载所述权重传输子单元中存储的权重数据；所述数据传输子单元具体用于在所述权重执行子单元加载完成时，获取所述待运算数据。5.如权利要求1
‑
4任一项所述的卷积计算单元，其特征在于，所述数据传输子单元的数量小于n。6.如权利要求5所述的卷积计算单元，其特征在于，所述数据传输子单元的数量为1。7.一种卷积计算单元，其特征在于，包括：n个权重传输子单元，各所述权重传输子单元用于接收权重数据；所述权重数据中携带有权重值数据；所述n为大于等于2的常数；n个卷积运算电路，分别与所述n个权重传输子单元一一连接；一个数据传输子单元，与所述n个卷积运算电路连接，用于接收待运算数据；各所述卷积运算电路用于根据所连接的所述权重传输子单元接收到的权重值数据对所述数据传输子单元接收到的所述待运...
【专利技术属性】
技术研发人员：王震宇，赵芮，牛剑锋，李晶晶，
申请(专利权)人：上海登临科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。