本申请公开了一种基于神经网络的运算方法以及装置。具体实现方案为：获取原始图像，根据卷积核的尺寸和原始图像的尺寸计算运算周期总数以及各运算周期对应的图像矩阵，图像矩阵包括多行多列图像数据；针对每个运算周期对应的图像矩阵，多个运算单元根据运算指令并行获取图像数据，对图像数据与预存储的权重数据进行乘积运算，得到中间数据；对多个运算单元输出的中间数据进行求和，得到每个运算周期对应的运算结果；统计运算周期总数内全部的运算结果，得到目标运算结果。单位时间内加快了整体运算速度，简化了读取数据逻辑，降低单个运算单元对数据的带宽需求。可以进行任意尺寸的卷积运算，提高了卷积运算效率，进而提高图像处理速度。处理速度。处理速度。
【技术实现步骤摘要】
一种基于神经网络的运算方法以及装置
[0001]本申请涉及深度学习领域，尤其涉及一种基于神经网络的运算方法以 及装置。
技术介绍
[0002]神经网络涉及的运算包括卷积、反卷积、膨胀卷积以及矩阵乘法等运 算，这些运算的共同点是基础运算都是乘加运算，所以，需要采用一种乘 加阵列来支持这些运算。其中，张量处理器(tensor processing unit，TPU) 是为机器学习定制的乘加阵列芯片，能够降低功耗、加快运算速度。TPU 包括：矩阵处理器，用于负载卷积神经网络，为卷积神经网络处理大量的 乘法和加法运算；统一缓冲区，即寄存器；以及激活单元，具有硬接线激 活功能。目前，在进行运算时，通常利用读取模块从外部存储读取数据， 将数据发送至矩阵乘法单元进行运算。然而，读取模块读取数据之后，需 要对数据进行重新排列，才能满足矩阵乘法单元的运算需求。这种重新排 列的读取方式导致读取逻辑比较复杂，整体运算步骤繁琐，降低运算速度， 进而导致在图像处理任务、语音处理任务等场景下，处理速度降低。
技术实现思路
[0003]本申请实施例提供一种基于神经网络的运算方法以及装置，以解决相 关技术存在的问题，技术方案如下：
[0004]第一方面，本申请实施例提供了一种基于神经网络的运算方法，包括：
[0005]获取原始图像，根据卷积核的尺寸和所述原始图像的尺寸计算运算周 期总数以及各运算周期对应的图像矩阵，所述图像矩阵包括多行多列图像 数据；
[0006]针对每个所述运算周期对应的图像矩阵，多个运算单元根据运算指令 并行获取所述图像数据，对所述图像数据与预存储的权重数据进行乘积运 算，得到中间数据；
[0007]对所述多个运算单元输出的中间数据进行求和，得到每个所述运算周 期对应的运算结果；
[0008]统计所述运算周期总数内全部的运算结果，得到目标运算结果。
[0009]在一种具体实施方式中，还包括：
[0010]根据所述卷积核的尺寸确定权重矩阵，所述权重矩阵包括多行多列的 权重数据，所述卷积核的高度与所述权重矩阵的行数相同，所述卷积核的 宽度与所述权重矩阵的列数相同；
[0011]所述多个运算单元分别预存储所述权重矩阵中对应行的权重数据。
[0012]在一种具体实施方式中，所述针对每个所述运算周期对应的图像矩阵， 多个运算单元根据运算指令并行获取所述图像数据，包括：
[0013]针对每个所述运算周期对应的图像矩阵，所述多个运算单元根据所述 运算指令分别获取所述图像矩阵中对应行的图像数据。
[0014]在一种具体实施方式中，所述针对每个所述运算周期对应的图像矩阵， 多个运算单元根据运算指令并行获取所述图像数据，包括：
[0015]针对当前运算周期对应的图像矩阵，变更每一行图像数据中的其中一 个，使得变更后的图像矩阵为下一个运算周期对应的图像矩阵；
[0016]针对所述下一运算周期对应的图像矩阵，所述多个运算单元分别获取 对应行中变更后的图像数据。
[0017]在一种具体实施方式中，所述多个运算单元组成运算单元组，所述卷 积核的尺寸包括输入通道数，所述输入通道数与所述运算单元组数相同。
[0018]第二方面，本实施例提供了一种基于神经网络的运算装置，包括：
[0019]图像矩阵计算模块，用于获取原始图像，根据卷积核的尺寸和所述原 始图像的尺寸计算运算周期总数以及各运算周期对应的图像矩阵，所述图 像矩阵包括多行多列图像数据；
[0020]乘积运算模块，用于针对每个所述运算周期对应的图像矩阵，多个运 算单元根据运算指令并行获取所述图像数据，对所述图像数据与预存储的 权重数据进行乘积运算，得到中间数据；
[0021]求和运算模块，用于对所述多个运算单元输出的中间数据进行求和， 得到每个所述运算周期对应的运算结果；
[0022]目标运算结果生成模块，用于统计所述运算周期总数内全部的运算结 果，得到目标运算结果。
[0023]在一种具体实施方式中，还包括：
[0024]权重矩阵确定模块，用于根据所述卷积核的尺寸确定权重矩阵，所述 权重矩阵包括多行多列的权重数据，所述卷积核的高度与所述权重矩阵的 行数相同，所述卷积核的宽度与所述权重矩阵的列数相同；
[0025]权重数据存储模块，用于所述多个运算单元分别预存储所述权重矩阵 中对应行的权重数据。
[0026]在一种具体实施方式中，所述乘积运算模块包括：
[0027]第一数据获取子模块，用于针对每个所述运算周期对应的图像矩阵， 所述多个运算单元根据所述运算指令分别获取所述图像矩阵中对应行的 图像数据。
[0028]在一种具体实施方式中，所述乘积运算模块包括：
[0029]数据变更子模块，用于针对当前运算周期对应的图像矩阵，变更每一 行图像数据中的其中一个，使得变更后的图像矩阵为下一个运算周期对应 的图像矩阵；
[0030]第二数据获取子模块，用于针对所述下一运算周期对应的图像矩阵， 所述多个运算单元分别获取对应行中变更后的图像数据。
[0031]在一种具体实施方式中，所述多个运算单元组成运算单元组，所述卷 积核的尺寸包括输入通道数，所述输入通道数与所述运算单元组数相同。
[0032]第三方面，提供了一种电子设备，包括：
[0033]至少一个处理器；以及与至少一个处理器通信连接的存储器；
[0034]其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一 个处理器执行，以使至少一个处理器能够执行上述任一项的方法。
[0035]第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介 质，计算机指令用于使计算机执行上述任一项的方法。
[0036]上述申请中的一个实施例具有如下优点或有益效果：针对每个运算周 期对应的图像矩阵，多个运算单元并行获取图像数据，并行执行各自对应的 乘法运算，即对图像数据与预存储的权重数据进行乘积运算，得到中间数 据，对多个运算单元输出的中间数据进行求和，得到每个运算周期对应的 运算结果，统计运算周期总数内全部的运算结果，得到目标运算结果。解 决了利用一个运算单元进行卷积运算时，需要对图像数据进行重新排列，导 致读取逻辑复杂、运算速度较差的问题。利用多个运算单元并行执行乘法 运算，使得单位时间内加快了整体运算速度，简化了读取数据逻辑，降低单 个运算单元对数据的带宽需求。可以进行任意尺寸的卷积运算，达到加速 卷积运算的效果，或者可以进行任意大小的矩阵乘法运算，达到加速矩阵 乘法运算的效果，提高了运算效率。在不增加硬件资源的情况下提升执行 效率，卷积运算只需处理一次就可以得到最终显示图像，提高图像处理速 度。
[0037]上述可选方式所具有的其他效果将在下文中结合具体实施例加以说 明。
附图说明
[0038]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0039]图1是现有技术中Im2col函数本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于神经网络的运算方法，其特征在于，包括：获取原始图像，根据卷积核的尺寸和所述原始图像的尺寸计算运算周期总数以及各运算周期对应的图像矩阵，所述图像矩阵包括多行多列图像数据；针对每个所述运算周期对应的图像矩阵，多个运算单元根据运算指令并行获取所述图像数据，对所述图像数据与预存储的权重数据进行乘积运算，得到中间数据；对所述多个运算单元输出的中间数据进行求和，得到每个所述运算周期对应的运算结果；统计所述运算周期总数内全部的运算结果，得到目标运算结果。2.根据权利要求1所述的方法，其特征在于，还包括：根据所述卷积核的尺寸确定权重矩阵，所述权重矩阵包括多行多列的权重数据，所述卷积核的高度与所述权重矩阵的行数相同，所述卷积核的宽度与所述权重矩阵的列数相同；所述多个运算单元分别预存储所述权重矩阵中对应行的权重数据。3.根据权利要求2所述的方法，其特征在于，所述针对每个所述运算周期对应的图像矩阵，多个运算单元根据运算指令并行获取所述图像数据，包括：针对每个所述运算周期对应的图像矩阵，所述多个运算单元根据所述运算指令分别获取所述图像矩阵中对应行的图像数据。4.根据权利要求2所述的方法，其特征在于，所述针对每个所述运算周期对应的图像矩阵，多个运算单元根据运算指令并行获取所述图像数据，包括：针对当前运算周期对应的图像矩阵，变更每一行图像数据中的其中一个，使得变更后的图像矩阵为下一个运算周期对应的图像矩阵；针对所述下一运算周期对应的图像矩阵，所述多个运算单元分别获取对应行中变更后的图像数据。5.根据权利要求1所述的方法，其特征在于，所述多个运算单元组成运算单元组，所述卷积核的尺寸包括输入通道数，所述输入通道数与所述运算单元组数相同。6.一种基于神经网络的运算装置，其特征在于，包括：图像矩阵计算模块，用于获取原始图像，根据卷积核的尺寸和所述原始图像的尺寸计算运算周期总数以及各运算周期对应的图像矩阵，所述图像矩阵包括多行多列图像数据；乘积运算模块，用于针对每个所述运算周期对应的图像矩阵，多个运...
【专利技术属性】
技术研发人员：蒲朝飞，张楠赓，
申请(专利权)人：嘉楠明芯北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。