硬件计算资源分配方法、硬件计算资源、电子设备组成比例

一种硬件计算资源分配方法、硬件计算资源、电子设备。该硬件计算资源分配方法包括：获取算子的用于模型计算任务的输入张量的数据形状；获取硬件计算资源的硬件参数；根据硬件参数和数据形状，确定算子的资源分配方案，其中，资源分配方案指示输入张量在输入张量的多个维度上的切分方式，以及根据切分方式将输入张量分配至硬件计算资源进行处理的分配方式；根据资源分配方案对输入张量进行切分，并将切分得到的各个张量发送给相应的计算资源以执行模型计算任务；其中，输入张量中属于同一行的元素在进行模型计算时存在数据依赖，且在资源分配方案中，同一行元素在同一个计算单元中进行模型计算任务。

【技术实现步骤摘要】

本公开的实施例涉及一种硬件计算资源分配方法、硬件计算资源、电子设备和非瞬时性计算机可读存储介质。

技术介绍

1、张量（tensor）是一个定义在一些向量空间和一些对偶空间的笛卡尔积上的多重线性映射，例如，标量可以看作0维张量，向量可以看作一维张量，矩阵可以看作二维张量。张量操作在并行处理器等处理器中广泛使用。在当前的硬件设备中，诸如中央处理器（central processing unit，cpu）、图形处理器（graphics processing unit，gpu）、通用图形处理器（general-purpose computing on graphics processing units，gpgpu）等数据处理集成电路可以执行程序以完成各项与张量相关的计算任务。随着计算需求的增加，硬件设备对算子的性能有了越来越高的性能要求，性能越好意味着可以更快速的完成计算，减少计算开销。将计算任务均衡地映射至硬件设备中，尽可能提高硬件设备的并行执行效率成为了性能提升的关键。

技术实现思路

1、本公开至少一实施例提供一本文档来自技高网...

【技术保护点】

1.一种硬件计算资源分配方法，所述硬件计算资源包括A个可编程多处理器，每个可编程多处理器包括B个计算单元，每个计算单元包括C个执行单元，每个执行单元配置为运行一个或多个线程束，A、B、C均为大于1的正整数，

2.根据权利要求1所述的硬件计算资源分配方法，其中，根据所述硬件参数和所述数据形状，确定所述算子的资源分配方案，包括：

3.根据权利要求2所述的硬件计算资源分配方法，其中，根据h与L的大小关系，以及n与A×L的大小关系，确定所述算子的资源分配方案，包括：

4.根据权利要求3所述的硬件计算资源分配方法，其中，所述第一资源分配方案指示将所述输入张量在所...

【技术特征摘要】

1.一种硬件计算资源分配方法，所述硬件计算资源包括a个可编程多处理器，每个可编程多处理器包括b个计算单元，每个计算单元包括c个执行单元，每个执行单元配置为运行一个或多个线程束，a、b、c均为大于1的正整数，

2.根据权利要求1所述的硬件计算资源分配方法，其中，根据所述硬件参数和所述数据形状，确定所述算子的资源分配方案，包括：

3.根据权利要求2所述的硬件计算资源分配方法，其中，根据h与l的大小关系，以及n与a×l的大小关系，确定所述算子的资源分配方案，包括：

4.根据权利要求3所述的硬件计算资源分配方法，其中，所述第一资源分配方案指示将所述输入张量在所述n维度上均分成a×l个第一张量，并将所述a×l个第一张量分配给所述a×l个执行单元分别执行，每个执行单元进行1个第一张量的处理。

5.根据权利要求3所述的硬件计算资源分配方法，其中，根据所述资源分配方案对所述输入张量进行切分，并将切分得到的各个张量发送给相应的计算资源以执行所述模型计算任务，包括：

6.根据权利要求2所述的硬件计算资源分配方法，其中，根据h与l的大小关系，以及n与a×l的大小关系，确定所述算子的资源分配方案，包括：

7.根据权利要求6所述的硬件计算资源分配方法，其中，所述输入张量中同一个批次的模型计算任务在同一个计算单元内执行。

8.根据...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，
申请(专利权)人：广州壁仞集成电路有限公司，
类型：发明
国别省市：