一种数据处理方法、装置和存储介质制造方法及图纸

一种数据处理方法、装置和存储介质。该数据处理方法包括：对算子执行过程中使用的数据进行分块处理以得到多个数据块；根据多个数据块的处理顺序，确定多个数据块的存储单元；计算单元根据多个数据块的存储位置调用多个数据块执行所述算子。该数据处理方法可以用较小的数据传递开销，提升GPGPU算子算法计算过程中临时可用TLR的容量，减少因TLR不足导致数据溢出到HBM的情况，从而提升算子总体性能；同时该数据处理方法还提升了高速存储空间的利用率，避免算子算法失效，提升数据处理的灵活性，从而大大提高了数据处理的效率。

【技术实现步骤摘要】

本公开的实施例涉及一种数据处理方法、数据处理装置和存储介质，尤其涉及人工智能领域通用图形处理器的大规模数据处理。

技术介绍

1、通用图形处理器（general-purpose computing on graphics processingunits，简称gpgpu），是一种利用处理图形任务的图形处理器来计算原本由中央处理器处理的通用计算任务。由于现代图形处理器强大的并行处理能力和可编程流水线，令处理器可以处理非图形数据。特别在人工智能领域，面对单指令流多数据流（simd），且数据处理的运算量远大于数据调度和传输的需要时，通用图形处理器在性能上大大超越了传统的中央处理器应用程序。

技术实现思路

1、本公开至少一个实施例提供一种数据处理方法，包括：对算子执行过程中使用的数据进行分块处理以得到多个数据块；根据所述多个数据块的处理顺序，确定所述多个数据块的存储单元；计算单元根据所述多个数据块的存储位置调用所述多个数据块执行所述算子。

2、例如，在本公开至少一实施例提供的数据处理方法中，对算子执行过程中使本文档来自技高网...

【技术保护点】

1.一种数据处理方法，包括：

2.根据权利要求1所述的数据处理方法，其中，对算子执行过程中使用的数据进行分块处理以得到多个数据块，包括：

3.根据权利要求2所述的数据处理方法，其中，所述存储单元包括寄存器单元、第一缓存单元和第二缓存单元，

4.根据权利要求3所述的数据处理方法，其中，所述第一数据块存储于所述寄存器单元，所述第二数据块存储于所述第一缓存单元，所述第三数据块存储于所述第二缓存单元。

5.根据权利要求3所述的数据处理方法，其中，所述第一数据块的处理顺序早于所述第二数据块的处理顺序，所述第二数据块的处理顺序早于所述第三数据块的处理顺...

【技术特征摘要】

1.一种数据处理方法，包括：

2.根据权利要求1所述的数据处理方法，其中，对算子执行过程中使用的数据进行分块处理以得到多个数据块，包括：

3.根据权利要求2所述的数据处理方法，其中，所述存储单元包括寄存器单元、第一缓存单元和第二缓存单元，

4.根据权利要求3所述的数据处理方法，其中，所述第一数据块存储于所述寄存器单元，所述第二数据块存储于所述第一缓存单元，所述第三数据块存储于所述第二缓存单元。

5.根据权利要求3所述的数据处理方法，其中，所述第一数据块的处理顺序早于所述第二数据块的处理顺序，所述第二数据块的处理顺序早于所述第三数据块的处理顺序，所述寄存器单元距离计算单元的距离小于所述第一缓存单元距离所述计算单元的距离，所述第一缓存单元距离所述计算单元的距离小于所述第二缓存单元距离所述计算单元的距离。

6.根据权利要求3所述的数据处理方法，其中，当所述算子为单算子时，所述数据处理方法还包括：

7.根据权利要求6所述的数据处理方法，其中，所述多个子部分包括n个子部分，第n子部分的处理顺序早于第n+1子部分的处理顺序，

8.根据权利要求1所述的数据处理方法，其中，当所述算子为融合算子时，所述数...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：北京壁仞科技开发有限公司，
类型：发明
国别省市：