数据加载方法、数据加载装置、处理器和电子设备制造方法及图纸

本公开的实施例提供了一种数据加载方法、数据加载装置、处理器和电子设备。该数据加载方法包括：根据第一数据中至少一个循环层级的数据量与N级缓存中至少一级缓存的容量的大小关系，确定用于加载第一数据中的至少部分数据的目标缓存层级，其中，N为正整数，第一数据包括M层循环，M为正整数。该数据加载方法根据算子的数据规模和运算特性对数据加载方式进行针对性优化，可以合理利用片上缓冲区资源，从而有效提升算子性能表现。

【技术实现步骤摘要】

本公开的实施例涉及高性能计算领域，尤其涉及一种数据加载方法、数据加载装置、处理器和电子设备。

技术介绍

1、在高性能计算领域中，根据对内存访问和cpu计算的需求，算子可以分为两大类：访存密集型算子（memory-intensive operators）和计算密集型算子（compute-intensiveoperators）。

2、计算密集型算子是需要进行复杂的数学运算或者逻辑判断，而对内存访问的需求相对较少或较为规律的算子，例如矩阵乘法（matrix multiplication, gemm）、卷积操作（convolution）等。对于计算密集型算子，处理器的核心运算能力成为性能瓶颈。

3、访存密集型算子是执行过程中对内存读写操作频繁，内存带宽成为限制运算速度的关键因素的算子。例如，大规模神经网络训练中的激活函数计算（例如线性整流函数（rectified linear unit, relu））、逐元素操作（element-wise）等。对于访存密集型算子，内存的带宽限制成为性能瓶颈。

技术实现思路本文档来自技高网...

【技术保护点】

1.一种数据加载方法，包括：

2.根据权利要求1所述的数据加载方法，其中，所述第一数据包括循环层级依次减小的第一层级至第M层级，所述第M层级在所述第一层级内循环，M≥2，

3. 根据权利要求2所述的数据加载方法，其中，所述根据第一数据中至少一个循环层级的数据量与N级缓存中至少一级缓存的容量的大小关系，确定用于加载所述第一数据中的至少部分数据的目标缓存层级，还包括：

4.根据权利要求1所述的数据加载方法，其中，M=1，

5.根据权利要求4所述的数据加载方法，其中，所述根据第一数据中至少一个循环层级的数据量与N级缓存中至少一级缓存的容量的大小关...

【技术特征摘要】

1.一种数据加载方法，包括：

2.根据权利要求1所述的数据加载方法，其中，所述第一数据包括循环层级依次减小的第一层级至第m层级，所述第m层级在所述第一层级内循环，m≥2，

3. 根据权利要求2所述的数据加载方法，其中，所述根据第一数据中至少一个循环层级的数据量与n级缓存中至少一级缓存的容量的大小关系，确定用于加载所述第一数据中的至少部分数据的目标缓存层级，还包括：

4.根据权利要求1所述的数据加载方法，其中，m=1，

5.根据权利要求4所述的数据加载方法，其中，所述根据第一数据中至少一个循环层级的数据量与n级缓存中至少一级缓存的容量的大小关系，确定用于加载所述第一数据中的至少部分...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：北京壁仞科技开发有限公司，
类型：发明
国别省市：