数据处理的方法、计算设备和计算机可读存储介质技术

本公开涉及数据处理的方法、计算设备和计算机可读存储介质。方法包括：响应于第一格式的输入数据和第二格式的输出数据中的一者是连续张量，并且第一格式的输入数据和第二格式的输出数据中的另一者是非连续张量，其中第一格式和第二格式均为人工智能芯片的专用数据格式，遍历连续张量的形状；基于连续张量的当前所遍历的逻辑坐标、连续张量的步长和非连续张量的步长，计算得到与连续张量的当前所遍历的逻辑坐标相对应的非连续张量的物理地址；以及基于连续张量的当前所遍历的逻辑坐标、所计算的相对应的非连续张量的物理地址，进行非连续拷贝。由此，本公开至少能够提高人工智能芯片进行数据处理的整体性能。

【技术实现步骤摘要】

本公开总体上涉及信息处理领域，并且具体地，涉及数据处理的方法、计算设备和计算机可读存储介质。

技术介绍

1、人工智能芯片通常具有专用数据格式(也称为专用数据布局)，该专用数据格式与主机(host)端的数据格式不同。例如，主机端的数据格式为内存地址按维度连续的朴素(plain)格式。

2、在人工智能芯片中，形变(view)类型算子可以对张量在内存中进行数据搬移，形变类型算子也可以仅从逻辑上将连续张量转换成非连续张量而不发生数据搬移。例如，view类型算子可以包括reshape算子、permute算子和slice算子等。在用于人工智能模型训练的一些模式(例如eager模式)下，可能存在大量的view类型算子，为了避免频繁数据搬移带来的性能开销，这些view类型算子通常从逻辑上将连续张量转换为非连续张量。当人工智能模型需要使用非连续张量时，需要重新开辟一块内存空间进行非连续拷贝(uncontiguous copy，也称为strided copy)操作，以保证数据在内存中是连续的。

3、在传统的数据处理的技术方案中，当view类型算子需要将本文档来自技高网...

【技术保护点】

1.一种数据处理的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，人工智能芯片的专用数据格式是内存地址按块连续的格式。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，计算得到与连续张量的当前所遍历的逻辑坐标相对应的非连续张量的物理地址包括：

5.根据权利要求4所述的方法，其特征在于，基于输出数据的当前所遍历的逻辑坐标，计算得到对应的输入数据的逻辑地址包括：

6.根据权利要求4所述的方法，其特征在于，基于对应的输入数据的逻辑地址，计算得到对应的输入...

【技术特征摘要】

1.一种数据处理的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，人工智能芯片的专用数据格式是内存地址按块连续的格式。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，计算得到与连续张量的当前所遍历的逻辑坐标相对应的非连续张量的物理地址包括：

5.根据权利要求4所述的方法，其特征在于，基于输出数据的当前所遍历的逻辑坐标，计算得到对应的输入数据的逻辑地址包括：

6.根据权利要求4所述的方法，其特征在于，基于对应的输入数据的逻辑地址，计算得到对应的输入数据的逻辑坐标包括：

7.根据权利要求4所述的方法，其特征在于，基于对...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：