数据处理方法、装置以及电子设备制造方法及图纸

技术编号:40318583 阅读:25 留言:0更新日期:2024-02-07 21:01
本申请实施例公开了一种数据处理方法、装置以及电子设备。该方法包括:在机器学习模型编译阶段,获取机器学习模型的初始输入张量和初始输入张量信息;基于初始输入张量和初始输入张量信息,获取多个张量计算算子各自对应的输出张量信息;基于多个张量计算算子各自对应的输出张量信息,确定多个张量计算算子各自对应的输出张量之间的内存共享关系;基于多个张量计算算子各自对应的输出张量之间的内存共享关系,分配多个张量计算算子各自对应的输出张量的存储空间,以在机器学习模型运行阶段,基于存储空间存储多个张量计算算子各自对应的输出张量。通过上述方式使得,可以在机器学习模型运行阶段,提升机器学习模型的推理速度以及降低内存使用。

【技术实现步骤摘要】

本申请涉及计算机,更具体地,涉及一种数据处理方法、装置以及电子设备


技术介绍

1、随着人工智能技术的不断发展,同一个机器学习模型可以支持不同形状的输入张量(tensor)。在相关方式中,机器学习推理引擎可以在中间表示(intermediaterepresentation,ir)中,将输入张量中形状可变部分(也就是对应维度的形状未知)用不同符号进行标记;当运行机器学习模型时,可以根据所有维度已知的输入张量进行符号推导,从而得到机器学习模型中所有输出张量的形状,以基于所有输出张量的形状为每个输出张量分配存储空间。但相关方式中,还存在机器学习模型的推理速度较慢和内存占用高的问题。


技术实现思路

1、鉴于上述问题,本申请提出了一种数据处理方法、装置以及电子设备,以实现改善上述问题。

2、第一方面,本申请提供了一种数据处理方法,应用于电子设备,所述方法包括:在机器学习模型编译阶段,获取所述机器学习模型的初始输入张量和初始输入张量信息,所述初始输入张量中至少一个维度的形状为未知的,且形状为未知的维度由符号表本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,应用于电子设备,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述初始输入张量信息包括初始输入张量形状信息和初始输入张量数据类型信息,所述基于所述初始输入张量和所述初始输入张量信息,获取所述多个张量计算算子各自对应的输出张量信息,包括:

4.根据权利要求3所述的方法,其特征在于,所述输出张量信息包括输出张量形状信息和输出张量数据类型信息,所述输入信息包括输入张量和/或输入张量信息,所述在每次遍历过程中,基于当次遍历到的算子的输入信息,得到当次遍历到...

【技术特征摘要】

1.一种数据处理方法,其特征在于,应用于电子设备,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述初始输入张量信息包括初始输入张量形状信息和初始输入张量数据类型信息,所述基于所述初始输入张量和所述初始输入张量信息,获取所述多个张量计算算子各自对应的输出张量信息,包括:

4.根据权利要求3所述的方法,其特征在于,所述输出张量信息包括输出张量形状信息和输出张量数据类型信息,所述输入信息包括输入张量和/或输入张量信息,所述在每次遍历过程中,基于当次遍历到的算子的输入信息,得到当次遍历到的算子的遍历结果,包括:

5.根据权利要求3所述的方法,其特征在于,所述基于所述多个算子各自对应的遍历结果,获取所述多个张量计算算子各自对应的输出张量信息之后,还包括:

6.根据权利要求5所述的方法,其特征在于,所述输出张量信息包括输出张量形状信息和输出张量数据类型信息,所述基于所述多个张量计算算子各自对应...

【专利技术属性】
技术研发人员:李路长袁伦喜
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1