一种神经网络的训练方法以及相关设备技术

技术编号:40271343 阅读:23 留言:0更新日期:2024-02-02 22:57
本申请实施例公开一种神经网络的训练方法以及相关设备,该方法可用于人工智能领域中对神经网络进行训练的场景中,方法包括:在执行神经网络的第N轮训练时,可以获取第一计算图,其中,第一计算图是与神经网络的第N轮训练对应一个或多个计算图中的一个;在确定系统中已经存储有与第一计算图对应的第一已编译代码后,可以直接执行第一已编译代码,第一已编译代码是在执行神经网络的第M轮训练中生成的,M小于N;由于不再需要执行将第一计算图转换为中间计算表示,以及基于中间计算表示得到编译代码的操作,节省了对计算机资源的开销。

【技术实现步骤摘要】

本申请涉及人工智能领域,尤其涉及一种神经网络的训练方法以及相关设备


技术介绍

1、第一计算图(computational graph)是一种通用的计算过程表示方法,用于描述函数的有向无环图,普遍应用在各类数据处理平台上。在人工智能(artificialintelligence,ai)领域中,需要对神经网络进行迭代训练,则可以将对神经网络的每轮训练操作转换为第一计算图,获取与该第一计算图对应的编译后的代码,并执行该编译后的代码,以实现神经网络的每轮训练操作。

2、具体的,在神经网络的每轮训练操作中,在获取到与神经网络的一轮训练操作对应的第一计算图之后,可以对整个第一计算图进行表达转换(trace),得到与该第一计算图对应的中间计算表示(intermediate representation,ir),前述中间计算表示也可以称为第一计算图的逻辑描述,对该中间计算表示执行编译操作,得到与该第一计算图对应的编译后的代码。

3、但是,由于神经网络的每轮训练操作中,都需要先将第一计算图转换为中间计算表示,再基于中间计算表示得到编译后的代码,带来本文档来自技高网...

【技术保护点】

1.一种神经网络的训练方法,其特征在于,在执行所述神经网络的第N轮训练时,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述执行所述第一已编译代码,包括:

3.根据权利要求2所述的方法,其特征在于,在所述获取第一映射关系之前,包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述第一计算图为可复用的计算图。

5.根据权利要求1-4所述的方法,其特征在于,所述确定系统中已存储与所述第一计算图对应的第一已编译代码,包括:

6.根据权利要求1-5任一项所述的方法,其特征在于,在执行所述神经网络的第M轮训练时,所述...

【技术特征摘要】

1.一种神经网络的训练方法,其特征在于,在执行所述神经网络的第n轮训练时,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述执行所述第一已编译代码,包括:

3.根据权利要求2所述的方法,其特征在于,在所述获取第一映射关系之前,包括:

4.根据权利要求1-3任一项所述的方法,其特征在于,所述第一计算图为可复用的计算图。

5.根据权利要求1-4所述的方法,其特征在于,所述确定系统中已存储与所述第一计算图对应的第一已编译代码,包括:

6.根据权利要求1-5任一项所述的方法,其特征在于,在执行所述神经网络的第m轮训练时,所述方法还包括:

7.根据权利要求1-4任一项所述的方法,其特征在于,所述确定系统中已存储与所述第一计算图对应的第一已编译代码,包括:

8.根据权利要求1-7任一项所述的方法,其特征在于,所述第一计算图与所述神经网络的第n轮训练中的第一步骤对应;

9.根据权利要求8所述的方法,其特征在于,

10.根据权利要求8所述的方法,其特征在于,所述方法还包括:

11.根据权利要求1-10任一项所述的方法,其特征在于,所述获取第一计算图之前,所述方法还包括:

12.一种神经网络的训练装置,其特征在于,在执行所述神经网络的第n轮训练时,所述装置包括:

13.根据权利要求12所述的装置,其特征在于,所述执行模块,具体...

【专利技术属性】
技术研发人员:龙国平钟苑丰李立英
申请(专利权)人:华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1