【技术实现步骤摘要】
本专利技术涉及一种存储器管理方法、人工智能处理系统及计算机程序产品，尤其涉及一种应用于人工智能模型的训练过程中，可自动配置及管理存储器空间的方法、人工智能处理系统及计算机程序产品。
技术介绍
1、随着人工智能技术的快速发展，大型人工智能模型的训练对运算资源的需求也与日俱增。在传统的人工智能训练系统中，当训练数据量超过加速处理器模块的存储器容量时，系统必须将部分数据暂存至存储装置。在此过程中，所述数据传输须通过所述随机存取存储器进行中介处理。
2、然而，现有技术存在以下问题：首先，使用者需要依据经验手动设定存储器配置参数，这种方式不仅增加使用难度，也容易因设定不当而影响系统效能。其次，在传统的人工智能训练系统中，人工智能模型训练过程中产生的不同衍生产物(也称中继数据，例如：权重参数、梯度参数、优化参数等)会被配置在不同的存储器空间中。这种做法导致存储器使用效率低下，因为所述衍生产物实际上是在所述人工智能模型之训练过程的不同训练处理阶段被使用，若配置独立的存储器空间，会造成没有被使用的训练处理阶段的存储器空间闲置。
...
【技术保护点】
1.一种存储器管理方法，适用于具有处理器、加速处理器模块、随机存取存储器及存储装置的人工智能处理系统，其特征在于，所述存储器管理方法包括：
2.根据权利要求1所述的存储器管理方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的存储器管理方法，其特征在于，其中所述多个训练处理阶段包括反向传播阶段及参数更新阶段，其中获取在所述人工智能模型的所述训练过程中所使用的所述存储器配置大小的步骤包括：
4.根据权利要求3所述的存储器管理方法，其特征在于，根据所述第一存储器使用量及所述第二存储器使用量来决定所述存储器配置大小包括：
<...【技术特征摘要】
1.一种存储器管理方法，适用于具有处理器、加速处理器模块、随机存取存储器及存储装置的人工智能处理系统，其特征在于，所述存储器管理方法包括：
2.根据权利要求1所述的存储器管理方法，其特征在于，所述方法还包括：
3.根据权利要求1所述的存储器管理方法，其特征在于，其中所述多个训练处理阶段包括反向传播阶段及参数更新阶段，其中获取在所述人工智能模型的所述训练过程中所使用的所述存储器配置大小的步骤包括：
4.根据权利要求3所述的存储器管理方法，其特征在于，根据所述第一存储器使用量及所述第二存储器使用量来决定所述存储器配置大小包括：
5.根据权利要求3所述的存储器管理方法，其特征在于，其中在所述目标存储器区域包括被配置为所述反向传播阶段的第一存储器使用空间与被配置为所述参数更新阶段的第二存储器使用空间，其中所述第一存储器使用空间及所述第二存储器使用空间至少部分重叠。
6.根据权利要求3所述的存储器管理方法，其特征在于，其中所述多个架构参数包括：
7.根据权利要求6所述的存储器管理方法，其特征在于，其中获取所述人工智能模型的所述训练过程的所述反向传播阶段的所述第一存储器使用量的步骤包括：
8.根据权利要求7所述的存储器管理方法，其特征在于，其中获取所述人工智能模型的所述训练过程的所述参数更新阶段的所述第二存储器使用量的步骤包括：
9.根据权利要求8所述的存储器管理方法，其特征在于，所述方法还包括：
10.根据权利要求1所述的存储器管理方法，其特征在于，所述方法还包括：
11.根据权利要求10所述的存储器管理方法，其特征在于，所述方法还包括：
12.根据权利要求10所述的存储器管理方法，其特征在于，其中所述目标存储器区域更可被配置于所述加速处理器模块的高带宽存储器中。
13.根据权利要求3所述的存储器管理方法，其特征在于，其中所述反向传播阶段包括：
14.根据权利要求3所述的存储器管理方法，其特征在于，其中所述参数更新阶段包括：
15.一种人工智能处理系统，其特征在于，包括：
...【专利技术属性】
技术研发人员：许建平，王钰豪，李皓智，陈思玮，刘安城，
申请(专利权)人：厦门佳芯电子有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。