【技术实现步骤摘要】
本专利技术属于内存分配，具体涉及一种针对ai训练访存特征的内存分配与管理方法。
技术介绍
1、近年来，深度学习神经网络在多个领域得到广泛应用，数据集和神经网络模型的规模也随之快速增大，然而，用于训练这些神经网络的设备内存容量则相对发展缓慢。在这一背景下，如何高效地利用有限内存空间进行深度学习训练，成为当下深度学习技术发展中亟需解决的重要问题。
2、在进行深度学习神经网络模型的训练过程中，首先会对模型的参数进行初始化，然后进行多轮的正向传播和反向传播以更新模型参数。首先，在参数初始化阶段，需要为模型中的所有参数值分配对应的内存空间；其次，在正常传播过程中，需要提取数据的特征信息，并为该过程中产生的特征数据(激活值)分配内存；然后，在反向传播过程中计算模型参数的误差信息，该过程伴随着对反向生成的梯度数据的内存分配和已经使用完毕的特征数据的内存释放；最后，在参数更新完成后会释放该轮训练中的其他数据的内存分配，仅保留参数数据用于下一轮训练更新。最后在所有训练结束后，释放模型训练过程中所有的内存占用。在模型训练过程中，数据释放和分配过...
【技术保护点】
1.一种针对AI训练访存特征的内存分配与管理方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的针对AI训练访存特征的内存分配与管理方法，其特征在于，步骤1具体过程如下：
3.根据权利要求2所述的针对AI训练访存特征的内存分配与管理方法，其特征在于，步骤2具体过程如下：
4.根据权利要求3所述的针对AI训练访存特征的内存分配与管理方法，其特征在于，在子步骤2.2中，首先，在处理数据分配请求时，先根据设备内存行长度，对齐请求数据长度；
5.根据权利要求4所述的针对AI训练访存特征的内存分配与管理方法，其特征在于，所述...
【技术特征摘要】
1.一种针对ai训练访存特征的内存分配与管理方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的针对ai训练访存特征的内存分配与管理方法，其特征在于，步骤1具体过程如下：
3.根据权利要求2所述的针对ai训练访存特征的内存分配与管理方法，其特征在于，步骤2具体过程如下：
4.根据权利要求3所述的针对ai训练访存特征的内存分配与管理方法，其特征在于，在子步骤2.2中，首先，在处理数据分配请求时，先根据设备内存行长度，对齐请求数据长度；
5.根据权利要求4所述的针对ai训练访存特征的内存分配与管理方法，其特征在于，所述block为第一级数据管理结构，是大小固定的内存块，用于向设备一次性申请或者释放固定尺寸的内存空间，用来预分配固定尺寸的内存空间；
6.根据权利要求5所述的针对ai训练访存特征的内存分配与管理方法，其特征在于，所述小请求数据区msmall、常规请求数据区mreg和临时请求数据区mtmp，都由多个chunk组成；首先，申请固定尺寸的内存空间作为分配算法自行管理的内存区域，并在内存区域中的头部位置预留一块固定大小的block1，作为小请求数据区msmall，在区域内部通过多个chunk块管理小请求数据的分配和释放请求；
7.根据权利要求6所述的针对ai训练访存特征的内存分配与管理方法，其特征在于，步骤3具体过程如下：
8.根据权利要求7所述的针对ai训练访存特征的内存分配与管理方法，其特征在于，所述内存...
【专利技术属性】
技术研发人员：曾艳，朱颖，黄成创，薛梅婷，张纪林，赵乃良，李欣，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。