【技术实现步骤摘要】
本专利技术涉及深度学习领域，尤其是涉及一种模型训练显存优化方法及装置。
技术介绍
1、深度学习和 ai 的发展迅速，尤其在计算机视觉、自然语言处理、推荐系统等领域。随着任务的复杂，模型也越来越大，占用显存越来越大，而gpu的内存容量是有限的，限制了模型的规模和训练速度。
2、针对显存优化，有三种常用的方法：量化（压缩、混合精度）、重计算、换入换出。量化是将模型中的高精度数值转换为低精度数值；重计算是一种策略，在前向传播过程中不存储所有中间激活值，而是在反向传播时重新计算这些值；换入换出是一种通过在显存和主内存之间动态转移数据的方式来管理显存使用。如公开号为cn112329834a的中过专利文献公开了循环网络模型训练时显存空间的分配方法和装置，有效的压缩网络计算中使用到的显存，从而提高训练速度；公开号为cn115437795a的中国专利文献公开了一种异构gpu集群负载感知的显存重计算优化方法及系统，确定所有阶段中显存负载最高的阶段，根据最小化显存开销算法进行重计算优化，保证各阶段负载均衡。
3、上述这些方法都可以降...
【技术保护点】
1.一种模型训练显存优化方法，其特征在于，包括：
2.根据权利要求1所述的模型训练显存优化方法，其特征在于，步骤（1）中，训练时，将网络输入的批大小batchsize设定为1。
3.根据权利要求1所述的模型训练显存优化方法，其特征在于，步骤（2）的具体过程为：
4.根据权利要求1所述的模型训练显存优化方法，其特征在于，步骤（3）中，依次选取堆顶的张量为换入换出备选张量，得到一个备选为换入换出的列表，具体为：
5.根据权利要求4所述的模型训练显存优化方法，其特征在于，循环遍历的结束条件为换入换出的张量显存占用量之和大于等于...
【技术特征摘要】
1.一种模型训练显存优化方法，其特征在于，包括：
2.根据权利要求1所述的模型训练显存优化方法，其特征在于，步骤（1）中，训练时，将网络输入的批大小batchsize设定为1。
3.根据权利要求1所述的模型训练显存优化方法，其特征在于，步骤（2）的具体过程为：
4.根据权利要求1所述的模型训练显存优化方法，其特征在于，步骤（3）中，依次选取堆顶的张量为换入换出备选张量，得到一个备选为换入换出的列表，具体为：
5.根据权利要求4所述的模型...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。