一种基于深度学习网络的内存管理方法技术

本发明专利技术涉及一种基于深度学习网络的内存管理方法，包括：载入网络模型参数；载入网络模型；接收用户输入网络运行的数据；比较网络输入尺寸和默认网络输入尺寸或上一次网络输入尺寸；如果网络输入尺寸较大，则重新计算每层临时内存和层间传递内存，并重新分配；网络根据用户设置的运行设备和参数进行运行。据用户设置的运行设备和参数进行运行。据用户设置的运行设备和参数进行运行。

【技术实现步骤摘要】
一种基于深度学习网络的内存管理方法


[0001]本专利技术属于深度学习领域，尤其涉及基于深度学习网络的内存管理。

技术介绍

[0002]随着深度学习这几年迅速的发展，计算机视觉、数据处理等方面的产品与日俱增，可以部署深度学习的芯片也多样化。现有的深度学习部署框架，存在以下几个问题：
[0003]1.网络架构无法同时使用不同的处理单元(例如DSP和GPU)运行同一网络的不同层。
[0004]2.嵌入式设备上，内存的使用很受限制。在以往网络(如NCNN、MACE)运行过程中，内存的分配都是对用户不可见的，用户只能通过系统的内存检测系统查看和监视网络的内存使用情况，而且存在不可预知的内存分配的可能性，造成网络在嵌入式设备上的不稳定性。
[0005]3.在以往的网络框架中，GPU的使用率是不可控制的，所有网络架构都会最大限度地使用GPU。当有多个网络同时调用GPU时，会产生资源的竞争，每个网络运行的时间会产生不确定性。
[0006]鉴于以上现有深度学习网络存在的问题和不足，本专利技术致力于实现一种面向多种处理单元的网络架本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习网络的内存管理方法，其特征在于，包括：载入网络模型参数；载入网络模型；接收用户输入网络运行的数据；比较网络输入数据尺寸和默认网络输入尺寸或上一次网络输入数据尺寸；如果网络输入数据尺寸较大，则重新计算每层临时内存和层间传递内存，并重新分配；网络根据用户设置的运行设备和参数进行运行。2.根据权利要求1所述的内存管理方法，其特征在于，还包括：如果网络原有输入尺寸较大，则内存大小保持不变。3.根据权利要求1所述的内存管理方法，其特征在于，还包括：根据用户设置模型网络的处理单元，设置方式包括如下任何之一：根据用户设置某...

【专利技术属性】
技术研发人员：罗涛，
申请(专利权)人：杭州英歌智达科技有限公司，
类型：发明
国别省市：