一种用于小型设备的基于细粒度调度的深度学习模型内存优化方法技术

本发明专利技术一种用于嵌入式设备的基于细粒度调度的深度学习模型内存优化方法，属于深度学习模型领域。本发明专利技术输入深度学习模型DNN到分析器，分析器根据DNN中各个算子的TE分析该算子及其所依赖的算子的循环轴的连接关系，输出轴连接图ACG给优化器；优化器根据ACG搜索对DNN的切分方案，将DNN转换为细粒度的DNN，并对其进行调度；将细粒度DNN及其调度交给模拟器评估其内存占用，通过测量器获得其执行性能，将内存和性能数据反馈给优化器进行迭代搜索，以得到最优的细粒度DNN及其调度，据此生成DNN的执行代码，并编译部署在目标设备上。本发明专利技术在不超过5％的性能开销的前提下，能够显著优化众多流行深度神经网络DNN运行时的内存需求，拓宽了DNN在小型设备上的应用范围。

【技术实现步骤摘要】

本专利技术属于深度学习领域，涉及深度学习模型(也称深度神经网络dnn)在嵌入式设备(也称小型设备)上的部署，具体涉及一种用于小型设备的基于细粒度调度的深度学习模型内存优化方法。

技术介绍

1、深度学习模型(deep learningmodel)，也称深度神经网络(deep neuralnetwork，dnn)，是一种由多层神经元组成的人工神经网络。这些网络能够学习并模拟复杂的非线性关系，是近几年应用广泛的人工智能(artificial intelligence，ai)的核心要素。张量(tensor)，也称为多维数组(nd-array)，是dnn中的基本数据表示。张量的维度(dimension)也称为张量轴(tensoraxis)。一个n维张量有n个张量轴，张量x的所有张量轴记作x.a，第i个张量轴记作x.ai。张量的形状为其各个张量轴长度的组合，例如张量x的形状为2×3意味着其第一个轴长度为2，第二个轴长度为3。张量中的每个元素是一个标量，可以用下标索引访问，例如a[0,2]表示二维张量a的第0行第2列的标量元素。算子(operator)是dnn中对张量执本文档来自技高网...

【技术保护点】

1.一种用于小型设备的基于细粒度调度的深度学习模型内存优化方法，其特征在于，给定目标设备、性能开销限制、搜索时间限制和ONNX格式表示的原始DNN作为输入，具体步骤包括：

2.如权利要求1所述的用于小型设备的基于细粒度调度的深度学习模型内存优化方法，其特征在于，所述步骤1)将测量器编译部署到目标设备上，是通过USB进行烧录。

3.如权利要求1所述的用于小型设备的基于细粒度调度的深度学习模型内存优化方法，其特征在于，所述步骤1)预定比例的性能开销限制，其预定比例可调整，默认为5％。

4.如权利要求1所述的用于小型设备的基于细粒度调度的深度学习模型内存优化...

【技术特征摘要】

1.一种用于小型设备的基于细粒度调度的深度学习模型内存优化方法，其特征在于，给定目标设备、性能开销限制、搜索时间限制和onnx格式表示的原始dnn作为输入，具体步骤包括：

2.如权利要求1所述的用于小型设备的基于细粒度调度的深度学习模型内存优化方法，其特征在于，所述步骤1)将测量器编译部署到目标设备上，是通过usb进行烧录。

3.如权利要求1所述的用于小型设备的基于细粒度调度的深度学习模型内存优化方法，其特征在于，所述步骤1)预定比例的性能开销限制，其预定比例可调整，默认为5％。

4.如权利要求1所述的用于小型设备的基于细粒度调...

【专利技术属性】
技术研发人员：梁云，陈仁泽，
申请(专利权)人：北京大学，
类型：发明
国别省市：