一种基于TVM编译器的异构平台的部署方法及装置制造方法及图纸

本申请适用于数据处理技术领域，提供了一种基于TVM编译器的异构平台的部署方法及装置，方法包括：获取TVM编译器生成的深度学习网络的拓扑结构图、网络参数和各个函数的函数信息；基于所述拓扑结构图中节点的信息和异构平台的设备类型，将所述拓扑结构图中的节点分成与所述设备类型对应的目标设备块；对所述目标设备块进行空间分配，得到所述目标设备块的空间信息；基于所述拓扑结构图、所述网络参数、所述函数信息、所述目标设备块和所述目标设备块的空间信息，将所述深度学习网络部署到所述异构平台上。本申请通过将节点划分成不同设备类型的目标设备块，通过不同类型的目标设备块完成异构平台中不同设备的部署。

【技术实现步骤摘要】
一种基于TVM编译器的异构平台的部署方法及装置
本申请属于数据处理
，尤其涉及一种基于TVM编译器的异构平台的部署方法及装置。
技术介绍
异构平台指有不同类型指令集和体系架构计算单元的操作平台，异构平台支持不同系统的架构，它可以由CPU，GPU，DSP，ASIC，FPGA等其他处理器构成。目前对硬件平台的部署大多是针对具有一个指令集和一种类型的体系架构计算单元的单一硬件平台，缺乏对异构平台的部署方法。
技术实现思路
本申请实施例提供了一种基于TVM编译器的异构平台的部署方法及装置，可以实现对深度学习网络在异构平台的部署。第一方面，本申请实施例提供了一种基于TVM编译器的异构平台的部署方法，包括：获取TVM编译器生成的深度学习网络的拓扑结构图、网络参数和各个函数的函数信息；基于所述拓扑结构图中节点的信息和异构平台的设备类型，将所述拓扑结构图中的节点分成与所述设备类型对应的目标设备块；对所述目标设备块进行空间分配，得到所述目标设备块的空间信息；基于所述拓扑结构图、所述网络参数本文档来自技高网...

【技术保护点】
1.一种基于TVM编译器的异构平台的部署方法，其特征在于，包括：/n获取TVM编译器生成的深度学习网络的拓扑结构图、网络参数和各个函数的函数信息；/n基于所述拓扑结构图中节点的信息和异构平台的设备类型，将所述拓扑结构图中的节点分成与所述设备类型对应的目标设备块；/n对所述目标设备块进行空间分配，得到所述目标设备块的空间信息；/n基于所述拓扑结构图、所述网络参数、所述函数信息、所述目标设备块和所述目标设备块的空间信息，将所述深度学习网络部署到所述异构平台上。/n

【技术特征摘要】
1.一种基于TVM编译器的异构平台的部署方法，其特征在于，包括：
获取TVM编译器生成的深度学习网络的拓扑结构图、网络参数和各个函数的函数信息；
基于所述拓扑结构图中节点的信息和异构平台的设备类型，将所述拓扑结构图中的节点分成与所述设备类型对应的目标设备块；
对所述目标设备块进行空间分配，得到所述目标设备块的空间信息；
基于所述拓扑结构图、所述网络参数、所述函数信息、所述目标设备块和所述目标设备块的空间信息，将所述深度学习网络部署到所述异构平台上。


2.如权利要求1所述的基于TVM编译器的异构平台的部署方法，其特征在于，所述基于所述拓扑结构图中节点的信息和异构平台的设备类型，将所述拓扑结构图中的节点分成与所述设备类型对应的目标设备块，包括：
基于所述节点的信息和所述设备类型，将节点划分到每个设备类型对应的候选设备块中，得到各个所述候选设备块包含的目标节点，其中，每个设备类型下包含至少一个候选设备块；
将所述候选设备块按预设规则排列，合并属于相同设备类型且连续的候选设备块，得到目标设备块；
根据所述目标设备块中的目标节点的信息确定每个目标设备块的输入节点和输出节点。


3.如权利要求2所述的基于TVM编译器的异构平台的部署方法，其特征在于，所述节点的信息包括节点的节点类型、节点的设备类型、节点的输入数据和节点的输出数据；
所述基于所述节点的信息和所述设备类型，将节点划分到每个设备类型对应的候选设备块中，得到各个所述候选设备块包含的目标节点，包括：
判断所述拓扑结构图中的每一个节点是否满足分类条件；
若第i个节点满足节点的分类条件，则将所述第i个节点按照所述第i个节点的设备类型划分到所述第i个节点的设备类型对应的第j个候选设备块中，i和j大于或等于1，其中，当i＝1时，第一个节点的分类条件为节点类型为函数类型，当i＞1时，第i个节点的分类条件为所述第i个节点的节点类型为函数类型、且所述第i个节点的输入数据为所述第j个候选设备块中节点的输出数据或为所述第j个候选设备块的上一层节点的输出数据，其中，所述拓扑结构图中的节点是由上而下一层一层分布的，所述第j个候选设备块的上一层节点指的是分布在所述第j个候选设备块之外，且在所述第j个候选设备块之上距离所述第j个候选设备块最近的一层节点。


4.如权利要求3所述的基于TVM编译器的异构平台的部署方法，其特征在于，在所述判断所述拓扑结构图中的每一个节点是否满足分类条件之后，还包括：
若所述第i个节点不满足分类条件，则将所述第i个节点按照所述第i个节点的设备类型划分到所述第i个节点的设备类型对应的第j+1个候选设备块中，其中，所述第j+1个候选设备块中不存在节点。


5.如权利要求2所述的基于TVM编译器的异构平台的部署方法，其特征在于，所述根据所述目标设备块中的目标节点的信息确定每个目标设备块的输入节点和输出节点，包括：
若所述目标设备块中的目标节点的输入节点满足输入节点纳入条件，则所述目标节点的输入节点纳入当前目标设备块中并将所述输入节点作为所述目标设备块的输入节点，其中，所述输入节点纳入条件包括所述目标节点的输入节点为数据类型的节点时，对应的数据为所述深度学习网络的输入数据，或所述目标节点的输入节点为函数类型的节点且不包含在当前目标设备块中；
所述目标设备块中满足输出节点纳入条件的目标节点为所述当前目标设备块的输出节点，其中，所述输出节点纳入条件包括所述目标节点在所述深度学习网络的输出列表中，或所述目标节点的输出数据是当前目标设备块之外的目标设备块中目标节点的输入数据。


6.如权利要求1至5任一项所述的基于TVM编译器的异构平台的部署方法，其特征在于，所述对所述目标设备块进行空间分配，得到所述目标设备块的空间信息，包括：
基于所述目标设备块中每个输出节点的尺度信息和每...

【专利技术属性】
技术研发人员：吴金进，
申请(专利权)人：深圳云天励飞技术有限公司，
类型：发明
国别省市：广东;44