基于TVM面向RISC-V设备的神经网络编译方法技术

本发明专利技术公开了一种基于TVM面向RISC

【技术实现步骤摘要】
基于TVM面向RISC
‑
V设备的神经网络编译方法


[0001]本专利技术涉及计算机
，尤其涉及的是一种基于TVM面向RISC
‑
V设备的神经网络编译方法。

技术介绍

[0002]目前，随着科学计算和机器学习等技术的高速发展与广泛应用，神经网络模型的应用也越来越广泛，用户希望能将神经网络模型部署到更多的设备中，以更好地利用神经网络模型进行数据处理。现有技术中，常见的神经网络前端框架着重于使神经网络能够得到大型计算设备的支持，例如获得中央处理器(CPU，Central Processing Unit)、图形处理器(GPU，Graphics Processing Unit)等的支持。
[0003]现有技术的问题在于，现有的神经网络模型的前端框架对基于RISC
‑
V架构的设备的支持不足，无法直接通过模型转换的方法将神经网络模型转换为能直接部署在基于RISC
‑
V架构的设备中的模型。不利于提高神经网络模型的适应性，限制了神经网络模型在基于RISC
‑
V架构的设备中的部署。
[0004]因此，现有技术还有待改进和发展。

技术实现思路

[0005]本专利技术的主要目的在于提供一种基于TVM面向RISC
‑
V设备的神经网络编译方法，旨在解决现有技术中无法直接通过模型转换的方法将神经网络模型转换为能直接部署在基于RISC
‑
V架构的设备中的模型，不利于提高神经网络模型的适应性的问题。
[0006]为了实现上述目的，本专利技术第一方面提供一种基于TVM面向RISC
‑
V设备的神经网络编译方法，其中，上述方法包括：
[0007]基于待部署神经网络模型，通过TVM编译器获取函数文件、模型计算图文件以及模型参数文件；
[0008]基于上述函数文件获取RISC
‑
V版本的动态链接库文件，并基于上述动态链接库文件、上述模型计算图文件以及上述模型参数文件获取RISC
‑
V版本的目标神经网络模型；
[0009]基于上述RISC
‑
V版本的目标神经网络模型获取RISC
‑
V版本的运行时库文件、RISC
‑
V版本的模型计算代码以及RISC
‑
V版本的可执行文件。
[0010]可选的，在上述基于上述RISC
‑
V版本的目标神经网络模型获取RISC
‑
V版本的运行时库文件、RISC
‑
V版本的模型计算代码以及RISC
‑
V版本的可执行文件之后，上述方法还包括：
[0011]基于上述RISC
‑
V版本的目标神经网络模型、上述RISC
‑
V版本的运行时库文件以及上述RISC
‑
V版本的可执行文件对目标设备进行神经网络模型部署，其中，上述目标设备为基于RISC
‑
V架构的设备。
[0012]可选的，上述目标设备为基于RISC
‑
V架构的边缘计算设备。
[0013]可选的，上述基于待部署神经网络模型，通过TVM编译器获取函数文件、模型计算
图文件以及模型参数文件，包括：
[0014]获取待部署神经网络模型；
[0015]基于TVM编译器对上述待部署神经网络模型进行编译，获取Relay中间代码；
[0016]基于上述Relay中间代码获取函数文件、模型计算图文件以及模型参数文件。
[0017]可选的，上述基于上述Relay中间代码获取函数文件、模型计算图文件以及模型参数文件包括：
[0018]基于预设的模型优化策略对上述Relay中间代码进行优化，获取优化后的Relay中间代码；
[0019]基于上述优化后的Relay中间代码获取函数文件、模型计算图文件以及模型参数文件。
[0020]可选的，上述基于上述优化后的Relay中间代码获取函数文件、模型计算图文件以及模型参数文件，包括：
[0021]基于上述优化后的Relay中间代码，编译获取与LLVM编译器对应的中间模型文件，其中，上述中间模型文件包括函数文件、模型计算图文件以及模型参数文件，上述函数文件是上述LLVM编译器的中间代码文件。
[0022]可选的，上述基于上述函数文件获取RISC
‑
V版本的动态链接库文件，并基于上述动态链接库文件、上述模型计算图文件以及上述模型参数文件获取RISC
‑
V版本的目标神经网络模型，包括：
[0023]基于上述LLVM编译器和底层库文件将上述函数文件编译为RISC
‑
V版本的动态链接库文件，其中，上述底层库文件由RISC
‑
V版本的GNU编译器提供；
[0024]基于上述动态链接库文件、上述模型计算图文件以及上述模型参数文件获取RISC
‑
V版本的目标神经网络模型。
[0025]可选的，上述基于上述RISC
‑
V版本的目标神经网络模型获取RISC
‑
V版本的运行时库文件、RISC
‑
V版本的模型计算代码以及RISC
‑
V版本的可执行文件，包括：
[0026]基于TVM版本的运行时库文件和上述RISC
‑
V版本的目标神经网络模型，获取RISC
‑
V版本的运行时库文件和RISC
‑
V版本的模型计算代码；
[0027]基于上述RISC
‑
V版本的运行时库文件和上述RISC
‑
V版本的模型计算代码编译获取RISC
‑
V版本的可执行文件。
[0028]可选的，上述基于上述RISC
‑
V版本的运行时库文件和上述RISC
‑
V版本的模型计算代码编译获取RISC
‑
V版本的可执行文件，包括：
[0029]将上述RISC
‑
V版本的运行时库文件作为一个标准库文件，基于RISC
‑
V版本的GNU编译器对上述RISC
‑
V版本的模型计算代码进行编译，获取RISC
‑
V版本的可执行文件。
[0030]可选的，上述基于上述RISC
‑
V版本的目标神经网络模型、上述RISC
‑
V版本的运行时库文件以及上述RISC
‑
V版本的可执行文件对目标设备进行神经网络模型部署，包括：
[0031]将上述RISC
‑
V版本的目标神经网络模型、上述RISC
‑
V版本的运行时库文件以及上述RISC
‑
V版本的可执行文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于TVM面向RISC
‑
V设备的神经网络编译方法，其特征在于，所述方法包括：基于待部署神经网络模型，通过TVM编译器获取函数文件、模型计算图文件以及模型参数文件；基于所述函数文件获取RISC
‑
V版本的动态链接库文件，并基于所述动态链接库文件、所述模型计算图文件以及所述模型参数文件获取RISC
‑
V版本的目标神经网络模型；基于所述RISC
‑
V版本的目标神经网络模型获取RISC
‑
V版本的运行时库文件、RISC
‑
V版本的模型计算代码以及RISC
‑
V版本的可执行文件。2.根据权利要求1所述的基于TVM面向RISC
‑
V设备的神经网络编译方法，其特征在于，在所述基于所述RISC
‑
V版本的目标神经网络模型获取RISC
‑
V版本的运行时库文件、RISC
‑
V版本的模型计算代码以及RISC
‑
V版本的可执行文件之后，所述方法还包括：基于所述RISC
‑
V版本的目标神经网络模型、所述RISC
‑
V版本的运行时库文件以及所述RISC
‑
V版本的可执行文件对目标设备进行神经网络模型部署，其中，所述目标设备为基于RISC
‑
V架构的设备。3.根据权利要求2所述的基于TVM面向RISC
‑
V设备的神经网络编译方法，其特征在于，所述目标设备为基于RISC
‑
V架构的边缘计算设备。4.根据权利要求1所述的基于TVM面向RISC
‑
V设备的神经网络编译方法，其特征在于，所述基于待部署神经网络模型，通过TVM编译器获取函数文件、模型计算图文件以及模型参数文件，包括：获取待部署神经网络模型；基于TVM编译器对所述待部署神经网络模型进行编译，获取Relay中间代码；基于所述Relay中间代码获取函数文件、模型计算图文件以及模型参数文件。5.根据权利要求4所述的基于TVM面向RISC
‑
V设备的神经网络编译方法，其特征在于，所述基于所述Relay中间代码获取函数文件、模型计算图文件以及模型参数文件包括：基于预设的模型优化策略对所述Relay中间代码进行优化，获取优化后的Relay中间代码；基于所述优化后的Relay中间代码获取函数文件、模型计算图文件以及模型参数文件。6.根据权利要求5所述的基于TVM面向RISC
‑
V设备的神经网络编译方法，其特征在于，所述基于所述优化后的Relay中间代码获取函数文件、模型计算图文件以及模型参数文件，包括：基于所述优化后的Relay中间代码，编译获取与LLVM编译器对应的中间模型文件，其中，所述中间模型文件包括函数文件、模型计算图文件以及模型参数文件，所述函数文件是所述LLVM编译器的中间代码文件。7.根据权利要求6所述的基于TVM面向...

【专利技术属性】
技术研发人员：申奥，丁辰辰，黄耿斌，毛伟，余浩，
申请(专利权)人：南方科技大学，
类型：发明
国别省市：