编译器硬件后端的扩展方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术涉及计算机技术领域，公开了一种编译器硬件后端的扩展方法、装置、设备及可读存储介质。其中，该编译器包括共用部署器、动态加载器和多个接口适配器，该方法包括：获取针对于各个处理器的预设运行时库和预设算子库；基于各个处理器对应的预设运行时库、预设算子库以及接口适配器进行编译，生成各个处理器对应的目标硬件库；通过动态加载器加载任一目标硬件库；基于目标硬件库的类型确定共用部署器的任务部署位置。通过实施本发明专利技术技术方案，降低了硬件扩展与编译器的耦合程度，减少了代码开发、编译和版本维护中的重复性工作，实现了编译器对于各个处理器的快速支持和随用随取。译器对于各个处理器的快速支持和随用随取。译器对于各个处理器的快速支持和随用随取。

【技术实现步骤摘要】
编译器硬件后端的扩展方法、装置、设备及可读存储介质


[0001]本专利技术涉及计算机
，具体涉及一种编译器硬件后端的扩展方法、装置、设备及可读存储介质。

技术介绍

[0002]在人工智能领域，用于模型训练的深度学习框架目前有很多种选择，例如TensorFlow、PyTorch、MxNet等。但无论何种深度学习框架，都需要将训练好的模型部署到实际应用场景中进行落地，继而，可供模型部署选择的设备种类也随着人工智能处理器的不断创新而越来越丰富，例如来自不同硬件厂商的CPU、GPU、MLU、FPGA等。深度学习框架、人工智能处理器的持续多样化所衍生的多对多映射问题驱动了AI编译器的发展。
[0003]以主流的开源AI编译器TVM(Tensor Virtual Machine)为例，它的前端进行模型解析，已实现与常见深度学习框架的对接，后端进行模型部署，已支持的智能处理器包括不同硬件厂商的CPU、GPU等。实际使用中，可通过对TVM后端部分进行源代码开发、添加新型人工智能处理器的部署模块，实现TVM硬件后端的扩展。/>[0004]然而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种编译器硬件后端的扩展方法，其特征在于，所述编译器包括共用部署器、动态加载器和多个接口适配器，所述方法包括：获取针对于各个处理器的预设运行时库和预设算子库；基于各个所述处理器对应的所述预设运行时库、所述预设算子库以及所述接口适配器进行编译，生成各个所述处理器对应的目标硬件库；通过所述动态加载器加载任一所述目标硬件库；基于所述目标硬件库的类型确定所述共用部署器的任务部署位置。2.根据权利要求1所述的方法，其特征在于，所述基于各个所述处理器对应的所述预设运行时库、所述预设算子库以及所述接口适配器进行编译，生成各个所述处理器对应的目标硬件库，包括：基于所述预设运行时库和预设算子库从多个所述接口适配器中确定出相应的目标接口适配器；对所述预设运行时库、所述预设算子库和所述目标接口适配器进行编译和链接，生成所述目标硬件库。3.根据权利要求1所述的方法，其特征在于，所述通过所述动态加载器加载任一所述目标硬件库，包括：获取各个所述目标硬件库对应的存储位置；从多个所述存储位置中确定出目标存储位置；通过所述动态加载器访问所述目标存储位置，从所述目标存储位置中读取相应的所述目标硬件库。4.根据权利要求3所述的方法，其特征在于，从多个所述存储位置中确定出目标存储位置，包括：响应于对多个所述存储位置的选择操作，基于所述选择操作从多个所述存储位置中确定出所述目标存储位置。5.根据权利要求1所述的方法，其特征在于，配置所述共用部署器，包括：响应于对硬件类型的第一设置操作，基于所述第一设置操作设置所述共用部署器的接口名称；响应于对内存和算子的第二设置操作，基于所述第二设置操作在所述共用部署器的头文件中定义...

【专利技术属性】
技术研发人员：王慕雪，李柏宏，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：