一种基于大语言模型的张量程序生成方法及系统技术方案

本发明专利技术公开了一种基于大语言模型的张量程序生成方法及系统，其中，方法包括以下步骤：（1）通过AI编译器测试工具nnsmith生成随机ONNX计算图；（2）将nnsmith生成的ONNX计算图导入TVM，并转换为RelayIR中间表示；（3）基于TVM内部的模型中间表示RelayIR，通过TVM中的自动调优器Ansor对模型进行调优，生成最优的张量程序，并输出调优时测量的JSON文件；（4）持续进行模型调优和张量程序测量，生成大量调优时的测量记录，形成一个张量程序数据集，数据集中包含张量程序的特征以及对应的优化pass list；（5）根据生成的张量程序数据集训练大语言模型，以实现对张量程序的理解和生成。本发明专利技术通过自动化工具和大语言模型的结合，可以实现高效的张量程序生成和优化。

【技术实现步骤摘要】

本专利技术属于深度学习编译和优化，尤其是涉及一种基于大语言模型的张量程序生成方法及系统。

技术介绍

1、深度学习模型的训练和推理过程需要大量的张量计算，而如何高效地进行这些计算是一个重要的问题。目前，深度学习编译器和优化工具能够在一定程度上提升模型的执行效率，但手动优化的过程费时费力，且难以在不同硬件平台上实现最佳性能。

2、深度学习模型的训练和推理过程需要大量的张量计算，而如何高效地进行这些计算是一个重要的问题。目前，深度学习编译器和优化工具能够在一定程度上提升模型的执行效率，但手动优化的过程费时费力，且难以在不同硬件平台上实现最佳性能。

3、首先，手写算子加速库（如cudnn）在特定硬件上能够提供高效的计算加速，但其缺乏通用性和灵活性。例如，针对不同深度学习模型和数据结构，手写算子往往需要进行大量的重构和调整，导致开发效率低下。此外，使用手写算子还需要开发者具备较高的专业知识，才能充分发挥硬件的潜力，这限制了其在广泛应用场景中的推广。

4、其次，多面体编译技术（如polyhedral model）虽然能够通过数学建模本文档来自技高网...

【技术保护点】

1.一种基于大语言模型的张量程序生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于大语言模型的张量程序生成方法，其特征在于，步骤（1）中，生成随机ONNX计算图后，设定ONNX计算图的输入约束，输入约束包括输入张量的维度、数据类型和范围。

3.根据权利要求1所述的基于大语言模型的张量程序生成方法，其特征在于，步骤（2）中，使用TVM的ONNX前端接口解析ONNX计算图，解析ONNX计算图的步骤包括计算图重写、计算图优化、算子优化以及代码生成，最终导出为可部署模块。

4.根据权利要求1所述的基于大语言模型的张量程序生成方法，其特征在于，步...

【技术特征摘要】

1.一种基于大语言模型的张量程序生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于大语言模型的张量程序生成方法，其特征在于，步骤（1）中，生成随机onnx计算图后，设定onnx计算图的输入约束，输入约束包括输入张量的维度、数据类型和范围。

3.根据权利要求1所述的基于大语言模型的张量程序生成方法，其特征在于，步骤（2）中，使用tvm的onnx前端接口解析onnx计算图，解析onnx计算图的步骤包括计算图重写、计算图优化、算子优化以及代码生成，最终导出为可部署模块。

4.根据权利要求1所述的基于大语言模型的张量程序生成方法，其特征在于，步骤（2）中，转换为relayir中间表示的过程中，进行图优化操作，包括常量折叠、算子合并，以提升中间表示的执行效率。

5.根据权利要求1所述的基于大语言模型...

【专利技术属性】
技术研发人员：张子键，刘宇阳，李石坚，张犁，潘纲，
申请(专利权)人：浙江大学，
类型：发明
国别省市：