一种飞浆模型推理应用方法、系统、存储介质及设备技术方案

本发明专利技术提供了一种飞浆模型推理应用方法、系统、存储介质及设备，方法包括：将飞浆模型输入TVM框架中，并通过TVM框架将飞浆模型转换为TIR文件；通过目标编程语言将TIR文件转换为基于人工智能芯片的源代码，并基于源代码使TVM框架在人工智能芯片上进行模型推理，并得到预测结果；将预测结果转换为相应的数据结构，得到目标数据，并输出目标数据。本发明专利技术实现了在人工智能芯片硬件环境下，使用TVM框架编译器对飞浆模型进行推理编译；进而实现了深度学习算法在人工智能芯片的推理应用技术的落地，拓展了人工智能的发展领域。展了人工智能的发展领域。展了人工智能的发展领域。

【技术实现步骤摘要】
一种飞浆模型推理应用方法、系统、存储介质及设备


[0001]本专利技术涉及人工智能
，尤其涉及一种飞浆模型推理应用方法、系统、存储介质及设备。

技术介绍

[0002]人工智能(AI)技术作为计算机科学技术的一个分支，在诸多领域取得重大的发展。人工智能技术以机器学习、深度学习技术为核心，在人脸识别、通用物体检测、图像语义分割、图像分类、目标识别、视频处理、语音识别、自然语言处理等领域获得巨大发展。
[0003]深度学习算法的实现依赖于数据量的大小和计算机的高效算力。深度学习算法的构建包含训练和推理两个环节。其中，训练需要海量的输入数据才能训练出一个复杂的深度神经网络模型；推理指利用训练好的模型，使用预测数据去“推理”得出预测结果。深度神经网络对时间、能效比的要求比较高，这对深度学习AI芯片提出了更高的要求。
[0004]GPU(Graphics Processing Unit，图形处理器)作为智能计算和图形渲染的算法平台，一直占据着AI芯片市场的大部分份额，GPU显卡市场一直由AMD与NVIDIA两大公司把持。基于显卡市场的广阔前景和国外对我国的技术封锁，国内推出了邃思1.0、邃思2.0芯片，通过与战略客户针对业务场景进行深度合作，持续优化AI芯片软件栈，丰富算子库，开发更多的算法模型，适配主流AI框架等来满足客户对性能、训练精度和效果等方面的诉求。
[0005]Paddle(飞浆)框架技术在机器翻译、视频处理、人脸识别等领域实现了产品的落地。现有的Paddle模型的训练、推理应用主要依赖于CPU(中央处理器)、GPU设备，但其在邃思1.0、邃思2.0AI芯片的应用还是空白。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提出一种飞浆模型推理应用方法、系统、存储介质及设备，用以解决目前缺乏飞浆模型应用于AI芯片进行推理的问题。
[0007]基于上述目的，本专利技术提供了一种飞浆模型推理应用方法，包括以下步骤：
[0008]将飞浆模型输入TVM框架中，并通过TVM框架将飞浆模型转换为TIR文件；
[0009]通过目标编程语言将TIR文件转换为基于人工智能芯片的源代码，并基于源代码使TVM框架在人工智能芯片上进行模型推理，并得到预测结果；
[0010]将预测结果转换为相应的数据结构，得到目标数据，并输出目标数据。
[0011]在一些实施例中，通过TVM框架将飞浆模型转换为TIR文件包括：
[0012]通过TVM框架将飞浆模型转换为Relay IR文件，并将Relay IR文件转换为TIR文件。
[0013]在一些实施例中，将预测结果转换为相应的数据结构包括：
[0014]使用runtime.Module函数将预测结果转换为张量数据结构。
[0015]在一些实施例中，目标数据包括基于预测结果的预测值和预测准确率。
[0016]在一些实施例中，通过目标编程语言将TIR文件转换为基于人工智能芯片的源代
码包括：
[0017]调用TVM框架的目标代码转换功能并通过目标编程语言将TIR文件转换为基于人工智能芯片的源代码。
[0018]在一些实施例中，源代码包括开放运算语言的源码。
[0019]在一些实施例中，人工智能芯片包括型号为邃思1.0及邃思2.0的芯片。
[0020]本专利技术的另一方面，还提供了一种飞浆模型推理应用系统，包括：
[0021]模型转换模块，配置用于将飞浆模型输入TVM框架中，并通过TVM框架将飞浆模型转换为TIR文件；
[0022]推理模块，配置用于通过目标编程语言将TIR文件转换为基于人工智能芯片的源代码，并基于源代码使TVM框架在人工智能芯片上进行模型推理，并得到预测结果；以及
[0023]输出模块，配置用于将预测结果转换为相应的数据结构，得到目标数据，并输出目标数据。
[0024]本专利技术的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方法。
[0025]本专利技术的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述方法。
[0026]本专利技术至少具有以下有益技术效果：
[0027]本专利技术的飞浆模型推理应用方法，通过将飞浆模型输入TVM框架中，并通过TVM框架将飞浆模型转换为TIR文件，并通过目标编程语言将TIR文件转换为基于人工智能芯片的源代码，并基于源代码使TVM框架在人工智能芯片上进行模型推理，得到预测结果，并将预测结果转换为相应的数据结构，得到目标数据，并输出目标数据，实现了在人工智能芯片硬件环境下，使用TVM框架编译器对飞浆模型进行推理编译；进而实现了深度学习算法在人工智能芯片的推理应用技术的落地，拓展了人工智能的发展领域。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0029]图1为根据本专利技术实施例提供的飞浆模型推理应用方法的示意图；
[0030]图2为根据本专利技术实施例提供的飞浆模型推理应用系统的示意图；
[0031]图3为根据本专利技术实施例提供的实现飞浆模型推理应用方法的计算机可读存储介质的示意图；
[0032]图4为根据本专利技术实施例提供的执行飞浆模型推理应用方法的计算机设备的硬件结构示意图。
具体实施方式
[0033]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0034]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
[0035]基于上述目的，本专利技术实施例的第一个方面，提出了一种飞浆模型推理应用方法的实施例。图1示出的是本专利技术提供的飞浆模型推理应用方法的实施例的示意图。如图1所示，本专利技术实施例包括如下步骤：
[0036]步骤S10、将飞浆模型输入TVM框架中，并通过TVM框架将飞浆模型转换为TIR文件；
[0037]步骤S20、通过目标编程语言将TIR文件转换为基于人工智能芯片的源代码，并基于源代码使TVM框架在人工智能芯片上进行模型推理，并得到预测结果；
[0038]步骤S30、将预测结果转换为相应的数据结构，得到目标数据，并输出目标数据。
[0039]通常情况下，根据深度学习应用场景构建模型或算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种飞浆模型推理应用方法，其特征在于，包括以下步骤：将飞浆模型输入TVM框架中，并通过所述TVM框架将所述飞浆模型转换为TIR文件；通过目标编程语言将所述TIR文件转换为基于人工智能芯片的源代码，并基于所述源代码使所述TVM框架在所述人工智能芯片上进行模型推理，并得到预测结果；将所述预测结果转换为相应的数据结构，得到目标数据，并输出所述目标数据。2.根据权利要求1所述的方法，其特征在于，通过所述TVM框架将所述飞浆模型转换为TIR文件包括：通过所述TVM框架将所述飞浆模型转换为Relay IR文件，并将所述Relay IR文件转换为TIR文件。3.根据权利要求1所述的方法，其特征在于，将所述预测结果转换为相应的数据结构包括：使用runtime.Module函数将所述预测结果转换为张量数据结构。4.根据权利要求1所述的方法，其特征在于，所述目标数据包括基于所述预测结果的预测值和预测准确率。5.根据权利要求1所述的方法，其特征在于，通过目标编程语言将所述TIR文件转换为基于人工智能芯片的源代码包括：调用所述TVM框架的目标代码转换功能并通过目标编程语言将所述TI...

【专利技术属性】
技术研发人员：刘松，
申请(专利权)人：山东云海国创云计算装备产业创新中心有限公司，
类型：发明
国别省市：