一种AI模型编译方法、设备及存储介质技术

本发明专利技术实施例公开了一种AI模型编译方法、设备及存储介质。其中，方法包括：获取通过标准AI框架训练得到的AI模型，并解析AI模型；对解析得到的AI模型中的算子进行分类，得到待适配的AI芯片支持的第一类算子集以及AI芯片不支持的第二类算子集；根据第一类算子集以及第二类算子集，生成至少一项中间表达；根据至少一项中间表达生成用于在所述AI芯片上运行的执行模型。本发明专利技术实施例的方案实现了将AI模型适配于不同的AI芯片，简化了AI模型的应用。

An AI model compiling method, device and storage medium

【技术实现步骤摘要】
一种AI模型编译方法、设备及存储介质
本专利技术实施例涉及机器学习技术，尤其涉及一种AI模型编译方法、设备及存储介质。
技术介绍
随着人工智能(ArtificialIntelligence，AI)技术的广泛发展与应用，市场上出现了大量的AI硬件，其核心为AI芯片，不同AI芯片的生产厂家都面临着相同的问题，即如何保证生产的AI芯片可以支持更多的AI框架，目前得到广泛应用的AI框架有TensorFlow、Caffe、Mxnet以及pytorch等，其中AI模型为通过AI框架训练得到的，并且可以运行在AI芯片上的模型。现阶段，通过AI框架训练得到的AI模型仅能在固定的AI芯片上运行，无法应用于所有的AI芯片，并且现有技术中的AI模型转换工具不能支持所有AI模型的算子，导致无法成功的将AI模型转换为适用于现有的AI芯片的AI模型；需要用户学习相关知识，根据用户选择的AI芯片的参数对AI模型进行转换，这些都给AI模型的应用带来了极大的困难。因此，提供一种可以将AI模型适配于不同的AI芯片，简化AI模型的应用是十分有必要的。
技术实现思路
本专利技术实施例提供一种AI模型编译方法、设备及存储介质，以实现将AI模型适配于不同的AI芯片，简化AI模型的应用。第一方面，本专利技术实施例提供了一种AI模型编译方法，该方法包括：获取通过标准AI框架训练得到的AI模型，并解析所述AI模型；对解析得到的所述AI模型中的算子进行分类，得到待适配的AI芯片支持的第一类算子集以及所述AI芯片不支持的第二类算子集；根据所述第一类算子集以及所述第二类算子集，生成至少一项中间表达；根据所述至少一项中间表达生成用于在所述AI芯片上运行的执行模型。第二方面，本专利技术实施例还提供了一种计算机设备，该设备包括：处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：获取通过标准AI框架训练得到的AI模型，并解析所述AI模型；对解析得到的所述AI模型中的算子进行分类，得到待适配的AI芯片支持的第一类算子集以及所述AI芯片不支持的第二类算子集；根据所述第一类算子集以及所述第二类算子集，生成至少一项中间表达；根据所述至少一项中间表达生成用于在所述AI芯片上运行的执行模型。第三方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术任意实施例所述的AI模型编译方法。本专利技术实施例通过获取通过标准AI框架训练得到的AI模型，并解析得到的AI模型；对该AI模型中的算子进行分类，得到待适配的AI芯片支持的第一类算子以及AI芯片不支持的第二类算子；根据第一类算子以及第二类算子生成至少一项中间表达；根据至少一项中间表达生成用于在AI芯片上运行的执行模型。本专利技术实施例的方案解决了AI模型无法适配所有AI芯片的问题，实现了将AI模型适配于不同的AI芯片，简化了AI模型的应用。附图说明图1是本专利技术实施例一中的一种AI模型编译方法的流程图；图2是本专利技术实施例二中的一种AI模型编译方法的流程图；图3是本专利技术实施例二中的一种应用场景示意图；图4是本专利技术实施例二中的AI模型编译方法在异构计算设备中的执行流程图；图5是本专利技术实施例二中的AI模型编译方法在异构存储设备中的执行流程图；图6是本专利技术实施例三中的一种AI模型编译装置的结构示意图；图7是本专利技术实施例四中的一种计算机设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术实施例，而非对本专利技术实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术实施例相关的部分而非全部结构。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。本文使用的术语“AI框架”是指目前得到广泛应用的AI框架，例如，TensorFlow、Caffe、Mxnet以及pytorch等机器学习框架。本文使用的术语“AI模型”是指通过AI框架训练得到的模型，例如，通过Caffe训练得到的可以实现图像分类的abc.caffemodel。本文使用的术语“AI芯片”是指可以运行AI模型的智能芯片，其是AI硬件的核心组成部分。本文使用的术语“中间表达”是指为了得到可以在AI芯片上运行的执行模型而生成的中间文件，通过对其编译链接处理可以得到执行模型。本文使用的术语“执行模型”是指可以在AI芯片上可以运行的可执行文件。为了便于理解，将本专利技术实施例的主要专利技术构思进行简述。现有技术中，通过AI框架训练得到的AI模型仅能在固定的AI芯片上运行，无法应用于所有的AI芯片，并且现有技术中的AI模型转换工具不能支持所有AI模型的算子，导致无法成功的将AI模型转换为适用于现有的AI芯片的AI模型；需要用户学习相关知识，根据用户选择的AI芯片的参数对AI模型进行转换，这些都给AI模型的应用带来了极大的困难。专利技术人针对现有技术中AI模型的应用困难，考虑是否可以设计一种AI模型的编译方法，可以通过对AI模型的编译实现将AI模型应用于市面上任意一种AI芯片，尽量减少AI模型的应用困难。基于上述思考，专利技术人创造性的提出，通过获取通过标准AI框架训练得到的AI模型，并解析得到的AI模型；对该AI模型中的算子进行分类，得到待适配的AI芯片支持的第一类算子以及AI芯片不支持的第二类算子；根据第一类算子以及第二类算子生成至少一项中间表达；根据至少一项中间表达生成用于在AI芯片上运行的执行模型。这样做的好处是，可以将通过AI框架训练得到的AI模型可以适配于市面上的任意一种AI芯片，极大地简化了AI模型的应用。实施例一图1为本专利技术实施例一提供的一种AI模型编译方法的流程图，本实施例可适用于将通过AI框架训练得到的AI模型适配于AI芯片情况，该方法可以由AI模型编译装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在执行本方法的计算机设备中，在本实施例中执行本方法的设备可以是计算机、服务器、平板电脑或手机等。具体的，参考图1，该方法具体包括如下步骤：S110、获取通过标准AI框架训练得到的AI模型，并解析AI模型。具体的，通过在应用平台中对标准AI框架进行部署，可以对用户提供的数据集进行训练，并得到可以解决与用户提供的数据集相关的AI模型，通过运行训练得到的AI模型可以实现具体的功能。例如，用户需要实现图像分类的功能，将原始图像数据集进行分类，例如本文档来自技高网...

【技术保护点】
1.一种人工智能AI模型编译方法，其特征在于，包括：/n获取通过标准AI框架训练得到的AI模型，并解析所述AI模型；/n对解析得到的所述AI模型中的算子进行分类，得到待适配的AI芯片支持的第一类算子集以及所述AI芯片不支持的第二类算子集；/n根据所述第一类算子集以及所述第二类算子集，生成至少一项中间表达；/n根据所述至少一项中间表达生成用于在所述AI芯片上运行的执行模型。/n

【技术特征摘要】
1.一种人工智能AI模型编译方法，其特征在于，包括：
获取通过标准AI框架训练得到的AI模型，并解析所述AI模型；
对解析得到的所述AI模型中的算子进行分类，得到待适配的AI芯片支持的第一类算子集以及所述AI芯片不支持的第二类算子集；
根据所述第一类算子集以及所述第二类算子集，生成至少一项中间表达；
根据所述至少一项中间表达生成用于在所述AI芯片上运行的执行模型。


2.根据权利要求1所述的方法，其特征在于，所述AI模型包括多个算子、所述多个算子之间的关系以及预先训练的至少一项参数。


3.根据权利要求1所述的方法，其特征在于，所述根据所述第一类算子集以及所述第二类算子集，生成至少一项中间表达，包括：
根据所述第一类算子集生成第一类中间表达；
根据所述第二类算子集生成第二类中间表达。


4.根据权利要求3所述的方法，其特征在于，在根据所述中间表达生成用于在所述AI芯片上运行的执行模型之前，还包括：
获取所述AI模型在训练过程中，存储在非易失性存储器NVM上的snapshot文件，并生成第三类中间表达；
将所述第三类中间表达加入至所述中间表达中。


5.根据权利要求3所述的方法，其特征在于，所述根据所述第一类算子集生成第一类中间表达，包括：
将所述第一类算子集进行映射转换及优化处理，得到所述第一类中间表达。


6.根据权利要求3所述的方法，其特征在于，根据所述第二类算子集生成第二类中间表达，包括：
根据标准AI框架类型以及所述第二类算子集中的算子名称生成第二类中间表达。


7.根据权利要求1所述的方法，其特征在于，所述根据所述中间表达生成用于在所述AI芯片运行的执行模型，包括：
分别对每项所述中间表达进行编译处理，得到所述执行模型。


8.一种计算机设备，其特征在于，所述设备包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：
获取通过标准AI框架训练得到的...

【专利技术属性】
技术研发人员：夏正勋，罗圣美，
申请(专利权)人：南京星环智能科技有限公司，
类型：发明
国别省市：江苏;32