【技术实现步骤摘要】
本专利技术涉及人工智能算法应用，尤其是涉及一种解耦训练框架与即时编译器的标准系统及其工作方法。
技术介绍
1、在数字经济时代，生产力水平多了一个衡量标准——算力，算力作为数字经济时代新的生产力，是支撑数字经济发展的坚实基础，对推动科技进步、促进行业数字化转型以及支撑经济社会发展发挥重要的作用。算力已成为全球战略竞争新焦点，是国民经济发展的重要引擎，算力水平与经济发展水平呈现显著的正相关。
2、算力任务主要分为基础通用计算、以及hpc高性能计算(high-performancecomputing)，其中，hpc计算又细分为三类：科学计算类、工程计算类、智能计算类(即人工智能ai计算)，而ai人工智能是目前全社会重点关注的发展方向，不管是哪个领域，都在研究人工智能的应用和落地。
3、ai训练框架是ai算法模型设计、训练和验证的一套标准接口、特性库和工具包，集成了算法的封装、数据的调用以及底层计算资源的使用。目前，国内外多种ai框架并存。国内外训练框架的发展呈现出多样化和竞争激烈的趋势。在国际上，tensorflow和pytorch占据主导地位，其与英伟达ai加速芯片的组合为ai技术发展和应用提供了强大的计算性能和工具生态。在国内，国产训练框架也在快速发展，涌现出了如mindspore、paddlepaddle、oneflow、senseparrots等国产训练框架。各个国产框架都在不断改进和创新，除全面适配英伟达ai加速芯片外，也积极适配各家国产ai加速芯片，打造国产ai训练生态；并提供更加易用、高效和灵活的
4、训练框架除了基本的单算子执行能力之外，也都在积极接入神经网络编译器。将整个神经网络使用神经网络编译器进行编译优化，编译优化后进行神经网络整体执行比单算子执行性能更优。在实际应用中，当前的训练框架需要针对每一家芯片的神经网络编译器进行定制化适配开发，或者各个芯片厂商的神经网络编译器针对不同训练框架进行定制化适配开发，也就是说，训练框架和神经网络编译器耦合严重，训练框架接入多款芯片神经网络编译器的过程比较繁琐，训练框架和神经网络编译器之间的适配成本较高，难以实现训练框架和编译组件的快速接入。
技术实现思路
1、本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种解耦训练框架与即时编译器的标准系统及其工作方法，能够使训练框架通过一次适配即可接入不同芯片厂商的神经网络编译器，从而有效降低训练框架和神经网络编译器之间的适配成本，实现训练框架和编译组件的快速接入。
2、本专利技术的目的可以通过以下技术方案来实现：一种解耦训练框架与即时编译器的标准系统，包括用于连接训练框架和即时编译组件的标准接口层，所述标准接口层内设置有编译标准接口和执行器标准接口，所述编译标准接口用于为不同训练框架提供神经网络编译功能，所述执行器标准接口用于加载编译结果。
3、进一步地，所述编译标准接口包括编译任务标准接口、编译器标准接口和编译输出标准接口，所述编译器标准接口分别与编译任务标准接口、编译输出标准接口相连接。
4、进一步地，所述编译器标准接口与神经网络编译器相连接。
5、进一步地，所述编译输出标准接口与执行器标准接口相连接。
6、进一步地，所述执行器标准接口通过神经网络执行器与缓存器连接。
7、进一步地，所述编译标准接口和执行器标准接口均通过函数声明的形式进行定义。
8、一种解耦训练框架与即时编译器的标准系统工作方法，包括以下步骤：
9、s1、基于编译标准接口，分别开发神经网络执行器、神经网络编译器、编译任务数据结构、编译错误输出数据格式、编译正确输出数据格式；
10、s2、将神经网络编译器的唯一标识符注册到训练框架，训练框架通过调用编译标准接口接入神经网络编译器；
11、神经网络执行器将执行结果返回给训练框架。
12、进一步地，所述步骤s1中神经网络执行器用于负责加载神经网络并提供执行能力。
13、进一步地，所述步骤s1中神经网络编译器用于执行编译任务、配置默认编译选项、展示编译错误信息、展示编译器版本信息。
14、进一步地，所述步骤s1中编译任务数据结构包括设置和获取编译选项、管理编译输入。
15、与现有技术相比，本专利技术具有以下优点：
16、本专利技术设计用于连接训练框架和即时编译组件的标准接口层，该标准接口层内设置有编译标准接口和执行器标准接口，利用编译标准接口为不同训练框架提供神经网络编译功能，利用执行器标准接口加载编译结果，由此通过标准编译接口屏蔽不同训练框架和不同神经网络编译器的对应关系，能够将传统的单一训练框架对应单一神经网络编译器的适配流程转换成不依赖具体框架和芯片架构的统一化实现，从而实现训练框架和编译组件的快速接入。
17、本专利技术定义多个标准接口，包括编译任务标准接口、编译输出标准接口、编译器标准接口以及执行器标准接口，能够有效解耦神经网络编译器和训练框架，开发一款编译器即可为多种训练框架提供神经网络编译能力，训练框架一次适配即可接入多款芯片的神经网络编译器，能够有效降低训练框架和神经网络编译器之间的适配成本。
本文档来自技高网...【技术保护点】
1.一种解耦训练框架与即时编译器的标准系统，其特征在于，包括用于连接训练框架和即时编译组件的标准接口层，所述标准接口层内设置有编译标准接口和执行器标准接口，所述编译标准接口用于为不同训练框架提供神经网络编译功能，所述执行器标准接口用于加载编译结果。
2.根据权利要求1所述的一种解耦训练框架与即时编译器的标准系统，其特征在于，所述编译标准接口包括编译任务标准接口、编译器标准接口和编译输出标准接口，所述编译器标准接口分别与编译任务标准接口、编译输出标准接口相连接。
3.根据权利要求2所述的一种解耦训练框架与即时编译器的标准系统，其特征在于，所述编译器标准接口与神经网络编译器相连接。
4.根据权利要求2所述的一种解耦训练框架与即时编译器的标准系统，其特征在于，所述编译输出标准接口与执行器标准接口相连接。
5.根据权利要求2所述的一种解耦训练框架与即时编译器的标准系统，其特征在于，所述执行器标准接口通过神经网络执行器与缓存器连接。
6.根据权利要求1～5任一所述的一种解耦训练框架与即时编译器的标准系统，其特征在于，所述编译标准接
7.一种基于如权利要求1所述解耦训练框架与即时编译器的标准系统的工作方法，其特征在于，包括以下步骤：
8.根据权利要求7所述的一种标准系统的工作方法，其特征在于，所述步骤S1中神经网络执行器用于负责加载神经网络并提供执行能力。
9.根据权利要求7所述的一种标准系统的工作方法，其特征在于，所述步骤S1中神经网络编译器用于执行编译任务、配置默认编译选项、展示编译错误信息、展示编译器版本信息。
10.根据权利要求7所述的一种标准系统的工作方法，其特征在于，所述步骤S1中编译任务数据结构包括设置和获取编译选项、管理编译输入。
...【技术特征摘要】
1.一种解耦训练框架与即时编译器的标准系统，其特征在于，包括用于连接训练框架和即时编译组件的标准接口层，所述标准接口层内设置有编译标准接口和执行器标准接口，所述编译标准接口用于为不同训练框架提供神经网络编译功能，所述执行器标准接口用于加载编译结果。
2.根据权利要求1所述的一种解耦训练框架与即时编译器的标准系统，其特征在于，所述编译标准接口包括编译任务标准接口、编译器标准接口和编译输出标准接口，所述编译器标准接口分别与编译任务标准接口、编译输出标准接口相连接。
3.根据权利要求2所述的一种解耦训练框架与即时编译器的标准系统，其特征在于，所述编译器标准接口与神经网络编译器相连接。
4.根据权利要求2所述的一种解耦训练框架与即时编译器的标准系统，其特征在于，所述编译输出标准接口与执行器标准接口相连接。
5.根据权利要求2所述的一种解耦训练框架与即时编译器...
【专利技术属性】
技术研发人员：赵朝兴，金旻玺，裴芝林，张行程，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。