深度学习模型统一应用方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术提供的深度学习模型统一应用方法、装置、服务器及存储介质，属于深度学习技术领域，包括：根据目标模型的描述文件，构建中间协议对象；根据应用需求，对中间协议对象中的模块进行替换，以确定目标协议对象；目标协议对象中的每个模块接口一致；基于目标设备的设备信息，根据目标协议对象，生成与应用需求对应的应用代码，应用代码运行于目标设备。本发明专利技术提供的深度学习模型统一应用方法、装置、服务器及存储介质，通过将模型的描述文件构建成统一格式的中间协议对象，进而在优化模型的同时整合模型中的模块接口，使得模型能够适用于各种软硬件环境的设备，具有更高兼容性，为模型的应用提供优化空间。的应用提供优化空间。的应用提供优化空间。

【技术实现步骤摘要】
深度学习模型统一应用方法、装置、服务器及存储介质


[0001]本专利技术涉及深度学习
，尤其涉及一种深度学习模型统一应用方法、装置、服务器及存储介质。

技术介绍

[0002]近年来随着深度学习技术的迅速发展与落地，新的模型和训练策略层出不穷，相关的工具链也处在快速迭代的过程中，而在现有使用场景中，各类框架工具以及硬件平台的兼容问题无疑是需要突破的难点。
[0003]现有技术中的许多工具包和框架，满足了现有场景的一些需求。
[0004]然而，由于各个框架之间的兼容问题，往往会使现有的模型高度受制于软硬件环境。

技术实现思路

[0005]本专利技术提供的深度学习模型统一应用方法、装置、服务器及存储介质，用以解决现有技术中由于各个框架之间的兼容问题，往往会使现有的模型高度受制于软硬件环境的缺陷，实现适用于各种软硬件环境的设备，具有更高兼容性。
[0006]本专利技术提供一种深度学习模型统一应用方法，包括：根据目标模型的描述文件，构建中间协议对象；根据应用需求，对所述中间协议对象中的模块进行替换，以确定目标协议对象；所述目标协议对象中的每个模块接口一致；基于目标设备的设备信息，根据所述目标协议对象，生成与所述应用需求对应的应用代码，所述应用代码运行于所述目标设备。
[0007]根据本专利技术提供的一种深度学习模型统一应用方法，所述根据目标模型的描述文件，构建中间协议对象，包括：对所述描述文件进行格式转换，获取BM协议文件；将所述BM协议文件中所述目标模型的每个模块的接口对齐，构建所述中间协议对象。
[0008]根据本专利技术提供的一种深度学习模型统一应用方法，所述将所述BM协议文件中各模块的接口对齐，构建所述中间协议对象，包括：根据所述目标模型的有向无环图的拓扑顺序，将所述BM协议文件中的接口对齐，以构建所述中间协议对象。
[0009]根据本专利技术提供的一种深度学习模型统一应用方法，所述根据应用需求，对所述中间协议对象中的模块进行替换，以确定目标协议对象，包括：根据应用需求，确定至少一个替换模块，并对所述中间协议对象中的重复语句进行整合，确定合并协议对象；基于替换插件，利用所述替换模块，对所述合并协议对象中的模块进行替换，以生
成所述目标协议对象；所述替换插件，用于将所述目标协议对象中的每个模块的接口调整一致。
[0010]根据本专利技术提供的一种深度学习模型统一应用方法，所述基于替换插件，利用所述替换模块，对所述合并协议对象中的模块进行替换，以生成所述目标协议对象，包括：获取替换插件；对所述合并协议对象中的模块加入所述替换插件，以利用所述替换模块，对所述合并协议对象中的模块进行替换，生成替换协议对象；将所述替换协议对象中的模块的参数进行同类整理，生成所述目标协议对象。
[0011]根据本专利技术提供的一种深度学习模型统一应用方法，所述基于目标设备的设备信息，根据所述目标协议对象，生成与所述应用需求对应的应用代码，包括：根据所述目标设备的设备信息，确定所述目标设备的代码模板；基于所述代码模板，利用所述目标协议对象生成所述目标模型的初始代码；确定所述初始代码中的无效代码区域，以生成所述应用代码。
[0012]根据本专利技术提供的一种深度学习模型统一应用方法，在所述确定所述初始代码中的无效代码区域，以生成所述应用代码之后，还包括：接收版本修改指令；响应于所述版本修改指令，对所述目标模型的配置文件进行修改，生成新的描述文件，所述新的描述文件用于生成所述目标模型的新的应用代码。
[0013]本专利技术还提供一种深度学习模型统一应用装置，包括：前端模块，用于根据目标模型的描述文件，构建中间协议对象；优化模块，用于根据应用需求，对所述中间协议对象中的模块进行替换，以确定目标协议对象；所述目标协议对象中的每个模块接口一致；后端模块，用于基于目标设备的设备信息，根据所述目标协议对象，生成与所述应用需求对应的应用代码，所述应用代码运行于所述目标设备。
[0014]本专利技术还提供一种服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述深度学习模型统一应用方法。
[0015]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述深度学习模型统一应用方法。
[0016]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述深度学习模型统一应用方法。
[0017]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述深度学习模型统一应用方法。
[0018]本专利技术提供的深度学习模型统一应用方法、装置、服务器及存储介质，通过将模型的描述文件构建成统一格式的中间协议对象，进而在优化模型的同时整合模型中的模块接口，使得模型能够适用于各种软硬件环境的设备，具有更高兼容性，为模型的应用提供优化空间。
附图说明
[0019]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1是本专利技术提供的深度学习模型统一应用方法的流程示意图之一；图2是本专利技术提供的深度学习模型统一应用方法的流程示意图之二；图3是本专利技术提供的深度学习模型统一应用装置的结构示意图；图4是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0021]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]现有的深度学习主流框架如Pytorch、Tensorflow等，为构建深度学习模型提供了简单的模块接口；在此类基础框架之上，DeepSpeed、Fairseq等工具包，开发了诸多插件化应用，优化了模型的表现，也提供了更多模块组件。
[0023]而Transformers、Megatron
‑
LM、ModelCenter等模型库，则使得调用模型变得简单高效，用户能够快速使用社区贡献的代码片段，并迅速得到实践。
[0024]同时模型标准表示ONNX统一了各个平台框架训练的模型，使其可以转化为ONNX表示。但其表示粒度过细，导致执行效率很低。
[0025]本专利技术在现有的深度学习场景中，提供了一套统一的模型描述协议的模型开发方案，涉及AI模型定义，模型训练部署，自动化代码生成等领域，可以将中间文件中的组件替换为第三方高度优化后的同等模型组件，从而提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型统一应用方法，其特征在于，包括：根据目标模型的描述文件，构建中间协议对象；根据应用需求，对所述中间协议对象中的模块进行替换，以确定目标协议对象；所述目标协议对象中的每个模块接口一致；基于目标设备的设备信息，根据所述目标协议对象，生成与所述应用需求对应的应用代码，所述应用代码运行于所述目标设备。2.根据权利要求1所述的深度学习模型统一应用方法，其特征在于，所述根据目标模型的描述文件，构建中间协议对象，包括：对所述描述文件进行格式转换，获取BM协议文件；将所述BM协议文件中所述目标模型的每个模块的接口对齐，构建所述中间协议对象。3.根据权利要求2所述的深度学习模型统一应用方法，其特征在于，所述将所述BM协议文件中各模块的接口对齐，构建所述中间协议对象，包括：根据所述目标模型的有向无环图的拓扑顺序，将所述BM协议文件中的接口对齐，以构建所述中间协议对象。4.根据权利要求1所述的深度学习模型统一应用方法，其特征在于，所述根据应用需求，对所述中间协议对象中的模块进行替换，以确定目标协议对象，包括：根据应用需求，确定至少一个替换模块，并对所述中间协议对象中的重复语句进行整合，确定合并协议对象；基于替换插件，利用所述替换模块，对所述合并协议对象中的模块进行替换，以生成所述目标协议对象；所述替换插件，用于将所述目标协议对象中的每个模块的接口调整一致。5.根据权利要求4所述的深度学习模型统一应用方法，其特征在于，所述基于替换插件，利用所述替换模块，对所述合并协议对象中的模块进行替换，以生成所述目标协议对象，包括：获取替换插件；对所述合并协议对象中的模块加入所述替换插件，以利用所述替换模块，对所述合并协议对象中的模块进行替换，生成替换协议...

【专利技术属性】
技术研发人员：曾国洋，孙奥，郑直，
申请(专利权)人：北京面壁智能科技有限责任公司，
类型：发明
国别省市：