本申请公开了一种模型部署方法、装置、设备及存储介质，应用于预设低代码开发平台，涉及低代码开发领域，包括：对接收到的训练好的待部署模型文件进行解析，得到相应的解析结果；所述解析结果包括相应的模型网络结构信息以及模型节点信息；基于所述解析结果执行相应的模型量化参数配置操作，得到相应的配置结果；若当前内存未溢出，则基于所述解析结果以及所述配置结果执行相应的模型量化操作并计算各模型节点的量化损失，以当所述量化损失满足预设条件时通过执行相应的模型编译及模型推理操作进行检验，以完成针对所述待部署模型文件的模型部署操作。本申请能够有效降低部署门槛，降低减少人力资源以及时间的浪费。降低减少人力资源以及时间的浪费。降低减少人力资源以及时间的浪费。
【技术实现步骤摘要】
一种模型部署方法、装置、设备及存储介质
[0001]本专利技术涉及低代码开发领域，特别涉及一种模型部署方法、装置、设备及存储介质。
技术介绍
[0002]随着深度学习相关技术不断发展，神经网络模型在很多行业和场景得到广泛应用。由于神经网络模型的参数量和计算量大，在资源有限的嵌入式设备上部署较为困难，往往需要采用模型量化等轻量化方法。另外，由于许多嵌入式设备上没有操作系统等，需要通过C代码进行模型推理，并且由于没有文件系统，往往需要将模型数据写到代码中。上述方式虽然可以解决神经网络模型在嵌入式设备部署的问题，但由于涉及模型量化、C语言开发、内存优化等方面，对设计和训练模型的算法工程师提出了较大的困难和挑战。并且在模型部署过程中，由于嵌入式设备极低的资源，往往需要不断的调试，才能达到理想的精度和推理延迟，需要相关人员具备扎实的底层知识。
技术实现思路
[0003]有鉴于此，本专利技术的目的在于提供一种模型部署方法、装置、设备及存储介质，能够有效降低部署门槛，降低减少人力资源以及时间的浪费。其具体方案如下：第一方面，本申请提供了一种模型部署方法，应用于预设低代码开发平台，包括：对接收到的训练好的待部署模型文件进行解析，得到相应的解析结果；所述解析结果包括相应的模型网络结构信息以及模型节点信息；基于所述解析结果执行相应的模型量化参数配置操作，得到相应的配置结果；若当前内存未溢出，则基于所述解析结果以及所述配置结果执行相应的模型量化操作并计算各模型节点的量化损失，以当所述量化损失满足预设条件时通过执行相应的模型编译及模型推理操作进行检验，以完成针对所述待部署模型文件的模型部署操作。
[0004]可选的，所述计算各模型节点的量化损失之后，还包括：针对所述量化损失高于预设阈值的第一模型节点，执行相应的量化参数调整操作，以基于调整后的量化参数配置信息再次进行量化。
[0005]可选的，所述对接收到的训练好的待部署模型文件进行解析，得到相应的解析结果之后，还包括：基于所述解析结果进行可视化操作，以得到相应的模型网络结构图。
[0006]可选的，所述对接收到的训练好的待部署模型文件进行解析，得到相应的解析结果之后，还包括：基于所述解析结果中的所述模型节点信息确定与各模型节点对应的参数量大小、浮点运算数以及激活值内存占用大小，并通过预设方式进行可视化；相应的，所述通过预设方式进行可视化，包括：通过将与各所述模型节点对应的参数量大小、浮点运算数以及激活值内存占用大
小集成到所述模型网络结构图中进行可视化；或，通过柱状图对与各所述模型节点对应的参数量大小、浮点运算数以及激活值内存占用大小进行可视化。
[0007]可选的，所述基于所述解析结果执行相应的模型量化参数配置操作，包括：基于所述解析结果以及与各所述模型节点对应的参数量大小、浮点运算数以及激活值内存占用大小执行相应的模型量化参数配置操作；所述模型量化参数包括量化数据类型、量化粒度以及量化位数。
[0008]可选的，所述模型部署方法，还包括：若当前内存溢出，则重新跳转至所述基于所述解析结果执行相应的模型量化参数配置操作的步骤。
[0009]可选的，所述对接收到的训练好的待部署模型文件进行解析，包括：对接收到的满足预设文件格式的训练好的待部署模型文件进行解析；所述预设文件格式包括onnx、tflite。
[0010]第二方面，本申请提供了一种模型部署装置，应用于预设低代码开发平台，包括：文件解析模块，用于对接收到的训练好的待部署模型文件进行解析，得到相应的解析结果；所述解析结果包括相应的模型网络结构信息以及模型节点信息；参数配置模块，用于基于所述解析结果执行相应的模型量化参数配置操作，得到相应的配置结果；量化检验模块，用于若当前内存未溢出，则基于所述解析结果以及所述配置结果执行相应的模型量化操作并计算各模型节点的量化损失，以当所述量化损失满足预设条件时通过执行相应的模型编译及模型推理操作进行检验，以完成针对所述待部署模型文件的模型部署操作。
[0011]第三方面，本申请提供了一种电子设备，包括：存储器，用于保存计算机程序；处理器，用于执行所述计算机程序，以实现前述的模型部署方法的步骤。
[0012]第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的模型部署方法的步骤。
[0013]可见，本申请中，先通过预设低代码开发平台对接收到的训练好的待部署模型文件进行解析，得到相应的解析结果。然后所述解析结果包括相应的模型网络结构信息以及模型节点信息。然后基于所述解析结果执行相应的模型量化参数配置操作，得到相应的配置结果。然后若当前内存未溢出，则基于所述解析结果以及所述配置结果执行相应的模型量化操作并计算各模型节点的量化损失，以当所述量化损失满足预设条件时通过执行相应的模型编译及模型推理操作进行检验，以完成针对所述待部署模型文件的模型部署操作。本申请能够有效解决嵌入式设备上部署模型门槛较高的问题，降低了部署门槛，并进而降低减少人力资源以及时间的浪费。
附图说明
[0014]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0015]图1为本申请提供的一种模型部署方法流程图；图2为本申请提供的一种具体的模型部署流程示意图；图3为本申请提供的一种具体的模型部署方法流程图；图4为本申请提供的一种模型部署装置结构示意图；图5为本申请提供的一种电子设备结构图。
具体实施方式
[0016]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]随着深度学习相关技术不断发展，神经网络模型在很多行业和场景得到广泛应用。由于神经网络模型的参数量和计算量大，在资源有限的嵌入式设备上部署较为困难，往往需要采用模型量化等轻量化方法。另外，由于许多嵌入式设备上没有操作系统等，需要通过C代码进行模型推理，并且由于没有文件系统，往往需要将模型数据写到代码中。上述方式虽然可以解决神经网络模型在嵌入式设备部署的问题，但由于涉及模型量化、C语言开发、内存优化等方面，对设计和训练模型的算法工程师提出了较大的困难和挑战。并且在模型部署过程中，由于嵌入式设备极低的资源，往往需要不断的调试，才能达到理想的精度和推理延迟，需要相关人员具备扎实的底层知识。为此，本申请提供了一种模型部署方案，能够有效降低部署门槛，降低减少人力资源以及时间的浪费。
[0018]参见图1所示，本专利技术实施例公开了一种模型部署方法，应用于预设低代码开发平台，包括：步骤S11、对本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型部署方法，其特征在于，应用于预设低代码开发平台，包括：对接收到的训练好的待部署模型文件进行解析，得到相应的解析结果；所述解析结果包括相应的模型网络结构信息以及模型节点信息；基于所述解析结果执行相应的模型量化参数配置操作，得到相应的配置结果；若当前内存未溢出，则基于所述解析结果以及所述配置结果执行相应的模型量化操作并计算各模型节点的量化损失，以当所述量化损失满足预设条件时通过执行相应的模型编译及模型推理操作进行检验，以完成针对所述待部署模型文件的模型部署操作。2.根据权利要求1所述的模型部署方法，其特征在于，所述计算各模型节点的量化损失之后，还包括：针对所述量化损失高于预设阈值的第一模型节点，执行相应的量化参数调整操作，以基于调整后的量化参数配置信息再次进行量化。3.根据权利要求1所述的模型部署方法，其特征在于，所述对接收到的训练好的待部署模型文件进行解析，得到相应的解析结果之后，还包括：基于所述解析结果进行可视化操作，以得到相应的模型网络结构图。4.根据权利要求3所述的模型部署方法，其特征在于，所述对接收到的训练好的待部署模型文件进行解析，得到相应的解析结果之后，还包括：基于所述解析结果中的所述模型节点信息确定与各模型节点对应的参数量大小、浮点运算数以及激活值内存占用大小，并通过预设方式进行可视化；相应的，所述通过预设方式进行可视化，包括：通过将与各所述模型节点对应的参数量大小、浮点运算数以及激活值内存占用大小集成到所述模型网络结构图中进行可视化；或，通过柱状图对与各所述模型节点对应的参数量大小、浮点运算数以及激活值内存占用大小进行可视化。5.根据权利要求4所述的模型部署方法，其特征在于，...
【专利技术属性】
技术研发人员：陈其宾，段强，张连超，姜凯，李锐，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。