【技术实现步骤摘要】
本专利技术涉及模型推理处理，尤其涉及一种模型推理方法、装置、电子设备及可读存储介质。
技术介绍
1、kubernetes，简称k8s，是用8代替名字中间的8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，kubernetes的目标是让部署容器化的应用简单并且高效(powerful)，kubernetes提供了应用部署，规划，更新，维护的一种机制。
2、但当前k8s的代码集中度过高，将所有代码都集成到了推理服务中，这意味着任何小的变动都可能影响整个服务，使得维护和改进变得困难。当需要修改或更新模型时，必须进行推理工程代码的迭代，同时还需要重新部署推理服务以进行测试和调试，模型变更繁琐，这导致了不必要的时间和精力浪费。而在当业务需求发生变化时，同样需要对推理工程代码进行迭代，而测试和调试的重新部署又增加了工作量和延迟。以及在需要快速迭代的情况下，必须修改推理工程代码，然后将其部署到k8s环境中进行测试，最后才能制作新的镜像并上线。这一系列步骤增加了响应变化的难度。
技术实现思路
1、有鉴于此，本专利技术实施例提供了一种模型推理方法、装置、电子设备及可读存储介质，以降低业务代码与推理服务之间的紧密耦合，减少模型变更和业务需求变更的复杂性，并提高系统的敏捷性和可维护性。
2、根据本专利技术的一方面，提供了一种模型推理方法，包括：
3、接收第一输入，第一输入为设置目标模型包内部脚本调用流程的指令；
5、接收第二输入，第二输入为调用目标模型包的推理请求；
6、响应于第二输入，组装调用目标模型包的系统参数，调用目标模型包响应推理请求。
7、可选地，响应于第一输入，按照调用流程创建存放目标模型包的基类文件后，还包括：
8、接收第三输入，第三输入为目标模型包的更新信息；
9、响应于第三输入，更新基类文件中的目标模型包。
10、可选地，接收第二输入前，还包括：
11、接收第四输入，第四输入为拆分目标模型包的指令；
12、响应于第四输入，将目标模型包拆分成模型文件、推理脚本和模型配置；
13、响应于第二输入，组装调用目标模型包的系统参数，调用目标模型包处理推理请求，包括：
14、获取目标模型的模型配置，按照模型配置组装调用目标模型包的系统参数，调用目标模型包处理推理请求。
15、可选地，接收第二输入前，还包括：
16、接收第五输入，第五输入为目标模型包的标识设置指令；
17、响应于第五输入，设置目标模型包的模型标识和场景标识；
18、响应于第二输入，组装调用目标模型包的系统参数，调用目标模型包处理推理请求，包括：
19、组装调用目标模型包的系统参数，按照模型标识和/或场景标识调用目标模型包处理推理请求。
20、根据本专利技术的第二方面，提供了一种模型推理装置，包括：
21、第一接收模块，用于接收第一输入，第一输入为设置目标模型包内部脚本调用流程的指令；
22、存储模块，响应于第一输入，按照调用流程创建存放目标模型包的基类文件；
23、第二接收模块，用于接收第二输入，第二输入为调用目标模型包的推理请求；
24、推理模块，响应于第二输入，组装调用目标模型包的系统参数，调用目标模型包响应推理请求。
25、可选地，模型推理装置，还包括：
26、第三接收模块，用于接收第三输入，第三输入为目标模型包的更新信息；
27、更新模块，响应于第三输入，更新基类文件中的目标模型包。
28、可选地，模型推理装置，还包括：
29、第四接收模块，用于接收第四输入，第四输入为拆分目标模型包的指令；
30、拆分模块，响应于第四输入，将目标模型包拆分成模型文件、推理脚本和模型配置；
31、推理模块，包括：
32、第一推理子模块，用于获取目标模型的模型配置，按照模型配置组装调用目标模型包的系统参数，调用目标模型包处理推理请求。
33、可选地，模型推理装置，还包括：
34、第五接收模块，接收第五输入，第五输入为目标模型包的标识设置指令；
35、设置模块，响应于第五输入，设置目标模型包的模型标识和场景标识；
36、推理模块，包括：
37、第二推理子模块，用于组装调用目标模型包的系统参数，按照模型标识和/或场景标识调用目标模型包处理推理请求。
38、根据本专利技术的第三方面，提供了一种电子设备，包括：
39、处理器；以及
40、存储程序的存储器，
41、其中，程序包括指令，指令在由处理器执行时使处理器执行根据本专利技术第一方面中任一项的方法。
42、根据本专利技术的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据本专利技术第一方面中任一项的方法。
43、本申请实施例中提供的一个或多个技术方案，针对不同的模型和业务逻辑，通过外置模型包实现快速迭代和修改。通过模型规范的制定解决在迭代频繁的模型代码中硬编码替换的操作，从而实现高效敏捷的版本迭代特性。本方案建立了一个具备强大的规范性、灵活性和高效性的模型管理和推理系统，使其更适用于多样化的应用场景和迭代需求，能够更灵活地应对不同场景的需求变化。
本文档来自技高网...【技术保护点】
1.一种模型推理方法，其特征在于，包括：
2.根据权利要求1所述的模型推理方法，其特征在于，所述响应于所述第一输入，按照所述调用流程创建存放所述目标模型包的基类文件后，还包括：
3.根据权利要求1所述的模型推理方法，其特征在于，所述接收第二输入前，还包括：
4.根据权利要求1所述的模型推理方法，其特征在于，所述接收第二输入前，还包括：
5.一种模型推理装置，其特征在于，包括：
6.根据权利要求5所述的模型推理装置，其特征在于，所述模型推理装置，还包括：
7.根据权利要求5所述的模型推理装置，其特征在于，所述模型推理装置，还包括：
8.根据权利要求5所述的模型推理装置，其特征在于，所述模型推理装置，还包括：
9.一种电子设备，包括：
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-4中任一项所述的方法。
【技术特征摘要】
1.一种模型推理方法，其特征在于，包括：
2.根据权利要求1所述的模型推理方法，其特征在于，所述响应于所述第一输入，按照所述调用流程创建存放所述目标模型包的基类文件后，还包括：
3.根据权利要求1所述的模型推理方法，其特征在于，所述接收第二输入前，还包括：
4.根据权利要求1所述的模型推理方法，其特征在于，所述接收第二输入前，还包括：
5.一种模型推理装置，其特征在于，包括：
【专利技术属性】
技术研发人员：吴彧皞，李鹏力，马涛，徐健，王京，赵辉，李晓亮，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。