System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种模型上线方法和相关装置、在线服务方法和相关装置制造方法及图纸_技高网

一种模型上线方法和相关装置、在线服务方法和相关装置制造方法及图纸

技术编号:40064900 阅读:8 留言:0更新日期:2024-01-16 23:16
本申请公开了一种模型上线方法和相关装置、在线服务方法和相关装置,针对待上线的目标模型,获取调用代码文件和模型代码文件,目标设备通过加载调用代码文件和模型代码文件,启动远程过程调用框架并利用远程过程调用框架上线目标模型。还可以获取目标模型对应的模型说明文件,模型说明文件描述了目标模型的模型服务计算流程,当需要通过目标模型提供模型服务时,通过远程过程调用框架,并在模型服务计算流程的指导下构建模型服务计算流程对应的有向节点图,根据有向节点图调用目标模型进行相应的子模型服务处理,可得到针对模型服务请求的模型服务结果,使得模型上线后可以利用模型说明文件调用目标模型,从而提高了模型上线效率。

【技术实现步骤摘要】

本申请涉及数据处理领域,特别是涉及一种模型上线方法和相关装置、在线服务方法和相关装置


技术介绍

1、近年来,随着数据处理模型的不断发展,将训练得到的数据处理模型部署在目标设备(即数据处理模型上线)也越来越广泛,自研的数据处理模型可以通过部署到目标设备可被调用而进行数据处理,从而通过数据处理模型提供远程过程调用(remote procedurecall,rpc)服务。

2、然而,目前自研的数据处理模型部署到线上系统,需要模型开发者根据rpc协议和通信机制为数据处理模型设置相应的rpc框架,使目标模型可以通过rpc框架被调用,因此需要模型开发者额外学习rpc协议,目标模型的上线具有较高的学习成本,导致研发效率低。


技术实现思路

1、为了解决上述技术问题,本申请提供了一种模型上线方法和相关装置、在线服务方法和相关装置,降低了模型上线的学习成本,从而提高了模型上线效率。

2、本申请实施例公开了如下技术方案:

3、一方面,本申请提供一种模型上线方法,所述方法包括:

4、获取待上线的目标模型对应的模型说明文件,所述模型说明文件用于描述所述目标模型的模型服务计算流程;

5、确定远程过程调用代码对应的调用代码文件和所述目标模型的模型代码文件,所述模型代码文件用于被加载时启动所述目标模型,所述调用代码文件用于被加载时启动远程过程调用框架;

6、将所述调用代码文件、所述模型代码文件和所述模型说明文件配置到目标设备中,指示所述目标设备加载所述调用代码文件和所述模型代码文件,以通过启动的远程过程调用框架上线所述目标模型,所述模型说明文件所描述的模型服务计算流程用于当通过所述远程过程调用框架获取针对所述目标模型的模型服务请求时,指示构建所述模型服务计算流程对应的有向节点图,所述有向节点图包括用于标识子模型服务的计算节点,以及计算节点间的有向连线,所述有向节点图中计算节点标识的子模型服务和所述有向连线指示的执行顺序,用于指示通过所述目标模型对所述模型服务请求对应的输入数据进行子模型服务处理,得到所述模型服务请求对应的模型服务结果。

7、另一方面,本申请提供一种在线服务方法,所述方法包括:

8、获取调用代码文件、模型代码文件和目标模型对应的模型说明文件;所述模型代码文件用于被加载时启动所述目标模型,所述调用代码文件用于被加载时启动远程过程调用框架,所述模型说明文件用于描述所述目标模型的模型服务计算流程;

9、通过加载所述调用代码文件启动远程过程调用框架;

10、通过所述远程过程调用框架加载所述模型代码文件上线目标模型;

11、通过远程过程调用框架获取针对目标模型的模型服务请求;

12、通过所述模型说明文件描述的所述模型服务计算流程,构建所述模型服务计算流程对应的有向节点图,所述有向节点图包括用于标识子模型服务的计算节点,以及计算节点间的有向连线;

13、根据所述有向节点图中计算节点标识的子模型服务和所述有向连线指示的执行顺序,通过所述目标模型对所述模型服务请求对应的输入数据进行子模型服务处理,得到所述模型服务请求对应的模型服务结果。

14、另一方面,本申请提供一种模型上线设备,所述设备包括:

15、说明文件获取单元,用于获取待上线的目标模型对应的模型说明文件,所述模型说明文件用于描述所述目标模型的模型服务计算流程;

16、代码文件获取单元,用于确定远程过程调用代码对应的调用代码文件和所述目标模型的模型代码文件,所述模型代码文件用于被加载时启动所述目标模型,所述调用代码文件用于被加载时启动远程过程调用框架;

17、文件配置单元,用于将所述调用代码文件、所述模型代码文件和所述模型说明文件配置到目标设备中,指示所述目标设备加载所述调用代码文件和所述模型代码文件,以通过启动的远程过程调用框架上线所述目标模型,所述模型说明文件所描述的模型服务计算流程用于当通过所述启动的远程过程调用框架获取针对所述目标模型的模型服务请求时,指示构建所述模型服务计算流程对应的有向节点图,所述有向节点图包括用于标识子模型服务的计算节点,以及计算节点间的有向连线,所述有向节点图中计算节点标识的子模型服务和所述有向连线指示的执行顺序,用于指示通过所述目标模型对所述模型服务请求对应的输入数据进行子模型服务处理,得到所述模型服务请求对应的模型服务结果。

18、另一方面,本申请提供一种目标设备,所述目标设备包括:

19、文件获取单元,用于获取调用代码文件、模型代码文件和目标模型对应的模型说明文件;所述模型代码文件用于被加载时启动所述目标模型,所述调用代码文件用于被加载时启动远程过程调用框架,所述模型说明文件用于描述所述目标模型的模型服务计算流程;

20、框架启动单元,用于通过加载所述调用代码文件启动远程过程调用框架;

21、模型上线单元,用于通过所述远程过程调用框架加载所述模型代码文件上线目标模型;

22、请求获取单元,用于通过远程过程调用框架获取针对目标模型的模型服务请求;

23、有向节点图构建单元,用于通过所述模型说明文件描述的所述模型服务计算流程,构建所述模型服务计算流程对应的有向节点图,所述有向节点图包括用于标识子模型服务的计算节点,以及计算节点间的有向连线;

24、结果确定单元,用于根据所述有向节点图中计算节点标识的子模型服务和所述有向连线指示的执行顺序,通过所述目标模型对所述模型服务请求对应的输入数据进行子模型服务处理,得到所述模型服务请求对应的模型服务结果。

25、另一方面,本申请提供一种在线服务系统,所述系统包括所述的模型上线设备和所述的目标设备。

26、另一方面,本申请提供一种计算机设备,所述设备包括处理器以及存储器:

27、所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;

28、所述处理器用于根据所述计算机程序中的指令执行上述方面所述的模型上线方法或在线服务方法。

29、另一方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行上述方面所述的模型上线方法或在线服务方法。

30、另一方面,本申请实施例提供了一种包括计算机程序的计算机程序产品,当其在计算机设备上运行时,使得所述计算机设备执行所述的模型上线方法或在线服务方法。

31、由上述技术方案可以看出,针对待上线的目标模型,可以获取调用代码文件和模型代码文件,模型代码文件用于被加载时启动目标模型,调用代码文件用于被加载时启动远程过程调用框架,将调用代码文件和模型代码文件配置到目标设备中,目标设备可以通过加载调用代码文件和模型代码文件,启动远程过程调用框架并利用远程过程调用框架上线目标模型。此外,可以获取目标模型对应的模型说明文件,模型说明文件描述了目标模型的模型服务计算本文档来自技高网...

【技术保护点】

1.一种模型上线方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述调用代码文件、所述模型代码文件和所述模型说明文件配置到目标设备中,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1-4任一项所述的方法,其特征在于,所述获取待上线的目标模型对应的模型说明文件,包括:

7.一种在线服务方法,其特征在于,所述方法包括:

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述方法还包括:

10.根据权利要求8所述的方法,其特征在于,所述方法还包括:

11.根据权利要求7-10任意一项所述的方法,其特征在于,所述目标模型包括图像模型,所述模型服务请求为针对所述图像模型的图像处理请求,所述通过所述目标模型对所述模型服务请求对应的输入数据进行子模型服务处理,得到所述模型服务请求对应的模型服务结果,包括:

12.根据权利要求7所述的方法,其特征在于,所述目标模型包括图像模型和关联模型,所述模型服务请求为针对所述图像模型和所述关联模型的图像关联请求,所述通过所述目标模型对所述模型服务请求对应的输入数据进行子模型服务处理,得到所述模型服务请求对应的模型服务结果,包括:

13.一种模型上线设备,其特征在于,所述设备包括:

14.一种目标设备,其特征在于,所述目标设备包括:

15.一种在线服务系统,其特征在于,所述系统包括权利要求13所述的模型上线设备和权利要求14所述的目标设备。

16.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:

17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行权利要求1-6中任意一项所述的模型上线方法或权利要求7-12中任意一项所述的在线服务方法。

18.一种包括计算机程序的计算机程序产品,其特征在于,当其在计算机设备上运行时,使得所述计算机设备执行权利要求1-6中任意一项所述的模型上线方法或权利要求7-12中任意一项所述的在线服务方法。

...

【技术特征摘要】

1.一种模型上线方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将所述调用代码文件、所述模型代码文件和所述模型说明文件配置到目标设备中,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1-4任一项所述的方法,其特征在于,所述获取待上线的目标模型对应的模型说明文件,包括:

7.一种在线服务方法,其特征在于,所述方法包括:

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

9.根据权利要求8所述的方法,其特征在于,所述方法还包括:

10.根据权利要求8所述的方法,其特征在于,所述方法还包括:

11.根据权利要求7-10任意一项所述的方法,其特征在于,所述目标模型包括图像模型,所述模型服务请求为针对所述图像模型的图像处理请求,所述通过所述目标模型对所述模型服务请求对应的输入数据进行子模型服务处理,得到所述模型服务请求对应的...

【专利技术属性】
技术研发人员:陈聪捷
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1