服务处理方法、装置以及在线服务系统制造方法及图纸

本发明专利技术实施例涉及一种服务处理方法、装置以及在线服务系统，包括：在进行在线服务部署时，接收对目标模型的触发操作，将所述目标模型加载至所述在线服务对应的模型池中；当接收到针对所述在线服务的应用请求时，从所述模型池中确定与所述应用请求相匹配的第一模型；利用所述第一模型处理所述应用请求，以提供所述在线服务。由此，可以实现在一个在线服务中加载多个模型，实现了在线服务不下线的情况下也能够动态更新模型，以避免现有技术中更新模型时需要进行新旧服务替换从而导致在线服务一段时间内不可用，影响用户体验的问题。

【技术实现步骤摘要】
服务处理方法、装置以及在线服务系统
本专利技术实施例涉及互联网
，尤其涉及一种服务处理方法、装置以及在线服务系统。
技术介绍
目前，部署在线服务时，首先选定一个用于提供在线服务的模型，比如预测模型，之后，针对该模型部署一个在线服务。在模型更新，比如版本升级后，则针对更新后的模型再部署一个在线服务。在该新的在线服务(以下简称新服务)部署完成后，下线之前的在线服务(以下简称旧服务)并上线新服务。由此可见，现有的在线服务是基于一个模型部署的，当模型更新时，则需要重新部署在线服务，过程繁杂，并且涉及到新、旧服务切换，如此将导致在线服务在一段时间内不可用，影响用户体验。
技术实现思路
鉴于此，为解决上述当模型更新时需要重新部署在线服务，导致过程繁杂且在线服务在一段时间内不可用，影响用户体验的技术问题，本专利技术实施例提供一种服务处理方法、装置以及在线服务系统。第一方面，本专利技术实施例提供一种服务处理方法，包括：在进行在线服务部署时，接收对目标模型的触发操作，将所述目标模型加载至所述在线服务对应的模型池中；当接收到针对所述在线服务的应用请求时，从所述模型池中确定与所述应用请求相匹配的第一模型；利用所述第一模型处理所述应用请求，以提供所述在线服务。在一可能的实施方式中，所述将所述目标模型加载至所述在线服务对应的模型池中，包括：在接收到对目标模型的触发操作时，触发在线服务部署请求，所述在线服务部署请求用于指示新增在线服务；创建部署所述在线服务所需的虚拟环境，将所述在线服务部署至所述虚拟环境中；在所述虚拟环境进行初始化的过程中将初始的模型池加载至所述在线服务，初始的所述模型池为空；将所述目标模型加载至初始的所述模型池中。在一可能的实施方式中，所述将所述目标模型加载至所述在线服务对应的模型池中，包括：在接收到对目标模型的触发操作时，触发在线服务更新请求，所述在线服务更新请求用于指示在所述在线服务中新增模型；将所述目标模型加载至所述在线服务对应的模型池中。在一可能的实施方式中，在所述将所述目标模型加载至所述在线服务对应的模型池中之前，所述方法还包括：获取所述在线服务对应的虚拟环境的空闲资源信息；在所述空闲资源信息满足预设条件时，执行将所述目标模型加载至所述在线服务对应的模型池中的步骤；在所述空闲资源信息不满足预设条件时，停止执行将所述目标模型加载至所述在线服务对应的模型池中的步骤，以及触发告警提示，所述告警提示用于指示所述空闲资源信息小于所述目标模型的预计资源配额。在一可能的实施方式中，所述方法还包括：在接收到模型删除指令时，根据所述模型删除指令从所述模型池中确定待删除模型；将所述待删除模型从所述模型池中删除。在一可能的实施方式中，在所述将所述目标模型加载至所述在线服务对应的模型池中之后，还包括：在所述在线服务的全局标识信息中添加所述目标模型的模型标识码和模型对象实例；所述从所述模型池中确定与所述应用请求相匹配的第一模型，包括：从所述应用请求中解析出目标模型标识码；根据所述目标模型标识码查找所述在线服务的全局标识信息，得到与所述目标模型标识码对应的目标模型对象实例；将所述模型池中，与所述目标模型对象实例对应的模型确定为与所述应用请求相匹配的第一模型。在一可能的实施方式中，还包括：将所述第一模型的累计被访问次数加1，所述累计被访问次数的初始值为0；确定所述第一模型处理所述应用请求的处理用时；在设定周期到达时，获取所述在线服务当前已加载的每一模型的累计被访问次数和平均处理用时；将所述每一模型的累计被访问次数和平均处理用时发送至在线服务管理平台。在一可能的实施方式中，还包括：在设定周期到达时，获取所述在线服务的至少一项运行参数；将所述至少一项运行参数发送至在线服务管理平台。第二方面，本专利技术实施例提供一种在线服务系统，包括：接口模块，接收对目标模型的在线服务部署请求；模型管理模块，根据所述在线服务部署请求将目标模型加载至在线服务对应的模型池中；所述模型池，将已加载的所述目标模型封装在模型实例中，启动所述目标模型的服务进程。在一可能的实施方式中，所述接口模块，还用于接收对目标模型的在线服务更新请求；所述模型管理模块，还用于根据所述在线服务更新请求将目标模型加载至在线服务对应的模型池中。在一可能的实施方式中，所述接口模块，还用于接收对在线服务的应用请求；所述系统还包括：服务路由模块，从所述模型池中确定与所述应用请求相匹配的第一模型，调用所述模型池中的第一模型处理所述应用请求；所述接口模块，将所述应用请求对应的处理结果发送至外部设备。第三方面，本专利技术实施例提供一种在线服务架构，包括：服务管理系统，接收对目标模型的触发操作，触发在线服务部署请求或者触发在线服务更新请求；根据所述在线服务部署请求触发资源管理系统创建部署所述在线服务所需的虚拟环境，将所述目标模型发送至所述虚拟环境；根据所述在线服务更新请求将所述目标模型发送至所述在线服务对应的虚拟环境；资源管理系统，创建部署在线服务所需的虚拟环境，将所述在线服务部署至所述虚拟环境中，以及在所述虚拟环境进行初始化的过程中将初始的模型池加载至所述在线服务，初始的所述模型池为空；在线服务系统，包括接口模块，接收对目标模型的在线服务部署请求；模型管理模块，根据所述在线服务部署请求将目标模型加载至在线服务对应的模型池中；所述模型池，将已加载的所述目标模型封装在模型实例中，启动所述目标模型的服务进程。第四方面，本专利技术实施例提供一种服务处理装置，包括：模型加载模块，用于在进行在线服务部署时，接收对目标模型的触发操作，将所述目标模型加载至所述在线服务对应的模型池中；模型确定模块，用于当接收到针对所述在线服务的应用请求时，从所述模型池中确定与所述应用请求相匹配的第一模型；处理模块，用于利用所述第一模型处理所述应用请求，以提供所述在线服务。在一可能的实施方式中，所述模型加载模块具体用于：在接收到对目标模型的触发操作时，触发在线服务部署请求，所述在线服务部署请求用于指示新增在线服务；创建部署所述在线服务所需的虚拟环境，将所述在线服务部署至所述虚拟环境中；在所述虚拟环境进行初始化的过程中将初始的模型池加载至所述在线服务，初始的所述模型池为空；将所述目标模型加载至初始的所述模型池中。在一可能的实施方式中，所述模型加载模块具体用于：在接收到对目标模型的触发操作时，触发在线服务更新请求，所述在线服务更新请求用于指示在所述在线服务中新增模型；将所述目标模型加载至所述在线服务对应的模型池中。在一可能的实施方式中，所述装置还包括：资源获取模块，用于获取所述在线服务对应的虚拟本文档来自技高网...

【技术保护点】
1.一种服务处理方法，其特征在于，包括：/n在进行在线服务部署时，接收对目标模型的触发操作，将所述目标模型加载至所述在线服务对应的模型池中；/n当接收到针对所述在线服务的应用请求时，从所述模型池中确定与所述应用请求相匹配的第一模型；/n利用所述第一模型处理所述应用请求，以提供所述在线服务。/n

【技术特征摘要】
1.一种服务处理方法，其特征在于，包括：
在进行在线服务部署时，接收对目标模型的触发操作，将所述目标模型加载至所述在线服务对应的模型池中；
当接收到针对所述在线服务的应用请求时，从所述模型池中确定与所述应用请求相匹配的第一模型；
利用所述第一模型处理所述应用请求，以提供所述在线服务。


2.根据权利要求1所述的方法，其特征在于，所述将所述目标模型加载至所述在线服务对应的模型池中，包括：
在接收到对目标模型的触发操作时，触发在线服务部署请求，所述在线服务部署请求用于指示新增在线服务；
创建部署所述在线服务所需的虚拟环境，将所述在线服务部署至所述虚拟环境中；
在所述虚拟环境进行初始化的过程中将初始的模型池加载至所述在线服务，初始的所述模型池为空；
将所述目标模型加载至初始的所述模型池中。


3.根据权利要求1或2所述的方法，其特征在于，所述将所述目标模型加载至所述在线服务对应的模型池中，包括：
在接收到对目标模型的触发操作时，触发在线服务更新请求，所述在线服务更新请求用于指示在所述在线服务中新增模型；
将所述目标模型加载至所述在线服务对应的模型池中。


4.根据权利要求3所述的方法，其特征在于，在所述将所述目标模型加载至所述在线服务对应的模型池中之前，所述方法还包括：
获取所述在线服务对应的虚拟环境的空闲资源信息；
在所述空闲资源信息满足预设条件时，执行将所述目标模型加载至所述在线服务对应的模型池中的步骤；
在所述空闲资源信息不满足预设条件时，停止执行将所述目标模型加载至所述在线服务对应的模型池中的步骤，以及触发告警提示，所述告警提示用于指示所述空闲资源信息小于所述目标模型的预计资源配额。


5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在接收到模型删除指令时，根据所述模型删除指令从所述模型池中确定待删除模型；
将所述待删除模型从所述模型池中删除。


6.根据权利要求1所述的方法，其特征在于，在所述将所述目标模型加载至所述在线服务对应的模型池中之后，还包括：
在所述在线服务的全局标识信息中添加所述目标模型的模型标识码和模型对象实例；
所述从所述模型池中确定与所述应用请求相匹配的第一模型，包括：
从所述应用请求中解析出目标模型标识码；
根据所述目标模型标识码查找所述在线服务的全局标识信息，得到与所述目标模型标识码对应的目标模型对象实例；
将所述模型池中，与所述目标模型对象实例对应的模型确定为与所述应用请求相匹配的第一模型。


7.根据权利要求1所述的方法，其特征在于，还包括：
将所述第一模型的累计被访问次数加1，所述累计被访问次数的初始值为0；
确定所述第一模型处理所述应用请求的处理用时；
在设定周期到达时，获取所述在线服务当前已加载的每一模型的累计被访问次数和平均处理用时；
将所述...

【专利技术属性】
技术研发人员：李晨曦，李年华，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11