一种机器学习模型推理方法和装置制造方法及图纸

本发明专利技术公开了一种机器学习模型推理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：将客户端发送的模型推理请求加入请求任务队列，由前端服务根据请求任务队列中的模型推理请求，与后端服务建立进程间通信，以将模型入参数据发送至后端服务；由后端服务启动待推理模型并通过待推理模型根据入参数据计算模型分，即推理结果，通过前端服务向客户端返回推理结果，不同的待推理模型部署在容器层的单节点中。该实施方式能够在联合建模的合作方式下，以方便、快速部署和降低运维成本为目标，实现单节点或实例下不同模型线上快速推理，实现针对不同类型的模型可以快速上线和更新、迭代，整体服务相对较为轻量级，后期的运维成本较低。的运维成本较低。的运维成本较低。

【技术实现步骤摘要】
一种机器学习模型推理方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种机器学习模型推理方法和装置。

技术介绍

[0002]模型应用场景的日趋多样，机器学习模型的广泛应用，不同的业务场景使用的模型类型不同，并且对于复杂的业务场景需要集成模型来解决具体问题，各个业务场景中模型迭代的速度越来越快，传统方式针对某个模型进行线上推理部署和更新、升级的方案已经不能很好的满足模型升级的需求，如果没有统一的模型快速集成和部署系统，会增加数倍的重复工程开发，需要投入大量的研发资源在模型的更新迭代中。在联合建模合作方式中，需要将构建的不同应用方向的机器学习模型输出到合作方以提供模型的推理服务，现有将不同的模型部署到集群中的方案较为重量级，不适合整个系统快速部署和上线的需求，且系统后期运维成本较高，如果合作方没有大量研发资源的投入将不能正常进行下去，导致无法合作。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0004]模型部署较为重量级，在联合建模的方式下不适合这种系统服务较多、依赖较多的方案，从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习模型推理方法，其特征在于，包括：将客户端发送的模型推理请求加入请求任务队列，由前端服务根据所述请求任务队列中的模型推理请求，与后端服务建立进程间通信，以将待推理模型的入参数据发送至所述后端服务，所述待推理模型为一种或多种机器学习模型；由所述后端服务启动所述待推理模型，并通过所述待推理模型根据所述入参数据计算模型分，所述模型分为所述待推理模型的推理结果，通过所述前端服务向所述客户端返回所述推理结果，其中，不同的所述待推理模型部署在容器层的单节点中。2.根据权利要求1所述的方法，其特征在于，所述将客户端发送的模型推理请求加入请求任务队列之前，包括：通过应用层提供的推理类接口，接收所述客户端发送的模型推理请求。3.根据权利要求2所述的方法，其特征在于，所述通过应用层提供的推理类接口，接收所述客户端发送的模型推理请求之前，包括：通过所述应用层提供的管理类接口，接收所述客户端发送的模型注册请求，并响应于所述注册请求，通过所述前端服务对所述待推理模型进行注册。4.根据权利要求2所述的方法，其特征在于，还包括：响应于所述应用层接收的模型注销请求，通过所述前端服务对请求注销的所述待推理模型进行注销。5.根据权利要求2所述的方法，其特征在于，还包括：响应于所述应用层接收的扩缩容管理请求，通过所述前端服务与所述后端服务建立通信，通过所述后端服务对待扩缩容的所述待推理模型的计算进程相应地进行扩容或缩容。6.根据权利要求1所述的方法，其特征在于，所述由前端服务根据所述请求任务队列中的模型推理请求，与后端服务建立进程间通信之前，包括：配置所述后端服务的模型个数和对应的机器学习模型，以及按照配置的模型个数，将对应的各机器学习模型配置在所述容器层的单节点中。7.根据权利要求6所述的方法，其特征在...

【专利技术属性】
技术研发人员：刘帅朝，黄乐乐，张德，
申请(专利权)人：京东科技控股股份有限公司，
类型：发明
国别省市：