一种推理服务方法、设备及系统技术方案

本发明专利技术公开了一种推理服务方法，该方法中消息总线在接收到客户端发送的推理请求后，将其投入至与其服务类型对应的消息队列中，并向订阅该消息队列的服务实例发送新请求通知，服务实例在接收到新请求通知后可以根据自身的实际性能，包括负载情况以及可用性确定是否承接该请求，若可以承接，则从消息总线获取推理请求并处理。这一请求的处理过程中服务实例根据自身实际性能进行请求的承接，保证请求的均衡处理；而且当推理请求发送到消息总线后，请求可以在网络恢复后继续被处理，容错性高；同时各服务实例可以同时进行请求的承接以及处理，请求的处理效率高。本发明专利技术还公开了一种推理服务设备及系统，具有相应的技术效果。具有相应的技术效果。具有相应的技术效果。

【技术实现步骤摘要】
一种推理服务方法、设备及系统


[0001]本专利技术涉及信息处理
，特别是涉及一种推理服务方法、设备及系统。

技术介绍

[0002]模型主要用于对客户端提供的请求数据(比如文本、图片、视频等)进行计算，得出一个结果(比如分类，数值等)，包括机器学习模型，深度神经网络模型等不同种类的模型。常见的模型开发流程需要经过问题定义、数据准备、特征提取、建模、训练以及部署等过程，其中数据准备、特征提取、建模、训练以及部署等过程都需要强大的数据采集能力、数据处理能力以及分析能力、模型结构以及参数知识，专业性要求较强，而且对于部署的设备性能要求也较高，开发成本较高，部分企业或单位难以达到模型开发的条件，但是其仍需要模型自身强大的推理能力来满足自身数据处理的高精度要求，因此模型推理服务应运而生。
[0003]模型推理服务指通过某种网络协议(比如http、grpc等)，对外提供模型能力的服务，由客户端发起推理请求后，由模型推理服务中对应的服务实例(instance，即模型)响应该推理请求进行推理服务。现有在线模型推理服务为了能够同时提供多种模型服务以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种推理服务方法，其特征在于，包括：消息总线接收到客户端发送的推理请求后，确定所述推理请求的服务类型；将所述推理请求添加至主题与所述服务类型相对应的消息队列中；向订阅所述消息队列的服务实例发送新请求通知，以便所述服务实例根据自身负载以及服务可用性接收或拒绝所述推理请求的处理。2.根据权利要求1所述的推理服务方法，其特征在于，在所述向订阅所述消息队列的服务实例发送新请求通知之后，还包括：在接收到服务实例发送的请求处理通知后，确定处理的请求，作为目标请求；向所述目标请求添加文件锁；在接收到请求处理完成通知后，将所述目标请求删除。3.根据权利要求2所述的推理服务方法，其特征在于，在所述向所述目标请求添加文件锁之后，还包括：若所述目标请求的处理异常，解开所述目标请求的文件锁。4.一种消息总线，其特征在于，包括：若干设置有用于指示服务类型的主题的消息队列；所述消息总线用于：接收到客户端发送的推理请求后，确定所述推理请求的服务类型；将所述推理请求添加至主题与所述服务类型相对应的消息队列中；向订阅所述消息队列的服务实例发送新请求通知，以便所述服务实例根据自身负载以及服务可用性接收或拒绝所述推理请求的处理。5.一种推理服务方法，其特征在于，包括：服务实例接收订阅的消息总线中的消息队列发送的新请求通知；其中，所述新请求通知为所述消息总线将客户端发送的推理请求添加至所述消息队列后触发；所述消息队列的主题与所述服务实例的推理服务类型相对应；根据自身负载以及服务可用性判断是否可以承接所述推理请求；若可以承接，从所述消息队列读取所述推理请求并进行推理处理。6.根据权利要求5所述的推理服务方法，其特征在于，所述从所述...

【专利技术属性】
技术研发人员：王少添，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：