一种推理框架动态更新方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种推理框架动态更新方法，包括：获取推理框架，推理框架包括预测器、前后数据处理模块、解释器和Ingress模块，其中前后数据处理模块和解释器均为可选组件；接收更新请求，更新请求为增加或删除可选组件的请求；根据更新请求，修改Ingress模块的路由规则，使得请求依次被调度至推理框架的各个组件。可见，该方法通过推理框架实现推理过程完整描述，将推理框架模块化并设置Ingress模块的路由规则，因此可以动态进行组件的增加和删除，无需重新部署整个推理服务，显著提升了推理过程的灵活性。此外，本申请还提供了一种推理框架动态更新装置、设备及计算机可读存储介质，其技术效果与上述方法的技术效果相对应。其技术效果与上述方法的技术效果相对应。其技术效果与上述方法的技术效果相对应。

【技术实现步骤摘要】
一种推理框架动态更新方法、装置、设备及可读存储介质


[0001]本申请涉及计算机
，特别涉及一种推理框架动态更新方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]推理过程是深度学习网络的在实际生产环境中的应用过程。相对于训练过程的不同，推理过程会面对未知的数据，而不是同一规格的数据。这就需要推理过程需要对输入的数据进行前处理，相类似的也需要对输出数据进行后处理，这个过程叫做transformer；在实际推理过程中，还需要对模型进行解释，以了解模型的工作原理，这个解释过程叫做explainer，具体的数据流如图1所示。
[0003]当前的推理框架没有完整的包含整个推理过程，只包括predictor(预测器)，没有包括transformer(前后数据处理模块)和explainer(解释器)。在服务上线后，如果想临时增加或删除前后处理模块或解释器，就需要重新部署整个推理服务，重新设置网关和路由，使得整个部署过程变得很复杂且容易出错。

技术实现思路

[0004]本申请的目的是提供一种推理框架动态更新方法、装置、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种推理框架动态更新方法，其特征在于，包括：获取推理框架，所述推理框架包括预测器、前后数据处理模块、解释器和Ingress模块，其中前后数据处理模块和解释器均为可选组件；接收更新请求，所述更新请求为增加或删除可选组件的请求；根据所述更新请求，修改所述Ingress模块的路由规则，使得请求依次被调度至所述推理框架的各个组件。2.如权利要求1所述的方法，其特征在于，在获取推理框架之前，还包括：定义组件的数据结构，包括组件类型和组件配置参数；定义推理框架的数据结构。3.如权利要求1所述的方法，其特征在于，在所述推理框架只包括预测器时，所述Ingress模块的路由规则为：将默认URL关联至所述预测器，以控制请求通过所述默认URL访问所述预测器。4.如权利要求3所述的方法，其特征在于，所述根据所述更新请求，修改所述Ingress模块的路由规则，包括：在所述推理框架只包括预测器时，若接收到的更新请求为增加前后数据处理模块的请求，则将所述Ingress模块的路由规则修改为：在部署前后数据处理模块之后，将默认URL关联至所述前后数据处理模块以控制请求通过所述默认URL访问所述前后数据处理模块，之后将请求调度至预测器URL以访问所述预测器。5.如权利要求3所述的方法，其特征在于，所述根据所述更新请求，修改所述Ingress模块的路由规则，包括：在所述推理框架只包括预测器和前后数据处理模块时，若接收到的更新请求为增加解释器的请求，则将所述Ingress模块的路由规则修改为：将默认URL关联至前后数据处理模块以控制请求通过所述默认URL访问所述前后数据处理模块，在部署解释器之后，将请求调度至解释器URL以访问所述解释器，之后将请求调度至预测器URL以访问所述预测器。6.如权利要求1至5任意一项所述的方法，...

【专利技术属性】
技术研发人员：陈清山，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：