本申请公开了一种推理框架动态更新方法，包括：获取推理框架，推理框架包括预测器、前后数据处理模块、解释器和Ingress模块，其中前后数据处理模块和解释器均为可选组件；接收更新请求，更新请求为增加或删除可选组件的请求；根据更新请求，修改Ingress模块的路由规则，使得请求依次被调度至推理框架的各个组件。可见，该方法通过推理框架实现推理过程完整描述，将推理框架模块化并设置Ingress模块的路由规则，因此可以动态进行组件的增加和删除，无需重新部署整个推理服务，显著提升了推理过程的灵活性。此外，本申请还提供了一种推理框架动态更新装置、设备及计算机可读存储介质，其技术效果与上述方法的技术效果相对应。其技术效果与上述方法的技术效果相对应。其技术效果与上述方法的技术效果相对应。
【技术实现步骤摘要】
一种推理框架动态更新方法、装置、设备及可读存储介质
[0001]本申请涉及计算机
，特别涉及一种推理框架动态更新方法、装置、设备及计算机可读存储介质。
技术介绍
[0002]推理过程是深度学习网络的在实际生产环境中的应用过程。相对于训练过程的不同，推理过程会面对未知的数据，而不是同一规格的数据。这就需要推理过程需要对输入的数据进行前处理，相类似的也需要对输出数据进行后处理，这个过程叫做transformer；在实际推理过程中，还需要对模型进行解释，以了解模型的工作原理，这个解释过程叫做explainer，具体的数据流如图1所示。
[0003]当前的推理框架没有完整的包含整个推理过程，只包括predictor(预测器)，没有包括transformer(前后数据处理模块)和explainer(解释器)。在服务上线后，如果想临时增加或删除前后处理模块或解释器，就需要重新部署整个推理服务，重新设置网关和路由，使得整个部署过程变得很复杂且容易出错。
技术实现思路
[0004]本申请的目的是提供一种推理框架动态更新方法、装置、设备及计算机可读存储介质，用以解决目前推理服务难以灵活增删组件的问题。其具体方案如下：
[0005]第一方面，本申请提供了一种推理框架动态更新方法，包括：
[0006]获取推理框架，所述推理框架包括预测器、前后数据处理模块、解释器和Ingress模块，其中前后数据处理模块和解释器均为可选组件；
[0007]接收更新请求，所述更新请求为增加或删除可选组件的请求；
[0008]根据所述更新请求，修改所述Ingress模块的路由规则，使得请求依次被调度至所述推理框架的各个组件。
[0009]可选的，在获取推理框架之前，还包括：
[0010]定义组件的数据结构，包括组件类型和组件配置参数；
[0011]定义推理框架的数据结构。
[0012]可选的，在所述推理框架只包括预测器时，所述Ingress模块的路由规则为：将默认URL关联至所述预测器，以控制请求通过所述默认URL访问所述预测器。
[0013]可选的，所述根据所述更新请求，修改所述Ingress模块的路由规则，包括：
[0014]在所述推理框架只包括预测器时，若接收到的更新请求为增加前后数据处理模块的请求，则将所述Ingress模块的路由规则修改为：在部署前后数据处理模块之后，将默认URL关联至所述前后数据处理模块以控制请求通过所述默认URL访问所述前后数据处理模块，之后将请求调度至预测器URL以访问所述预测器。
[0015]可选的，所述根据所述更新请求，修改所述Ingress模块的路由规则，包括：
[0016]在所述推理框架只包括预测器和前后数据处理模块时，若接收到的更新请求为增
加解释器的请求，则将所述Ingress模块的路由规则修改为：将默认URL关联至前后数据处理模块以控制请求通过所述默认URL访问所述前后数据处理模块，在部署解释器之后，将请求调度至解释器URL以访问所述解释器，之后将请求调度至预测器URL以访问所述预测器。
[0017]可选的，所述请求依次被调度至所述推理框架的各个组件，包括：
[0018]在接收到请求时，判断所述推理框架是否包括前后数据处理模块；
[0019]若是，则将顶层标志位置为1，并设置默认URL为所述前后数据处理模块的URL，以控制请求经过所述前后数据处理模块；
[0020]若不存在，则判断所述推理框架是否存在解释器；
[0021]若是，则判断所述顶层标志位是否为1；若是，则将默认URL设置为所述解释器的URL，以控制请求经过所述解释器，否则记录所述解释器的端口号，以控制请求经过所述前后数据处理模块之后被调度至所述解释器；
[0022]判断所述顶层标志位是否为1；若是，则将默认URL设置为预测器的URL，以控制请求经过所述预测器，否则记录所述预测器的端口号，以控制请求经过所述前后数据处理模块之后被调度至所述预测器。
[0023]第二方面，本申请提供了一种推理框架动态更新装置，包括：
[0024]获取模块，用于获取推理框架，所述推理框架包括预测器、前后数据处理模块、解释器和Ingress模块，其中前后数据处理模块和解释器均为可选组件；
[0025]接收模块，用于接收更新请求，所述更新请求为增加或删除可选组件的请求；
[0026]更新模块，用于根据所述更新请求，修改所述Ingress模块的路由规则，使得请求依次被调度至所述推理框架的各个组件。
[0027]可选的，还包括：
[0028]定义模块，用于定义组件的数据结构，包括组件类型和组件配置参数；定义推理框架的数据结构。
[0029]第三方面，本申请提供了一种推理框架动态更新设备，包括：
[0030]存储器：用于存储计算机程序；
[0031]处理器：用于执行所述计算机程序，以实现如上所述的推理框架动态更新方法。
[0032]第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的推理框架动态更新方法。
[0033]本申请所提供的一种推理框架动态更新方法，包括：获取推理框架，推理框架包括预测器、前后数据处理模块、解释器和Ingress模块，其中前后数据处理模块和解释器均为可选组件；接收更新请求，更新请求为增加或删除可选组件的请求；根据更新请求，修改Ingress模块的路由规则，使得请求依次被调度至推理框架的各个组件。可见，该方法通过推理框架实现推理过程完整描述，将推理框架模块化并设置Ingress模块的路由规则，因此可以动态进行组件的增加和删除，无需重新部署整个推理服务，显著提升了推理过程的灵活性。
[0034]此外，本申请还提供了一种推理框架动态更新装置、设备及计算机可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
[0035]为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为推理服务的数据流示意图；
[0037]图2为本申请所提供的推理框架动态更新方法实施例一的流程图；
[0038]图3为本申请所提供的推理框架动态更新方法实施例二的推理框架示意图；
[0039]图4为本申请所提供的推理框架动态更新方法实施例二的请求调度流程示意图；
[0040]图5为本申请所提供的推理框架动态更新方法实施例二的路由示意图图一；
[0041]图6为本申请所提供的推理框架动态更新方法实施例二的路由示意图图二；
[0042]图7为本申请所提供的推理框架动态更新方法实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种推理框架动态更新方法，其特征在于，包括：获取推理框架，所述推理框架包括预测器、前后数据处理模块、解释器和Ingress模块，其中前后数据处理模块和解释器均为可选组件；接收更新请求，所述更新请求为增加或删除可选组件的请求；根据所述更新请求，修改所述Ingress模块的路由规则，使得请求依次被调度至所述推理框架的各个组件。2.如权利要求1所述的方法，其特征在于，在获取推理框架之前，还包括：定义组件的数据结构，包括组件类型和组件配置参数；定义推理框架的数据结构。3.如权利要求1所述的方法，其特征在于，在所述推理框架只包括预测器时，所述Ingress模块的路由规则为：将默认URL关联至所述预测器，以控制请求通过所述默认URL访问所述预测器。4.如权利要求3所述的方法，其特征在于，所述根据所述更新请求，修改所述Ingress模块的路由规则，包括：在所述推理框架只包括预测器时，若接收到的更新请求为增加前后数据处理模块的请求，则将所述Ingress模块的路由规则修改为：在部署前后数据处理模块之后，将默认URL关联至所述前后数据处理模块以控制请求通过所述默认URL访问所述前后数据处理模块，之后将请求调度至预测器URL以访问所述预测器。5.如权利要求3所述的方法，其特征在于，所述根据所述更新请求，修改所述Ingress模块的路由规则，包括：在所述推理框架只包括预测器和前后数据处理模块时，若接收到的更新请求为增加解释器的请求，则将所述Ingress模块的路由规则修改为：将默认URL关联至前后数据处理模块以控制请求通过所述默认URL访问所述前后数据处理模块，在部署解释器之后，将请求调度至解释器URL以访问所述解释器，之后将请求调度至预测器URL以访问所述预测器。6.如权利要求1至5任意一项所述的方法，...
【专利技术属性】
技术研发人员：陈清山，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。