一种模型推理系统、方法及设备技术方案

本发明专利技术公开了一种模型推理系统、方法及设备，其中，所述模型推理系统包括：请求管理模块、业务调度模块、模型推理模块、引擎适配模块以及多个推理引擎，其中：所述请求管理模块，用于接收外部请求，并将所述外部请求对应的队列消息存放于消息队列中；所述业务调度模块，用于从所述消息队列中读取所述队列消息，在所述队列消息为模型推理消息的情况下，将所述队列消息传递至所述模型推理模块；所述模型推理模块，用于通过所述引擎适配模块，从所述多个推理引擎中，调用与部署所述模型推理系统的当前设备相匹配的目标推理引擎，以利用所述目标推理引擎对所述队列消息进行处理。本发明专利技术提供的技术方案，能够提高模型部署的适配性。能够提高模型部署的适配性。能够提高模型部署的适配性。

【技术实现步骤摘要】
一种模型推理系统、方法及设备


[0001]本专利技术涉及数据处理
，具体涉及一种模型推理系统、方法及设备。

技术介绍

[0002]随着机器学习技术的不断发展，将机器学习得到的模型进行有效部署，成为了待解决的技术问题之一。目前，可以采用tf
‑
serving(tensorflow serving，张量流服务)的方案，先将训练得到的模型转换为tf
‑
serving支持的格式，然后再部署模型的配置文件。最终，通过启动服务并加载模型，在接收到模型推理请求时，就可以利用已部署的模型来处理该模型推理请求。
[0003]然而，现有的这种模型部署方式，对设备本身的硬件有一定的要求。例如，现有的这种模型部署方法，无法应用于不支持GPU(Graphics Processing Unit，图形处理器)的设备中。这就导致现有的模型部署方式的适配性较差。

技术实现思路

[0004]有鉴于此，本专利技术实施方式提供了一种模型推理系统、方法及设备，能够提高模型部署的适配性。
[0005]本专利技术一方面提供了一种模型推理系统，所述模型推理系统包括：请求管理模块、业务调度模块、模型推理模块、引擎适配模块以及多个推理引擎，其中：所述请求管理模块，用于接收外部请求，并将所述外部请求对应的队列消息存放于消息队列中；所述业务调度模块，用于从所述消息队列中读取所述队列消息，在所述队列消息为模型推理消息的情况下，将所述队列消息传递至所述模型推理模块；所述模型推理模块，用于通过所述引擎适配模块，从所述多个推理引擎中，调用与部署所述模型推理系统的当前设备相匹配的目标推理引擎，以利用所述目标推理引擎对所述队列消息进行处理。
[0006]本申请提供的技术方案，在模型推理系统中部署多个层级模块，各个层级模块之间通过协同运作，可以处理外部请求对应的队列消息。通过层级模块的方式进行部署，可以降低整个系统的耦合度，并可以方便地对出现问题的组件进行定位。同时，在模型推理系统中可以部署多个不同的推理引擎，通过引擎适配模块可以选择与当前设备相匹配的目标推理引擎，从而使得模型推理系统可以适用于具备不同硬件资源的设备，进而提高了模型部署的适配性。
[0007]在一个实施方式中，所述请求管理模块还用于，识别所述外部请求的请求类型，并将所述外部请求对应的队列消息，存放于与所述请求类型相匹配的消息队列中。
[0008]通过不同的消息队列管理不同类型的队列消息，能够提高队列消息的处理效率。
[0009]在一个实施方式中，所述业务调度模块中包含与所述消息队列相对应的线程组，所述消息队列中的队列消息由所述线程组内的各个线程并行读取。
[0010]每个消息队列可以对应各自的线程组，这样，线程组内的各个线程可以通过并行方式对消息队列中的队列消息进行读取并处理，从而提高了队列消息的处理效率。
[0011]在一个实施方式中，所述引擎适配模块提供具备不同功能的各个虚拟接口，各个所述推理引擎中均包括用于实现所述虚拟接口的子类。
[0012]引擎适配模块针对不同功能，可以提供对应的虚拟接口，不同的推理引擎可以根据自身的实际情况，实现该虚拟接口的子类，从而使得不同的推理引擎能够统一地接入引擎适配模块，进而使得模型推理系统能够适配于不同的设备。
[0013]在一个实施方式中，所述模型推理系统还包括监控模块；其中：所述业务调度模块，还用于在所述队列消息为监控消息的情况下，将所述队列消息传递至所述监控模块；所述监控模块，用于响应所述队列消息，反馈部署所述模型推理系统的当前设备的设备信息；其中，所述设备信息包括所述当前设备的资源使用信息和/或所述模型推理系统中的模型使用信息。
[0014]在接收到监控请求时，模型推理系统能够对该监控请求对应的监控消息进行处理，并反馈当前设备的各项设备信息，使得管理者能够对当前设备的状态以及设备中部署的模型进行确认和调试。
[0015]在一个实施方式中，所述模型推理系统还包括模型管理模块；其中：所述业务调度模块，还用于在所述队列消息为模型管理消息的情况下，将所述队列消息传递至所述模型管理模块；所述模型管理模块，用于识别所述队列消息中的模型管理类型，并针对目标模型，执行与所述模型管理类型相匹配的操作。
[0016]在接收到模型管理请求时，模型推理系统可以对模型管理消息进行处理。通过模型管理请求，可以灵活地对模型推理系统中部署的模型进行加载、卸载、更新、加解密等操作，从而提高了系统整体的便利性。
[0017]在一个实施方式中，所述模型推理系统还包括服务配置模块；其中：所述业务调度模块，还用于在所述队列消息为服务配置消息的情况下，将所述队列消息传递至所述服务配置模块；所述服务配置模块，用于根据所述服务配置消息，更新所述模型推理系统中的全局配置信息。
[0018]在一个实施方式中，所述服务配置模块在更新所述全局配置信息时，实现以下至少一种功能：设置日志打印等级，以使得所述模型推理系统打印出与所述日志打印等级相匹配的日志信息；设置中间结果保存策略，所述中间结果保存策略用于限定在对所述队列消息进行处理的过程中，产生的中间结果的保存方式；在所述当前设备支持多个推理引擎时，设置各个推理引擎的使用优先级。
[0019]通过处理服务配置消息，可以设置模型推理系统的全局配置信息。通过全局配置信息，可以灵活调节日志打印等级，设置中间结果的保存策略，以及设置各个推理引擎的优先级。通过这种方式，能够提高系统配置的灵活性。
[0020]本专利技术另一方面还提供一种应用于上述模型推理系统中的模型推理方法，所述方法包括：接收外部请求，并将所述外部请求对应的队列消息存放于消息队列中；从所述消息队列中读取所述队列消息，在所述队列消息为模型推理消息的情况下，从多个推理引擎中，调用与部署所述模型推理系统的当前设备相匹配的目标推理引擎；通过所述目标推理引擎对所述队列消息进行处理。
[0021]本专利技术另一方面还提供一种模型推理设备，所述模型推理设备包括存储器和处理器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的模
型推理方法。
[0022]本专利技术另一方面还提供一种计算机存储介质，所述计算机存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的模型推理方法。
附图说明
[0023]通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：
[0024]图1示出了本专利技术一个实施方式中模型推理系统的结构示意图；
[0025]图2示出了本专利技术一个实施方式中模型推理方法的步骤示意图；
[0026]图3示出了本专利技术一个实施方式中模型推理设备的结构示意图。
具体实施方式
[0027]为使本专利技术实施方式的目的、技术方案和优点更加清楚，下面将结合本专利技术实施方式中的附图，对本专利技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型推理系统，其特征在于，所述模型推理系统包括：请求管理模块、业务调度模块、模型推理模块、引擎适配模块以及多个推理引擎，其中：所述请求管理模块，用于接收外部请求，并将所述外部请求对应的队列消息存放于消息队列中；所述业务调度模块，用于从所述消息队列中读取所述队列消息，在所述队列消息为模型推理消息的情况下，将所述队列消息传递至所述模型推理模块；所述模型推理模块，用于通过所述引擎适配模块，从所述多个推理引擎中，调用与部署所述模型推理系统的当前设备相匹配的目标推理引擎，以利用所述目标推理引擎对所述队列消息进行处理。2.根据权利要求1所述的模型推理系统，其特征在于，所述请求管理模块还用于，识别所述外部请求的请求类型，并将所述外部请求对应的队列消息，存放于与所述请求类型相匹配的消息队列中。3.根据权利要求1或2所述的模型推理系统，其特征在于，所述业务调度模块中包含与所述消息队列相对应的线程组，所述消息队列中的队列消息由所述线程组内的各个线程并行读取。4.根据权利要求1所述的模型推理系统，其特征在于，所述引擎适配模块提供具备不同功能的各个虚拟接口，各个所述推理引擎中均包括用于实现所述虚拟接口的子类。5.根据权利要求1所述的模型推理系统，其特征在于，所述模型推理系统还包括监控模块；其中：所述业务调度模块，还用于在所述队列消息为监控消息的情况下，将所述队列消息传递至所述监控模块；所述监控模块，用于响应所述队列消息，反馈部署所述模型推理系统的当前设备的设备信息；其中，所述设备信息包括所述当前设备的资源使用信息和/或所述模型推理系统中的模型使用信息。6.根据权利要求1所述的模型推理系统，其特征在于，所述模型推理系...

【专利技术属性】
技术研发人员：赵佳娣，孔爱祥，晋杰，侯酝，潘洪亮，
申请(专利权)人：广联达科技股份有限公司，
类型：发明
国别省市：