一种推理平台的推理服务管理方法、装置、系统及介质制造方法及图纸

本发明专利技术公开了一种推理平台的推理服务管理方法、装置、系统及介质，该方法包括：根据数据库中的推理服务记录，检测服务器中是否存在与推理服务记录对应的推理服务；若不存在，则根据推理服务记录对相应的推理服务进行恢复；本发明专利技术中通过根据数据库中的推理服务记录对服务器中的推理服务进行检测，判断服务器中是否存在与该推理服务记录对应的推理服务，当不存在时，说明推理服务记录与真实的推理服务不一致，则可以根据该推理服务记录对相应的推理服务进行恢复，本发明专利技术能够在推理服务记录与真实的推理服务不一致时，自动根据推理服务记录对推理服务进行恢复，提高推理服务管理效率，更好地保障推理服务记录与推理服务的一致性。

【技术实现步骤摘要】
一种推理平台的推理服务管理方法、装置、系统及介质
本专利技术实施例涉及计算机
，特别是涉及一种推理平台的推理服务管理方法、装置、系统及计算机可读存储介质。
技术介绍
AIStation推理平台支持多种推理服务的创建，包括多种类型，并且推理服务在创建、运行过程中，依赖于各种组件，而组件发生故障时，通常需要通过重新部署的方式来修复，重新部署组件会导致依赖于组件的推理服务被清除，此外，集群的操作、运维人员可能在服务器后台误操作，会导致推理服务被删除。通常AIStation推理平台在推理服务创建过后，会在数据库中记录分配给推理服务的资源和推理服务参数，数据库中的推理服务记录和后端运行的推理服务存在一一对应关系。但是，由于组件发生故障或者用户在后端误操作而导致推理服务被清除时，数据库中的推理服务记录还会存在，而为了保持数据库中的推理服务记录和真实推理服务的一致性，现有技术中通过人工手动在服务器后台查看是否有推理服务被删除，且推理服务记录还保存在数据库中情况，如果有，则需要手动清空数据库中所有记录项，并删除所有的推理服务，不仅比较繁琐、耗费时间，而且一旦有不一致将所有记录项和所以推理服务删除，代价很大。鉴于此，如何提供一种解决上述技术问题的推理平台的推理服务管理方法、装置、系统及计算机可读存储介质成为本领域技术人员需要解决的问题。
技术实现思路
本专利技术实施例的目的是提供一种推理平台的推理服务管理方法、装置、系统及计算机可读存储介质，在使用过程中能够提高推理服务管理效率，更好地保障推理服务记录与推理服务的一致性。为解决上述技术问题，本专利技术实施例提供了一种推理平台的推理服务管理方法，包括：根据数据库中的推理服务记录，检测服务器中是否存在与所述推理服务记录对应的推理服务；若不存在，则根据所述推理服务记录对相应的推理服务进行恢复；其中：根据所述推理服务记录获取对应的推理服务类型，并依据所述推理服务记录及与所述推理服务类型对应的恢复过程对所述推理服务进行恢复；当所述推理服务类型为通用模型，则对应的恢复过程为：解析所述推理服务记录得到对应的框架类型、模型地址及模型类名；解析所述推理服务记录判断是否存在批量处理模块记录，若存在，则创建批量处理模块；解析所述推理服务记录判断是否存在数据处理模块记录，若存在，则创建数据处理模块；当存在所述批量处理模块记录时，根据所述批量处理模块、所述框架类型、所述模型地址及所述模型类名创建对应的推理模块，或当不存在所述批量处理模块记录时，根据所述框架类型、所述模型地址及所述模型类名创建对应的推理模块；当存在所述数据处理模块记录时，根据所述推理模块和所述数据处理模块创建对应的推理服务，或当不存在所述数据处理模块记录时，根据所述推理模块创建对应的推理服务；当所述推理服务类型为应用部署，则对应的恢复过程为：解析所述推理服务记录判断是否存在批量处理模块记录，若存在，则创建批量处理模块；解析所述推理服务记录判断是否存在数据处理模块记录，若存在，则创建数据处理模块；解析所述推理服务记录得到镜像地址，当存在批量处理模块记录时，根据所述批量处理模块和所述镜像地址创建对应的推理模块，或当不存在批量处理模块记录时，根据所述镜像地址创建对应的推理服务；当存在所述数据处理模块记录时，根据所述推理模块和所述数据处理模块创建对应的推理服务，或当不存在所述数据处理模块记录时，根据所述推理模块创建对应的推理服务；当所述推理服务类型为GPU共享，则对应的恢复过程为：解析所述推理服务记录得到镜像地址，根据所述镜像地址创建实例模块；解析所述推理服务记录得到服务信息地址，根据所述服务信息地址创建服务模块；根据所述实例模块和所述服务模块创建对应的推理服务；当所述推理服务类型为原生部署，则对应的恢复过程为：对所述推理服务记录进行解析，得到对应的业务类型，依据所述业务类型对推理服务进行解析，得到业务信息，并根据所述业务信息创建对应的推理服务；当所述推理服务类型为边缘推理，则对应的恢复过程为：对所述推理服务记录进行解析，得到镜像地址、节点名称及端口映射信息，并根据所述镜像地址、所述节点名称及所述端口映射信息，创建对应的推理服务。可选的，在所述根据所述推理服务记录对相应的推理服务进行恢复之前，还包括：判断与所述推理服务记录对应的异常值是否达到预设阈值；若达到，则执行所述根据所述推理服务记录对相应的推理服务进行恢复的步骤；若未达到，则按照预设增量对所述异常值进行更新。可选的，在所述根据所述推理服务记录对相应的推理服务进行恢复之后，还包括：检测所述推理服务是否恢复成功，若是，则将与所述推理服务记录对应的异常值置零。可选的，所述根据数据库中的推理服务记录，检测服务器中是否存在与所述推理服务记录对应的推理服务的过程为：对所述数据库中的每个推理服务记录进行轮询；根据当前的推理服务记录，检测服务器中是否存在与所述推理服务记录对应的推理服务。本专利技术实施例还提供了一种推理平台的推理服务管理装置，包括：检测模块，用于根据数据库中的推理服务记录，检测服务器中是否存在与所述推理服务记录对应的推理服务；若不存在，则触发恢复模块；所述恢复模块，用于根据所述推理服务记录对相应的推理服务进行恢复；其中：根据所述推理服务记录获取对应的推理服务类型，并依据所述推理服务记录及与所述推理服务类型对应的恢复过程对所述推理服务进行恢复；当所述推理服务类型为通用模型，则对应的恢复过程为：解析所述推理服务记录得到对应的框架类型、模型地址及模型类名；解析所述推理服务记录判断是否存在批量处理模块记录，若存在，则创建批量处理模块；解析所述推理服务记录判断是否存在数据处理模块记录，若存在，则创建数据处理模块；当存在所述批量处理模块记录时，根据所述批量处理模块、所述框架类型、所述模型地址及所述模型类名创建对应的推理模块，或当不存在所述批量处理模块记录时，根据所述框架类型、所述模型地址及所述模型类名创建对应的推理模块；当存在所述数据处理模块记录时，根据所述推理模块和所述数据处理模块创建对应的推理服务，或当不存在所述数据处理模块记录时，根据所述推理模块创建对应的推理服务；当所述推理服务类型为应用部署，则对应的恢复过程为：解析所述推理服务记录判断是否存在批量处理模块记录，若存在，则创建批量处理模块；解析所述推理服务记录判断是否存在数据处理模块记录，若存在，则创建数据处理模块；解析所述推理服务记录得到镜像地址，当存在批量处理模块记录时，根据所述批量处理模块和所述镜像地址创建对应的推理模块，或当不存在批量处理模块记录时，根据所述镜像地址创建对应的推理服务；当存在所述数据处理模块记录时，根据所述推理模块和所述数据处理模块创建对应的推理服务，或当不存在所述数据处理模块记录时，根据所述推理模块创建对应的推理服务；当所述推理服务类型为GPU共享，则对应的恢复过程为：解析所述推理服务记录本文档来自技高网...

【技术保护点】
1.一种推理平台的推理服务管理方法，其特征在于，包括：/n根据数据库中的推理服务记录，检测服务器中是否存在与所述推理服务记录对应的推理服务；若不存在，则根据所述推理服务记录对相应的推理服务进行恢复；其中：/n根据所述推理服务记录获取对应的推理服务类型，并依据所述推理服务记录及与所述推理服务类型对应的恢复过程对所述推理服务进行恢复；/n当所述推理服务类型为通用模型，则对应的恢复过程为：/n解析所述推理服务记录得到对应的框架类型、模型地址及模型类名；解析所述推理服务记录判断是否存在批量处理模块记录，若存在，则创建批量处理模块；解析所述推理服务记录判断是否存在数据处理模块记录，若存在，则创建数据处理模块；当存在所述批量处理模块记录时，根据所述批量处理模块、所述框架类型、所述模型地址及所述模型类名创建对应的推理模块，或当不存在所述批量处理模块记录时，根据所述框架类型、所述模型地址及所述模型类名创建对应的推理模块；当存在所述数据处理模块记录时，根据所述推理模块和所述数据处理模块创建对应的推理服务，或当不存在所述数据处理模块记录时，根据所述推理模块创建对应的推理服务；/n当所述推理服务类型为应用部署，则对应的恢复过程为：/n解析所述推理服务记录判断是否存在批量处理模块记录，若存在，则创建批量处理模块；解析所述推理服务记录判断是否存在数据处理模块记录，若存在，则创建数据处理模块；解析所述推理服务记录得到镜像地址，当存在批量处理模块记录时，根据所述批量处理模块和所述镜像地址创建对应的推理模块，或当不存在批量处理模块记录时，根据所述镜像地址创建对应的推理服务；当存在所述数据处理模块记录时，根据所述推理模块和所述数据处理模块创建对应的推理服务，或当不存在所述数据处理模块记录时，根据所述推理模块创建对应的推理服务；/n当所述推理服务类型为GPU共享，则对应的恢复过程为：/n解析所述推理服务记录得到镜像地址，根据所述镜像地址创建实例模块；解析所述推理服务记录得到服务信息地址，根据所述服务信息地址创建服务模块；根据所述实例模块和所述服务模块创建对应的推理服务；/n当所述推理服务类型为原生部署，则对应的恢复过程为：/n对所述推理服务记录进行解析，得到对应的业务类型，依据所述业务类型对推理服务进行解析，得到业务信息，并根据所述业务信息创建对应的推理服务；/n当所述推理服务类型为边缘推理，则对应的恢复过程为：/n对所述推理服务记录进行解析，得到镜像地址、节点名称及端口映射信息，并根据所述镜像地址、所述节点名称及所述端口映射信息，创建对应的推理服务。/n...

【技术特征摘要】
1.一种推理平台的推理服务管理方法，其特征在于，包括：
根据数据库中的推理服务记录，检测服务器中是否存在与所述推理服务记录对应的推理服务；若不存在，则根据所述推理服务记录对相应的推理服务进行恢复；其中：
根据所述推理服务记录获取对应的推理服务类型，并依据所述推理服务记录及与所述推理服务类型对应的恢复过程对所述推理服务进行恢复；
当所述推理服务类型为通用模型，则对应的恢复过程为：
解析所述推理服务记录得到对应的框架类型、模型地址及模型类名；解析所述推理服务记录判断是否存在批量处理模块记录，若存在，则创建批量处理模块；解析所述推理服务记录判断是否存在数据处理模块记录，若存在，则创建数据处理模块；当存在所述批量处理模块记录时，根据所述批量处理模块、所述框架类型、所述模型地址及所述模型类名创建对应的推理模块，或当不存在所述批量处理模块记录时，根据所述框架类型、所述模型地址及所述模型类名创建对应的推理模块；当存在所述数据处理模块记录时，根据所述推理模块和所述数据处理模块创建对应的推理服务，或当不存在所述数据处理模块记录时，根据所述推理模块创建对应的推理服务；
当所述推理服务类型为应用部署，则对应的恢复过程为：
解析所述推理服务记录判断是否存在批量处理模块记录，若存在，则创建批量处理模块；解析所述推理服务记录判断是否存在数据处理模块记录，若存在，则创建数据处理模块；解析所述推理服务记录得到镜像地址，当存在批量处理模块记录时，根据所述批量处理模块和所述镜像地址创建对应的推理模块，或当不存在批量处理模块记录时，根据所述镜像地址创建对应的推理服务；当存在所述数据处理模块记录时，根据所述推理模块和所述数据处理模块创建对应的推理服务，或当不存在所述数据处理模块记录时，根据所述推理模块创建对应的推理服务；
当所述推理服务类型为GPU共享，则对应的恢复过程为：
解析所述推理服务记录得到镜像地址，根据所述镜像地址创建实例模块；解析所述推理服务记录得到服务信息地址，根据所述服务信息地址创建服务模块；根据所述实例模块和所述服务模块创建对应的推理服务；
当所述推理服务类型为原生部署，则对应的恢复过程为：
对所述推理服务记录进行解析，得到对应的业务类型，依据所述业务类型对推理服务进行解析，得到业务信息，并根据所述业务信息创建对应的推理服务；
当所述推理服务类型为边缘推理，则对应的恢复过程为：
对所述推理服务记录进行解析，得到镜像地址、节点名称及端口映射信息，并根据所述镜像地址、所述节点名称及所述端口映射信息，创建对应的推理服务。


2.根据权利要求1所述的推理平台的推理服务管理方法，其特征在于，在所述根据所述推理服务记录对相应的推理服务进行恢复之前，还包括：
判断与所述推理服务记录对应的异常值是否达到预设阈值；
若达到，则执行所述根据所述推理服务记录对相应的推理服务进行恢复的步骤；若未达到，则按照预设增量对所述异常值进行更新。


3.根据权利要求2所述的推理平台的推理服务管理方法，其特征在于，在所述根据所述推理服务记录对相应的推理服务进行恢复之后，还包括：
检测所述推理服务是否恢复成功，若是，则将与所述推理服务记录对应的异常值置零。


4.根据权利要求1所述的推理平台的推理服务管理方法，其特征在于，所述根据数据库中的推理服务记录，检测服务器中是否存在与所述推理服务记录对应的推理服务的过程为：
对所述数据库中的每个推理服务记录进行轮询；
根据当前的推理服务记录，检...

【专利技术属性】
技术研发人员：王萌，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32