推理应用中模型文件的管理方法及装置制造方法及图纸

为了解决需要在训练设备上额外部署管理模块，在推理设备上额外部署管理模块代理，从而实现模型文件管理，导致管理复杂度较高的问题，本申请提供了一种推理应用中模型文件的管理方法，包括：监控目标模型管理对象的状态，根据推理应用的预设字段确定与目标模型管理对象匹配的目标推理应用，其中，推理应用的预设字段用于标识推理应用中模型文件对应的模型管理对象，然后根据目标模型管理对象的状态对目标推理应用中模型文件进行管理。如此，无需额外部署管理模块或管理模块代理即可实现模型文件的统一管理，而且也不要求训练应用和推理应用采用相同的框架，具有较高可用性。具有较高可用性。具有较高可用性。

【技术实现步骤摘要】
推理应用中模型文件的管理方法及装置


[0001]本申请涉及计算机
，尤其涉及一种推理应用中模型文件的管理方法、装置、设备以及计算机可读存储介质。

技术介绍

[0002]目前，在图像处理、文本识别、语言处理等较多领域采用了深度学习(deep learning)。所谓深度学习是指通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示，进而对数据进行分类、回归等等。深度学习一般分成两个阶段：训练(training)和推理(inference)。训练是赋予模型具有某种能力的过程。训练的结果通常是一个或多个深度学习模型，模型可以应用到新的数据中，得到预测、评价等结果。推理则是利用这种能力在真实环境中做出某些决策的过程，也就是模型应用的过程。
[0003]将训练获得的模型部署到正式生产环境中可以进行推理服务。在实际应用时，可以通过容器编排引擎等进行自动化部署。以容器编排引擎为kubernetes为例，训练设备的训练应用完成训练，生成模型文件后，需要通知推理应用加载模型文件，推理应用加载推理文件进行模型部署，从而实现对外提供推理服务。
[0004]然而，通知推理应用加载模型文件需要在训练设备部署一个管理模块，并在推理设备上额外部署管理模块代理，增加了模型文件管理的复杂度。基于此，业界亟需提供一种更为简单、高效的模型文件的管理方法，以简化模型部署的复杂度。

技术实现思路

[0005]本申请提供了一种推理应用中模型文件的管理方法，该方法通过利用推理应用的预设字段将推理应用与模型文件通过模型管理对象进行关联，由此实现对推理应用中模型文件的管理，无需额外部署管理模块或管理模块代理，简化了模型文件的管理过程，提高了管理效率，进而降低了模型部署的复杂度。本申请还提供了上述方法对应的装置、设备、计算机可读存储介质以及计算机程序产品。
[0006]第一方面，本申请提供了一种推理应用中模型文件的管理方法。在该方法中，针对模型文件创建有描述该模型文件的模型管理对象。本申请实施例提及的模型管理对象也可以称作模型管理器(model manager)。推理应用的预设字段标识有该推理应用中模型文件对应的模型管理对象。基于此，可以监控目标模型管理对象的状态，根据推理应用的预设字段确定与目标模型管理对象匹配的目标推理应用，根据目标模型管理对象的状态对目标推理应用中模型文件进行管理。
[0007]该方法中无需额外部署管理模块和管理模块代理，即可实现对目标推理应用中模型文件的统一管理，降低了模型文件管理的复杂度，进而降低了模型部署的复杂度。并且，该方法也不要求推理应用部署深度学习框架，如TF Serving，更不要求训练应用使用与推理应用相同生态的框架，如tensor flow，具有较高可用性。
[0008]在一些可能的实现方式中，当目标模型管理对象的状态表征目标模型管理对象被
删除时，可以通知目标推理应用删除模型文件，由此实现对目标推理应用中模型文件的管理。该方法无需借助管理模块、管理模块代理通知目标推理应用，也无需基于深度学习框架通知目标推理应用，而是通过原生的管理机制进行统一管理，降低了管理复杂度，提高了管理效率。
[0009]在一些可能的实现方式中，当目标模型管理对象的状态表征目标模型管理对象被更新时，可以通知目标推理应用更新模型文件，从而实现对目标推理应用中模型文件的管理。该方法无需借助管理模块、管理模块代理通知目标推理应用，也无需基于深度学习框架通知目标推理应用，而是通过原生的管理机制进行统一管理，降低了管理复杂度，提高了管理效率。
[0010]在一些可能的实现方式中，推理应用的预设字段包括标签(lable)或注解(annotation)。label具有严格的命名规则，通常用于定义kubernetes对象(如推理应用)的元数据(metadata)，并且用于标签选择器(label selector)。annotation则是用户任意定义的“附加”信息，可以包括lable不允许使用的字符，以便于外部工具进行查找。预设字段用于标识推理应用中模型文件对应的模型管理对象。当模型管理对象的标识比较规律时，可以采用lable标识模型文件对应的模型管理对象，当模型管理对象的标识包括比较丰富的信息时，可以采用annotation标识模型文件对应的模型管理对象。
[0011]在一些可能的实现方式中，目标模型管理对象为通过资源自定义(custom resource definition，CRD)接口创建得到。kubernetes提供了CRD接口，用户可以通过该接口自定义新类型的资源对象，从而实现无需修改kubernetes源码即可扩展kubernetes的应用程序编程接口(application programming interface，API)，大大提高了kubernetes的扩展能力。
[0012]具体实现时，用户可以通过客户端例如集成开发环境(integrated development environment，IDE)在kubernetes中注册资源类型，例如注册model manager类型，该资源类型主要用于描述模型文件。当训练应用生成模型文件时，用户还可以通过IDE，利用已注册的model manager类型创建model manager实例。其中，model manager实例用于描述具体的模型文件，通常情况下，一个模型文件对应一个model manager实例(可以简称为model manager)。
[0013]在一些可能的实现方式中，目标推理应用被部署在kubernetes集群，该方法具体可以由模型控制器(model controller)执行。模型控制器实质上是一个进程，该进程可以是手动编写具有相应功能的代码，然后执行上述代码所生成。该进程运行于kubernetes集群的主节点(Master)，用于对部署在kubernetes集群的工作节点(Node)的目标推理应用中模型文件进行统一管理。
[0014]第二方面，本申请提供了一种推理应用中模型文件的管理方法。其中，推理应用的预设字段用于标识推理应用中模型文件对应的模型管理对象。推理应用可以接收管理通知，该管理通知是根据模型管理对象的状态生成的，该管理通知用于指示推理应用对模型文件进行管理，然后推理应用可以根据上述管理通知对模型文件进行管理。
[0015]在上述方法中，推理应用的预设字段将推理应用与模型文件通过模型管理对象进行关联，因此，模型控制器监控模型管理对象的状态时，如果监控到模型文件被删除或者被更新，可以向对应的推理应用发送管理通知，指示推理应用删除或更新模型文件，由此实现
了对模型文件的统一管理，无需借助额外部署的管理模块或管理模块代理，也无需训练应用和推理应用采用相同生态的框架。
[0016]在一些可能的实现方式中，管理通知用于指示推理应用对模型文件进行删除，对应地，推理应用可以根据管理通知删除模型文件。如此简化了删除模型文件的过程，降低了模型文件管理的复杂本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种推理应用中模型文件的管理方法，其特征在于，所述方法包括：监控目标模型管理对象的状态；根据推理应用的预设字段确定与所述目标模型管理对象匹配的目标推理应用，所述推理应用的预设字段用于标识所述推理应用中模型文件对应的模型管理对象；根据所述目标模型管理对象的状态对目标推理应用中模型文件进行管理。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标模型管理对象的状态对目标推理应用中模型文件进行管理，包括：当所述目标模型管理对象的状态表征所述目标模型管理对象被删除时，通知所述目标推理应用删除模型文件。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标模型管理对象的状态对目标推理应用中模型文件进行管理，包括：当所述目标模型管理对象的状态表征所述目标模型管理对象被更新时，通知所述目标推理应用更新模型文件。4.根据权利要求1至3任一项所述的方法，其特征在于，所述推理应用的预设字段包括标签或注解。5.根据权利要求1至4任一项所述的方法，其特征在于，所述目标模型管理对象为通过资源自定义CRD接口创建得到。6.根据权利要求1至5任一项所述的方法，其特征在于，所述目标推理应用被部署在kubernetes集群，所述方法应用于模型控制器。7.一种推理应用中模型文件的管理方法，其特征在于，所述推理应用的预设字段用于标识所述推理应用中模型文件对应的模型管理对象，所述方法包括：接收管理通知，所述管理通知是根据所述模型管理对象的状态生成的，所述管理通知用于指示所述推理应用对所述模型文件进行管理；根据所述管理通知对所述模型文件进行管理。8.根据权利要求7所述的方法，其特征在于，所述管理通知用于指示所述推理应用对所述模型文件进行更新；所述根据所述管理通知对所述模型文件进行管理，包括：获取新版本的模型文件；加载所述新版本的模型文件，以更新所述模型文件。9.一种推理应用中模型文件的管理装置，其特征在于，所述装置包括：监控单元，用于监控目标...

【专利技术属性】
技术研发人员：杨志龙，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：