管理机器学习环境制造技术

本发明专利技术涉及管理机器学习环境。本文公开了一种管理机器学习环境ML环境的方法和计算设备，所述方法包括以下步骤：由ML控制器从ML应用接收ML模型信息，所述ML模型信息包括ML模型定义和ML模型元数据，所述ML模型元数据包括指定执行ML模型的ML运行时的信息；以及由ML控制器使用接收到的ML模型信息在所述ML控制器处的抽象层中生成模型运行器实例，所述模型运行器实例被配置成与由目标ML平台托管的所指定的ML运行时交互，以使所述ML运行时执行所述ML模型。模型。模型。

【技术实现步骤摘要】
管理机器学习环境


[0001]本说明书涉及管理机器学习环境。

技术介绍

[0002]近年来，机器学习(ML)算法已经被接受作为解决多个应用域中的广泛问题的解决方案。结果，现在经常要求电子设备支持众多应用，这些应用使用需要在单个系统上同时执行的多个不同ML模型。
[0003]在第一种现有方法中，已经开发了安卓神经网络API(NNAPI)。这是用于在安卓设备上运行基于机器学习的算法和应用的低级后端。NNAPI包括低级声明式API和运行时系统，该低级声明式API定义机器学习算法结构并描述相关联的元信息(即，与存储器管理、执行优先级和到硬件单元的映射相关的信息)，该运行时系统通过经由硬件抽象层(HAL)利用可用硬件单元来执行机器学习算法。
[0004]NNAPI要求用户使用所提供的低级API来重新实现机器学习算法，或者使用能够利用NNAPI的机器学习库。NNAPI还要求硬件供应商设计、实现和维护NNAPI特定的HAL。
[0005]另一种现有方法涉及机器学习编译器堆栈。例如，TVM编译器堆栈包括：中间表示(IR)；编译器前端，该编译器前端将以外部格式(例如，Tensorflow Protobuf、ONNX、PyTorch)给出的机器学习算法转换成内部TVM IR；编译器后端，该编译器后端实现IR级优化并发出可执行代码；运行时系统，该运行时系统执行所生成的代码并管理存储器；以及其它资源。然而，这种方法需要硬件供应商设计、实现和维护TVM特定的编译器后端。

技术实现思路

[0006]根据本公开的第一方面，提供了一种管理机器学习(ML)环境的方法，所述方法包括以下步骤：由ML控制器从ML应用接收ML模型信息，所述ML模型信息包括ML模型定义和ML模型元数据，所述ML模型元数据包括指定执行ML模型的ML运行时的信息；以及由ML控制器使用接收到的ML模型信息在所述ML控制器处的抽象层中生成模型运行器实例，所述模型运行器实例被配置成与由目标ML平台托管的所指定的ML运行时交互，以使所述ML运行时执行所述ML模型。
[0007]所述方法还可以包括以下步骤：从请求执行所述ML模型的所述ML应用接收ML执行请求，所述ML执行请求指定对应于要使用的所述ML运行时的模型运行器实例，所述ML执行请求还包括要输入到所述ML模型的输入数据；在执行所述ML模型期间，将所述输入数据从所指定的模型运行器实例发送到对应的ML运行时，以输入到所述ML模型；由所述模型运行器实例从所述对应的ML运行时接收输出数据，其中，所述输出数据已经从所述ML模型输出；以及向所述ML应用提供所述输出数据。
[0008]所述ML模型元数据还可以包括指定用于执行所述ML模型的处理资源类型的信息。
[0009]所述方法还可以包括以下步骤：执行所述ML模型的一个或更多个子图以确定用于所述ML模型的一个或更多个执行时间测量结果；以及在所述ML模型元数据内提供所述一个
或更多个执行时间测量结果。
[0010]所述方法还可以包括在执行所述ML模型期间监测系统性能参数。
[0011]所述方法还可以包括使用所监测的系统性能参数来对所述ML模型的执行进行调度。
[0012]所述ML模型元数据还可以包括用于该ML模型的调度信息，并且所述方法还可以包括使用所述调度信息来对所述ML模型的执行进行调度。
[0013]所述调度信息可以包括ML模型优先级、所述ML模型的存储器要求、计算设备的存储器预算、目标帧率和所述ML模型的功率要求中的至少一者。
[0014]根据本公开的第二方面，提供了一种包含计算机可读指令的计算机程序产品，所述计算机可读指令在由计算机执行时使所述计算机执行第一方面的方法。
[0015]根据本公开的第三方面，提供了一种管理机器学习(ML)环境的计算设备，所述计算设备包括：存储器，所述存储器存储计算机可读指令；以及ML控制器，所述ML控制器被配置成从ML应用接收ML模型信息，所述ML模型信息包括ML模型定义和ML模型元数据，所述ML模型元数据包括指定执行ML模型的ML运行时的信息，其中，所述ML控制器包括模型运行器实例生成器，所述模型运行器实例生成器被配置成使用接收到的ML模型信息在所述ML控制器处的抽象层中生成模型运行器实例，所述模型运行器实例被配置成与由目标ML平台托管的所指定的ML运行时交互，以使所述ML运行时执行所述ML模型。
[0016]所述ML控制器还可以被配置成：从请求执行所述ML模型的所述ML应用接收ML执行请求，所述ML执行请求指定对应于要使用的所述ML运行时的模型运行器实例，所述ML执行请求还包括要输入到所述ML模型的输入数据；在执行所述ML模型期间，将所述输入数据从所指定的模型运行器实例发送到对应的ML运行时，以输入到所述ML模型；由所述模型运行器实例从所述对应的ML运行时接收输出数据，其中，所述输出数据已经从所述ML模型输出；以及向所述ML应用提供所述输出数据。
[0017]所述ML控制器还可以包括ML工作负载监测器，所述ML工作负载监测器被配置成在执行所述ML模型期间监测一个或更多个系统性能参数。
[0018]所述ML控制器还可以包括ML工作负载调度器，所述ML工作负载调度器被配置成对所述ML模型的执行进行调度。
[0019]所述ML工作负载调度器可以被配置成使用从所述ML工作负载监测器接收到的信息来对所述ML模型的执行进行调度。
[0020]所述ML应用和所述目标ML平台可以被嵌入在所述计算设备内。
附图说明
[0021]现在将参考附图仅通过示例的方式描述示例实施方式，在附图中：
[0022]图1是计算设备的示意性框图；
[0023]图2是例示了计算设备的进一步细节的示意性框图；
[0024]图3是例示了在机器学习运行器实例的生成期间执行的示例操作的流程图；
[0025]图4是例示了在执行机器学习模型期间执行的示例操作的流程图；以及
[0026]图5是例示了处理资源的分配的图。
具体实施方式
[0027]申请人已经设计了一种管理机器学习(ML)环境的方法，在ML环境中，可以容纳ML模型的复杂生态系统。支持在不同ML框架(即ML运行时)方面和在执行这些ML框架所需的不同处理资源方面存在高度异构的系统。
[0028]为了利用这些高度异构设备的全部潜力，需要一种有效管理ML资源的执行和使用的系统。申请人借助在确保ML应用满足严格的定时和资源使用要求的同时有效地抽象和协调ML资源的使用的运行时架构来解决先前描述的挑战。
[0029]申请人通过设计一种运行时架构解决了在高度异构嵌入式系统上有效地执行ML应用的全生态系统的挑战，该运行时架构：(1)将与ML资源的交互抽象到ML控制器；(2)监测正在所述系统上执行的ML工作负载；以及3)协调ML模型在可用资源上的执行。
[0030]特别地，本文描述的示例允许支持使用不同ML模型的不同应用。由于应用编程接口(AP本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种管理机器学习环境ML环境的方法，所述方法包括以下步骤：由ML控制器从ML应用接收ML模型信息，所述ML模型信息包括ML模型定义和ML模型元数据，所述ML模型元数据包括指定执行ML模型的ML运行时的信息；以及由所述ML控制器使用接收到的ML模型信息在所述ML控制器处的抽象层中生成模型运行器实例，所述模型运行器实例被配置成与由目标ML平台托管的所指定的ML运行时交互，以使所述ML运行时执行所述ML模型。2.根据权利要求1所述的方法，所述方法还包括以下步骤：从请求执行所述ML模型的所述ML应用接收ML执行请求，所述ML执行请求指定对应于要使用的所述ML运行时的模型运行器实例，所述ML执行请求还包括要输入到所述ML模型的输入数据；在执行所述ML模型期间，将所述输入数据从所指定的模型运行器实例发送到对应的ML运行时，以输入到所述ML模型；由所述模型运行器实例从所述对应的ML运行时接收输出数据，其中，所述输出数据已经从所述ML模型输出；以及向所述ML应用提供所述输出数据。3.根据权利要求1或2所述的方法，其中，所述ML模型元数据还包括指定用于执行所述ML模型的处理资源类型的信息。4.根据前述权利要求中任一项所述的方法，所述方法还包括以下步骤：执行所述ML模型的一个或更多个子图以确定用于所述ML模型的一个或更多个执行时间测量结果；以及在所述ML模型元数据内提供所述一个或更多个执行时间测量结果。5.根据前述权利要求中任一项所述的方法，所述方法还包括在执行所述ML模型期间监测系统性能参数。6.根据权利要求5所述的方法，所述方法还包括使用所监测的系统性能参数来对所述ML模型的执行进行调度。7.根据前述权利要求中任一项所述的方法，其中，所述ML模型元数据还包括用于该ML模型的调度信息，所述方法还包括使用所述调度信息来对所述ML模型的执行进行调度。8.根据权利要求7所述的方法，其中，所述调度信息包括ML模型优先级、所述ML模型的存储器要求、计算设备的存储器预算、目标帧率和所述ML模型的功率要求中的至少一者。9.一种包含计算机可读指令的计算...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：