管理机器学习环境制造技术

本发明专利技术涉及管理机器学习环境。本文公开了一种管理机器学习环境ML环境的方法和计算设备，所述方法包括以下步骤：由ML控制器从ML应用接收ML模型信息，所述ML模型信息包括ML模型定义和ML模型元数据，所述ML模型元数据包括指定执行ML模型的ML运行时的信息；以及由ML控制器使用接收到的ML模型信息在所述ML控制器处的抽象层中生成模型运行器实例，所述模型运行器实例被配置成与由目标ML平台托管的所指定的ML运行时交互，以使所述ML运行时执行所述ML模型。模型。模型。

【技术实现步骤摘要】
管理机器学习环境


[0001]本说明书涉及管理机器学习环境。

技术介绍

[0002]近年来，机器学习(ML)算法已经被接受作为解决多个应用域中的广泛问题的解决方案。结果，现在经常要求电子设备支持众多应用，这些应用使用需要在单个系统上同时执行的多个不同ML模型。
[0003]在第一种现有方法中，已经开发了安卓神经网络API(NNAPI)。这是用于在安卓设备上运行基于机器学习的算法和应用的低级后端。NNAPI包括低级声明式API和运行时系统，该低级声明式API定义机器学习算法结构并描述相关联的元信息(即，与存储器管理、执行优先级和到硬件单元的映射相关的信息)，该运行时系统通过经由硬件抽象层(HAL)利用可用硬件单元来执行机器学习算法。
[0004]NNAPI要求用户使用所提供的低级API来重新实现机器学习算法，或者使用能够利用NNAPI的机器学习库。NNAPI还要求硬件供应商设计、实现和维护NNAPI特定的HAL。
[0005]另一种现有方法涉及机器学习编译器堆栈。例如，TVM编译器堆栈包括：中间表示(IR)；编译器前端，该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种管理机器学习环境ML环境的方法，所述方法包括以下步骤：由ML控制器从ML应用接收ML模型信息，所述ML模型信息包括ML模型定义和ML模型元数据，所述ML模型元数据包括指定执行ML模型的ML运行时的信息；以及由所述ML控制器使用接收到的ML模型信息在所述ML控制器处的抽象层中生成模型运行器实例，所述模型运行器实例被配置成与由目标ML平台托管的所指定的ML运行时交互，以使所述ML运行时执行所述ML模型。2.根据权利要求1所述的方法，所述方法还包括以下步骤：从请求执行所述ML模型的所述ML应用接收ML执行请求，所述ML执行请求指定对应于要使用的所述ML运行时的模型运行器实例，所述ML执行请求还包括要输入到所述ML模型的输入数据；在执行所述ML模型期间，将所述输入数据从所指定的模型运行器实例发送到对应的ML运行时，以输入到所述ML模型；由所述模型运行器实例从所述对应的ML运行时接收输出数据，其中，所述输出数据已经从所述ML模型输出；以及向所述ML应用提供所述输出数据。3.根据权利要求1或2所述的方法，其中，所述ML模型元数据还包括指定用于执行所述ML模型的处理资源类型的信息。4.根据前述权利要求中任一项所述的方法，所述方法还包括以下步骤：执行所述ML模型的一个或更多个子图以确定用于所述ML模型的一个或更多个执行时间测量结果；以及在所述ML模型元数据内提供所述一个或更多个执行时间测量结果。5.根据前述权利要求中任一项所述的方法，所述方法还包括在执行所述ML模型期间监测系统性能参数。6.根据权利要求5所述的方法，所述方法还包括使用所监测的系统性能参数来对所述ML模型的执行进行调度。7.根据前述权利要求中任一项所述的方法，其中，所述ML模型元数据还包括用于该ML模型的调度信息，所述方法还包括使用所述调度信息来对所述ML模型的执行进行调度。8.根据权利要求7所述的方法，其中，所述调度信息包括ML模型优先级、所述ML模型的存储器要求、计算设备的存储器预算、目标帧率和所述ML模型的功率要求中的至少一者。9.一种包含计算机可读指令的计算...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：APTIV技术有限公司，
类型：发明
国别省市：