通过实时代理评估反馈增强的深度神经网络模型设计制造技术

本公开提供了通过实时代理评估反馈增强的深度神经网络模型设计。本公开涉及人工智能(AI)、机器学习(ML)和神经体系结构搜索(NAS)技术，具体而言涉及使用代理评估反馈的深度神经网络(DNN)模型工程技术。本文论述的DNN模型工程技术经由低成本的代理得分提供近乎实时的模型性能反馈，而不要求持续的训练和/或验证周期、迭代、历时，等等。与基于代理的评分相结合，半监督学习机制被用来将代理得分映射到各种模型性能度量。可描述和/或要求保护其他实施例。实施例。实施例。

【技术实现步骤摘要】
通过实时代理评估反馈增强的深度神经网络模型设计


[0001]本文描述的实施例概括而言涉及人工智能(artificial intelligence，AI)、机器学习(machine learning，ML)和神经体系结构搜索(Neural Architecture Search，NAS)技术，具体而言涉及用于深度神经网络(Deep Neural Network，DNN)模型工程的技术。

技术介绍

[0002]机器学习(ML)是对计算机算法的研究，这些算法通过经验和并且通过使用数据而自动改进。执行机器学习涉及创建统计模型(或者简称为“模型”)，它被配置为处理数据以进行预测和/或推理。ML算法使用样本数据(称为“训练数据”)和/或基于过去的经验来构建模型，从而在没有被明确编程的情况下做出预测或决策。
[0003]ML模型设计是一个漫长的过程，它涉及到高度迭代的训练和验证循环，以调整给定模型的结构、参数和/或超参数。对于诸如深度神经网络(DNN)之类的较大ML体系结构，训练和验证可能是尤其耗费时间并且资源密集的。传统的ML设计技术也可能要求相对大量的计算资源，超出许多用户的能力范围。
[0004]代理任务可用于ML模型设计，以便减少时间长度和资源消耗。代理任务可包括例如在比完整训练会话更少的历时(epoch)中进行训练，用更少的块学习，或者用完整训练数据集的子集(即，“训练子集”)进行训练。使用代理任务，可以减少训练/验证迭代的数目，这应当减少用于训练的时间和资源消耗。然而，使用代理任务训练ML模型可得到准确度较低的模型。此外，对于较大的最先进的DNN模型而言，使用代理任务仍然可能是非常漫长和资源密集的。事实上，对于非常大的模型而言，使用数据子集进行训练，对于无法获得大型计算资源的用户而言仍然是令人望而却步的，而且会以预测的准确度为代价。
[0005]取代手动设计ML模型，神经体系结构搜索(NAS)算法可以用于为特定的任务自动发现理想的ML模型(参见例如Abdelfattah等人，“Zero
‑
Cost Proxies for Lightweight NAS(用于轻量型NAS的零成本代理)”，ArXiv abs/2101.08134(2021年1月20日)(“[Abdelfattah]”)，特此通过引用将该文献整体并入在此)。NAS是自动化体系结构工程的过程。然而，NAS也可能是耗时和计算密集的；通常使用NAS可能需要许多小时或许多天来完整训练单一神经网络(参见[Abdelfattah])。
[0006]在传统的基于样本的NAS中，可以使用代理训练制度来预测模型的准确度，而不是全面训练(参见[Abdelfattah])。这涉及到使用代理函数来产生代理得分，该代理得分对模型的性能给出粗略的估计。然而，代理函数并不总是与它们所近似的度量有很好的相关性(参见例如Mellor等人，“Neural Architecture Search without Training(在无训练的情况下进行神经体系结构搜索)”，国际机器学习会议，PMLR，第7588
‑
7598页(2021年7月1日)(“[Mellor]”)，特此通过引用将该文献整体并入在此)，这就是为什么代理函数仍然是一个活跃的研究领域。

技术实现思路

[0007]本公开的一方面提供了一种用于为机器学习(ML)模型预测性能度量的方法。该方法包括：为各个用户生成一组ML模型；对于一组ML模型中的每个ML模型，操作代理反馈引擎以为一组ML模型中的相应ML模型生成代理得分，其中，该相应ML模型的代理得分是基于该相应ML模型的一个或多个预测性能度量的；训练来自一组ML模型的ML模型的子集以为ML模型的子集中的相应ML模型获得一个或多个实际性能度量；操作半监督学习(SSL)机制以学习一个或多个实际性能度量与ML模型的子集中的相应ML模型之间的关系；并且利用学习到的关系更新代理反馈引擎来为另一组ML模型生成代理得分。
[0008]本公开的另一方面提供了一种非暂态计算机可读存储介质，包括用于为机器学习模型预测性能度量的指令，其中指令被计算系统的一个或多个处理器执行将使得计算系统执行上述方法。
[0009]本公开的另一方面提供了一种用于提供机器学习模型开发环境(MDE)的装置。该装置包括：接口电路，被配置为从客户端设备获得机器学习(ML)输入；以及与接口电路通信地耦合的处理器电路，其中，处理器电路响应于从客户端设备接收到ML输入中的个体输入，而被配置为：基于个体输入获得ML模型，从代理反馈引擎为ML模型获得代理得分，其中：ML模型的代理得分是基于ML模型的一组预测性能度量的，ML模型和代理得分中的至少一者被半监督学习(SSL)机制用来学习实际性能度量和经训练的ML模型之间的关系，并且学习到的关系被代理反馈引擎用来为其他ML模型生成代理得分，并且经由接口电路将ML模型和代理得分提供给客户端设备。
[0010]本公开的又一方面提供了一种被用作机器学习(ML)计算系统的代理反馈引擎的装置。该装置包括：接口电路，被配置为经由ML模型开发环境(MDE)获得ML模型配置(MLMC)；以及与接口电路通信地耦合的处理器电路，其中，处理器电路被配置为针对所获得的MLMC中的个体MLMC：基于个体MLMC中的信息从一组代理函数中选择一个或多个代理函数，利用所选择的一个或多个代理函数为与个体MLMC相对应的ML模型确定代理得分，其中，代理得分是基于ML模型的一组预测性能度量的，经由接口电路将所确定的代理得分提供给模型分析引擎，并且从模型分析引擎获得至少部分基于所确定的代理得分的实际ML性能度量到ML模型的更新后映射，以生成更新后的代理得分。
附图说明
[0011]在不一定按比例绘制的附图中，相似的标号在不同视图中可描述相似的组件。具有不同字母后缀的相似标号可表示相似组件的不同实例。在附图中以示例而非限制方式图示了一些实施例，在附图中：
[0012]图1描绘了根据各种实施例的机器学习(ML)模型工程系统的概况。
[0013]图2描绘了根据各种实施例的半监督学习机制的示例操作。
[0014]图3描绘了根据各种实施例的示例人工神经网络(ANN)。
[0015]图4a图示了示例加速器体系结构。
[0016]图4b图示了计算系统的示例组件。
[0017]图5和图6描绘了可用于实现本文论述的各种实施例的示例过程。
110a进行操作。MDE 110a允许了客户端设备101的用户管理ML模型如何由系统100构建。MDE 110a是服务器侧app或者类似的东西，其允许用户使用其MDE 110b向系统100提供输入105。例如，MDE 110a和MDE 110b(统称为“MDE 110”)提供了一种平台或框架，其允许ML模型设计者、开发者和/或其他类型的用户创建、编辑和/或操纵ML模型和/或ML应用。MDE 110包括图形用户界面(graphical user interface，GUI)，其本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于为机器学习(ML)模型预测性能度量的方法，该方法包括：为各个用户生成一组ML模型；对于所述一组ML模型中的每个ML模型，操作代理反馈引擎以为所述一组ML模型中的相应ML模型生成代理得分，其中，该相应ML模型的代理得分是基于该相应ML模型的一个或多个预测性能度量的；训练来自所述一组ML模型的ML模型的子集以为所述ML模型的子集中的相应ML模型获得一个或多个实际性能度量；操作半监督学习(SSL)机制以学习所述一个或多个实际性能度量与所述ML模型的子集中的相应ML模型之间的关系；并且利用学习到的关系更新所述代理反馈引擎来为另一组ML模型生成代理得分。2.如权利要求1所述的方法，其中，所述代理反馈引擎的操作是在不训练所述一组ML模型中的ML模型的情况下发生的。3.如权利要求1所述的方法，其中，为操作所述代理反馈引擎，所述指令的执行将使得所述计算系统：为所述一组ML模型中的第一ML模型从多个代理函数中选择第一代理函数；操作所述第一代理函数以为所述第一ML模型产生第一代理得分；为所述一组ML模型中的第二ML模型从多个代理函数中选择第二代理函数；并且操作所述第二代理函数以为所述第一ML模型产生第二代理得分。4.如权利要求1所述的方法，其中，为操作所述代理反馈引擎，所述指令的执行将使得所述计算系统：为所述一组ML模型中的至少一个ML模型从多个代理函数中选择两个或更多个代理函数；单独操作所述两个或更多个代理函数中的每一者以为所述至少一个ML模型产生对应代理得分；并且基于所述对应代理得分的组合、所述对应代理得分的加权平均、使用所述对应代理得分的集总平均或者使用基于所述对应代理得分的集总学习方法，为所述至少一个ML模型确定最终代理得分。5.如权利要求1所述的方法，其中，个体ML模型是基于由对应用户提供的一个或多个输入为该对应用户生成的。6.如权利要求5所述的方法，其中，由对应用户提供的一个或多个输入包括ML领域中的ML任务，并且其中，为操作所述代理反馈引擎，所述指令的执行将使得所述计算系统：为所述一组ML模型中的每个ML模型，基于由对应用户提供的ML任务和ML领域从多个代理函数中选择代理函数。7.如权利要求6所述的方法，其中，由对应用户提供的一个或多个输入还包括硬件平台规格，并且为每个ML模型选择代理函数还基于所述硬件平台规格。8.如权利要求3所述的方法，其中，所述多个代理函数包括以下各项中的一个或多个：关联阵列、映射函数、字典、散列表、查找表(LUT)、链接列表、ML分类器、参数计数、计算吞吐量度量、雅可比协方差函数、显著性修剪函数、通道修剪函数、试探函数、和超试探函数。9.如权利要求1所述的方法，其中，所述SSL机制包括归纳SSL方法或者直推SSL方法。
10.如权利要求1所述的方法，其中，所述SSL机制包括从包括以下各项的群组中选择的SSL方法：自我训练包装方法、共同训练包装方法、提升包装方法、无监督预处理特征提取方法、无监督预处理预训练方法、无监督预处理聚类然后标记方法、以及内在半监督方法、图卷积网络(GCN)、以及直推式支持向量机(TSVM)。11.一种非暂态计算机可读存储介质，包括用于为机器学习模型预测性能度量的指令，其中所述指令被计算系统的一个或多个处理器执行将使得所述计算系统执行如权利要求1到10中任一项所述的方法。12.一种用于提供机器学习模型开发环境(MDE)的装置，该装置包括：接口电路，被配置为从客户端设备获得机器学习(ML)输入；以及与所述接口电路通信地耦合的处理器电路，其中，所述处理器电路响应于从所述客户端设备接收到所述ML输入中的个体输入，而被配置为：基于所述个体输入获得ML模型，从代理反馈引擎为所述ML模型获得代理得分，其中：所述ML模型的代理得分是基于所述ML模型的一组预测性能度量的，所述ML模型和所述代理得分中的至少一者被半监督学习(SSL)机制用来学习实际性能度量和经训练的ML模型之间的关系，并且学习到的关系被所述代理反馈引擎用来为其他ML模型生成代理得分，并且经由所述接口电路将所述ML模型和所述代理得分提供给所述客户端设备。13.如权利要求12所述的装置，其中，所述处理器电路还用于：操作服务器侧MDE应用来使得能够从...

【专利技术属性】
技术研发人员：丹尼尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：