用于高效推理的多阶段机器学习模型合成制造技术

本公开的示例实施方式组合了高效模型设计和动态推理。利用独立的轻量级模型，避免了对简单示例的不必要运算，并且由所述轻量级模型提取的信息还指导从基础模型中合成专员网络。利用在ImageNet上进行的大量实验，这表明所提出的示例BasisNet对于图像分类特别有效，并且BasisNet

【技术实现步骤摘要】
【国外来华专利技术】用于高效推理的多阶段机器学习模型合成
[0001]相关申请
[0002]本申请要求于2021年7月29日提交的美国临时专利申请号63/057,904的优先权和权益，美国临时专利申请号63/057,904以引用的方式全部并入本文。


[0003]本公开一般涉及机器学习。更具体地，本公开涉及一种用于合成具有改善的推理效率的组合模型的多阶段进程。

技术介绍

[0004]高准确度但低延时的机器学习模型(例如卷积神经网络)为装置上机器学习提供了机会。此类模型在各种移动应用中发挥着越来越重要的作用，包括但不限于智能个人助理、AR/VR和实时语音转译。
[0005]专门为边缘装置设计高效的卷积神经网络已经受到了显著的研究关注。先前的研究试图从不同角度应对该挑战，诸如新颖网络架构、来自硬件加速器的更好支持或条件运算和自适应推理算法。
[0006]然而，单独地将重点放在此类角度中的一个可能具有副作用。例如，新颖网络架构可能引入不受硬件加速器良好支持的定制运营商。因此，由于缺乏硬件支持，有前景的新模型可能具有对真正装置的有限实际改进。未能考虑多个角度降低了所得系统的广泛适用性。

技术实现思路

[0007]本公开的实施例的各方面和优点将在以下描述中部分地阐述或能够根据描述来获知，或能够通过实践实施例而获知。
[0008]本公开的一个示例方面涉及一种具有改善的机器学习推理效率的计算系统。该计算系统包括一个或多个处理器；以及一种或多种非暂时性计算机可读介质，该非暂时性计算机可读介质存储：机器学习预测模型，该机器学习预测模型被配置成接收输入并且处理该输入以分别针对多个机器学习基础模型生成初始预测和多个组合值；多个机器学习基础模型；以及指令，该指令在被一个或多个处理器执行时使计算系统进行操作。该操作包括：获得输入；用机器学习预测模型处理输入以生成初始预测和多个组合值；以及确定初始预测是否满足一个或多个置信度准则。当初始预测满足一个或多个置信度准则时，该操作包括提供初始预测作为输出。当初始预测不满足一个或多个置信度准则时，该操作包括：至少部分地基于多个组合值从多个机器学习基础模型中合成组合模型；用组合模型处理输入以生成最终预测；以及提供最终预测作为输出。
[0009]本公开的另一示例方面涉及一种用于训练机器学习模型的计算机实现的方法。该方法包括：由包括一个或多个计算装置的计算系统获得训练输入。该方法包括：由计算系统用机器学习预测模型处理训练输入以分别针对多个机器学习基础模型生成多个组合值并
且可选地生成初始值。该方法包括：由计算系统和至少部分地基于多个组合值从多个机器学习基础模型中合成组合模型。该方法包括：由计算系统用组合模型处理训练输入以生成最终预测。该方法包括：由计算系统评估损失项，该损失项将最终预测与同训练输入相关联的真实值输出进行比较。该方法包括：由计算系统和至少部分地基于损失项来修改以下中的一个或两个的一个或多个参数：机器学习预测模型；或机器学习基础模型中的一个或多个。
[0010]本公开的另一示例方面涉及一种具有多阶段模型合成的计算系统。该计算系统包括一个或多个处理器和一种或多种非暂时性计算机可读介质，该非暂时性计算机可读介质存储：机器学习预测模型，该机器学习预测模型被配置成接收输入并且处理该输入以分别针对多个机器学习基础模型生成多个组合值；多个机器学习基础模型；以及指令，该指令在被一个或多个处理器执行时使计算系统进行操作。该操作包括：获得输入；用机器学习预测模型处理输入以生成多个组合值；至少部分地基于多个组合值从多个机器学习基础模型中合成组合模型；用组合模型处理输入以生成最终预测；以及提供最终预测作为输出。
[0011]本公开的其它方面涉及各种系统、设备、非暂时性计算机可读介质、用户界面和电子装置。
[0012]将参考以下描述和随附权利要求书更好地理解本公开的各种实施例的这些和其它特征、方面和优点。并入本说明书中并且构成本说明书的一部分的附图图示了本公开的示例实施例，并且与描述一起用于解释相关原理。
附图说明
[0013]在本说明书中阐述了针对本领域的普通技术人员的实施例的详细讨论，该说明书参考了附图，在附图中：
[0014]图1描绘了根据本公开的示例实施例的示例模型架构和进程的框图。
[0015]图2A描绘了根据本公开的示例实施例的示例计算系统的框图。
[0016]图2B描绘了根据本公开的示例实施例的示例计算装置的框图。
[0017]图2C描绘了根据本公开的示例实施例的示例计算装置的框图。
[0018]图3描绘了根据本公开的示例实施例的用于进行机器学习模型推理的示例方法的流程图。
[0019]图4描绘了根据本公开的示例实施例的用于进行机器学习模型训练的示例方法的流程图。
[0020]在多个图上重复的附图标记旨在标识各种实施方式中的相同特征。
具体实施方式
[0021]概述
[0022]通常，本公开涉及一种用于合成具有改善的推理效率的组合模型的多阶段进程和结构。具体地，本公开的各方面涉及模型架构和对应进程，在一些情况下，该模型架构和对应进程能够被称为“BasisNet”。
[0023]所提出的系统和方法提供了效率进展，该效率进展组合了来自多个角度的益处，诸如新架构、条件运算和提前终止。根据本公开的一种示例途径首先使用轻量级预测模型
来处理输入(例如输入图像)并且生成组合值(例如系数)，该组合值随后能够用于指导处理输入以获得最终输出的较重组合模型的合成。在一些实施方式中，除了组合值之外，轻量级预测模型还被配置成生成初始预测。在一些实施方式中，如果与初始预测置信度相关联的置信度足够高，那么系统能够提前终止推理进程，从而产生更高效的推理。
[0024]所提出的途径能够与任何现有网络架构一起使用，并且能够端到端地联合训练这两个阶段。如美国临时专利申请号63/057,904所描述的，BasisNet的示例实施方式在ImageNet分类上针对不同代和大小的MobileNet被验证并且取得了相对于强基准线的显著改进。在不使用提前终止的情况下，被称为BasisNet
‑
MV3的示例实施方式用290M乘加运算(MAdd)获得了80.3％的准确度。在提前终止可用的情况下，平均成本能够进一步降低到200M MAdd，同时保持80.0％的准确度。
[0025]此外，所提出的设计与现有移动硬件兼容：第一阶段轻量级预测模型能够在中央处理单元(CPU)上运行，而第二阶段的合成组合模型能够在更专业的加速器上运行，若需要。
[0026]更具体地，模型合成是适用于任何新颖网络架构的灵活概念，该新颖网络架构实现了高效模型设计的进展。本公开的一些示例系统和方法结合提前终止充分利用了模型合成设计。例如，一些实施方式使得用户能够用单个超参数(例如与初始预测置信度进行比较的置信度阈值)平衡运算预算和准确度。
[0027]在硬件方面，本文描述的两阶段模型合成战略本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种具有改善的机器学习推理效率的计算系统，所述系统包括：一个或多个处理器；以及一种或多种非暂时性计算机可读介质，所述一种或多种非暂时性计算机可读介质存储：机器学习预测模型，所述机器学习预测模型被配置成接收输入并且处理所述输入以分别针对多个机器学习基础模型生成初始预测和多个组合值；所述多个机器学习基础模型；以及指令，所述指令在被所述一个或多个处理器执行时使所述计算系统进行操作，所述操作包括：获得所述输入；用所述机器学习预测模型处理所述输入以生成所述初始预测和所述多个组合值；确定所述初始预测是否满足一个或多个置信度准则；当所述初始预测满足所述一个或多个置信度准则时：提供所述初始预测作为输出；以及当所述初始预测不满足所述一个或多个置信度准则时：至少部分地基于所述多个组合值从所述多个机器学习基础模型中合成组合模型；用所述组合模型处理所述输入以生成最终预测；以及提供所述最终预测作为所述输出。2.根据任一前述权利要求所述的计算系统，其中，用所述机器学习预测模型处理所述输入比用所述组合模型处理所述输入消耗相对较少的运算资源。3.根据任一前述权利要求所述的计算系统，其中，确定所述初始预测是否满足一个或多个置信度准则包括：将由所述机器学习预测模型针对所述初始预测生成的置信度分数与一个或多个阈值置信度分数进行比较。4.根据任一前述权利要求所述的计算系统，其中，所述多个机器学习基础模型包括分别根据多个不同训练数据集训练的多个专家模型。5.根据任一前述权利要求所述的计算系统，其中，所述机器学习预测模型是独立于所述多个机器学习基础模型的独立模型。6.根据任一前述权利要求所述的计算系统，其中：所述多个机器学习基础模型中的每一个包括多个层；以及针对所述多个机器学习基础模型中的每一个，所述机器学习预测模型被配置成分别针对所述多个层来预测多个层值。7.根据任一前述权利要求所述的计算系统，其中：所述多个机器学习基础模型中的每一个包括一个或多个内核；以及至少部分地基于所述多个组合值从所述多个机器学习基础模型中合成所述组合模型包括：根据所述多个组合值来线性地组合所述多个机器学习基础模型的所述内核。8.根据任一前述权利要求所述的计算系统，其中：用所述机器学习预测模型处理所述输入包括：在中央处理单元上运行所述机器学习预测模型；以及用所述组合模型处理所述输入包括：在一个或多个硬件加速器单元上运行所述组合模
型。9.根据任一前述权利要求所述的计算系统，其中，所述输入包括图像并且所述输出包括将所述图像分类成一个或多个类别。10.一种用于训练机器学习模型的计算机实现的方法，所述方法包括：由包括一个或多个计算装置的计算系统获得训练输入；由所述计算系统用机器学习预测模型处理所述训练输入以分别针对多个机器学习基础模型生成多个组合值，并且可选地生成初始预测；由所述计算系统并且至少部分地基于所述多个组合值从所述多个机器学习基础模型中合成组合模型；由所述计算系统用所述组合模型处理所述训练输入以生成最终预测；由所述计算系统评估损失项，所...

【专利技术属性】
技术研发人员：张立，安德鲁，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：