用于高效推理的多阶段机器学习模型合成制造技术

本公开的示例实施方式组合了高效模型设计和动态推理。利用独立的轻量级模型，避免了对简单示例的不必要运算，并且由所述轻量级模型提取的信息还指导从基础模型中合成专员网络。利用在ImageNet上进行的大量实验，这表明所提出的示例BasisNet对于图像分类特别有效，并且BasisNet

【技术实现步骤摘要】
【国外来华专利技术】用于高效推理的多阶段机器学习模型合成
[0001]相关申请
[0002]本申请要求于2021年7月29日提交的美国临时专利申请号63/057,904的优先权和权益，美国临时专利申请号63/057,904以引用的方式全部并入本文。


[0003]本公开一般涉及机器学习。更具体地，本公开涉及一种用于合成具有改善的推理效率的组合模型的多阶段进程。

技术介绍

[0004]高准确度但低延时的机器学习模型(例如卷积神经网络)为装置上机器学习提供了机会。此类模型在各种移动应用中发挥着越来越重要的作用，包括但不限于智能个人助理、AR/VR和实时语音转译。
[0005]专门为边缘装置设计高效的卷积神经网络已经受到了显著的研究关注。先前的研究试图从不同角度应对该挑战，诸如新颖网络架构、来自硬件加速器的更好支持或条件运算和自适应推理算法。
[0006]然而，单独地将重点放在此类角度中的一个可能具有副作用。例如，新颖网络架构可能引入不受硬件加速器良好支持的定制运营商。因此，由于缺乏硬件支持，有前景的新模型可能具有对真正装置的有限实际改进。本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种具有改善的机器学习推理效率的计算系统，所述系统包括：一个或多个处理器；以及一种或多种非暂时性计算机可读介质，所述一种或多种非暂时性计算机可读介质存储：机器学习预测模型，所述机器学习预测模型被配置成接收输入并且处理所述输入以分别针对多个机器学习基础模型生成初始预测和多个组合值；所述多个机器学习基础模型；以及指令，所述指令在被所述一个或多个处理器执行时使所述计算系统进行操作，所述操作包括：获得所述输入；用所述机器学习预测模型处理所述输入以生成所述初始预测和所述多个组合值；确定所述初始预测是否满足一个或多个置信度准则；当所述初始预测满足所述一个或多个置信度准则时：提供所述初始预测作为输出；以及当所述初始预测不满足所述一个或多个置信度准则时：至少部分地基于所述多个组合值从所述多个机器学习基础模型中合成组合模型；用所述组合模型处理所述输入以生成最终预测；以及提供所述最终预测作为所述输出。2.根据任一前述权利要求所述的计算系统，其中，用所述机器学习预测模型处理所述输入比用所述组合模型处理所述输入消耗相对较少的运算资源。3.根据任一前述权利要求所述的计算系统，其中，确定所述初始预测是否满足一个或多个置信度准则包括：将由所述机器学习预测模型针对所述初始预测生成的置信度分数与一个或多个阈值置信度分数进行比较。4.根据任一前述权利要求所述的计算系统，其中，所述多个机器学习基础模型包括分别根据多个不同训练数据集训练的多个专家模型。5.根据任一前述权利要求所述的计算系统，其中，所述机器学习预测模型是独立于所述多个机器学习基础模型的独立模型。6.根据任一前述权利要求所述的计算系统，其中：所述多个机器学习基础模型中的每一个包括多个层；以及针对所述多个机器学习基础模型中的每一个，所述机器学习预测模型被配置成分别针对所述多个层来预测多个层值。7.根据任一前述权利要求所述的计算系统，其中：所述多个机器学习基础模型中的每一个包括一个或多个内核；以及至少部分地基于所述多个组合值从所述多个机器学习基础模型中合成所述组合模型包括：根据所述多个组合值来线性地组合所述多个机器学习基础模型的所述内核。8.根据任一前述权利要求所述的计算系统，其中：用所述机器学习预测模型处理所述输入包括：在中央处理单元上运行所述机器学习预测模型；以及用所述组合模型处理所述输入包括：在一个或多个硬件加速器单元上运行所述组合模
型。9.根据任一前述权利要求所述的计算系统，其中，所述输入包括图像并且所述输出包括将所述图像分类成一个或多个类别。10.一种用于训练机器学习模型的计算机实现的方法，所述方法包括：由包括一个或多个计算装置的计算系统获得训练输入；由所述计算系统用机器学习预测模型处理所述训练输入以分别针对多个机器学习基础模型生成多个组合值，并且可选地生成初始预测；由所述计算系统并且至少部分地基于所述多个组合值从所述多个机器学习基础模型中合成组合模型；由所述计算系统用所述组合模型处理所述训练输入以生成最终预测；由所述计算系统评估损失项，所...

【专利技术属性】
技术研发人员：张立，安德鲁，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：