自动提前退出机器学习模型制造技术

本公开的某些方面提供了用于利用自动退出机器学习模型架构进行处理的技术，包括：在分类模型的第一部分中处理输入数据以生成第一中间激活数据；向第一门提供第一中间激活数据；由第一门作出关于是否要退出由该分类模型进行的处理的确定；以及从该分类模型的多个分类器之一生成分类结果。类器之一生成分类结果。类器之一生成分类结果。

【技术实现步骤摘要】
【国外来华专利技术】自动提前退出机器学习模型
[0001]相关申请的交叉引用
[0002]本申请要求于2021年11月15日提交的美国专利申请No.17/527,076的优先权，该美国专利申请要求于2020年11月16日提交的美国临时专利申请No.63/114,434的权益和优先权，这些申请中的每一者的全部内容通过援引整体纳入于此。
[0003]引言
[0004]本公开的各方面涉及包括中间分类器的机器学习模型架构，其允许模型的自动提前退出以节省计算资源。
[0005]机器学习可一般产生经训练模型(例如，人工神经网络、树或其他结构)，其表示对训练数据集合的广义拟合。将经训练模型应用于新数据产生“推断”，这可被用于获得关于新数据的洞察。
[0006]机器学习模型被越来越多地用于各种领域，包括用于分类、检测和识别任务。例如，机器学习模型正被用于基于由电子设备上的一个或多个机载传感器所提供的传感器数据在这些设备上执行复杂任务，诸如自动检测由电子设备的相机传感器提供的图像内的特征(例如，面部)。
[0007]然而，常规的机器学习方法必须在较大的计算密集型模型和较小的不太计算密集型模型之间进行选择，前者在宽泛范围的输入数据上表现良好，后者可能在简单的输入数据上表现良好，但在复杂的输入数据上表现不佳。这种趋势是由依赖于整个模型来馈送单个输出层(诸如分类层)的模型架构产生的。因为较低功率处理设备(诸如移动设备、物联网(IoT)设备、始终在线设备、边缘处理设备、智能可穿戴设备等)可具有限制板载计算、存储器和功率资源的固有设计限制，所以此类设备通常仅限于部署较低性能的模型。
[0008]因此，需要改进的机器学习架构，其可以在单个模型架构中提供较大模型的性能和较小模型的效率。
[0009]简要概述
[0010]某些方面提供了一种用于利用自动退出机器学习模型架构进行处理的方法，包括：在分类模型的第一部分中处理输入数据以生成第一中间激活数据；向第一门提供第一中间激活数据；由第一门作出关于是否要退出由该分类模型进行的处理的确定；以及从该分类模型的多个分类器之一生成分类结果。
[0011]进一步的方面提供了一种利用分类模型执行分类的方法，其中：该分类模型包括：特征提取组件；特征聚集组件；多个门；以及多个分类器，其中该多个门中的每个门与该多个分类器中的一个分类器相关联，并且该方法包括：从输入视频中提取剪辑；对该剪辑进行采样以生成多个视频帧；向该特征提取组件提供该多个视频帧中的第一视频帧以生成第一特征图；向该多个门中的第一门提供第一特征图；由第一门基于第一特征图作出关于是否要退出由该分类模型进行的处理的确定；以及从该分类模型的多个分类器之一生成分类结果。
[0012]其他方面提供了：处理系统，其被配置成执行前述方法以及本文中所描述的那些方法；非瞬态计算机可读介质，其包括在由处理系统的一个或多个处理器执行时使该处理
系统执行前述方法以及本文中所描述的那些方法的指令；计算机程序产品，其被实施在计算机可读存储介质上，该计算机可读存储介质包括用于执行前述方法以及本文中进一步描述的那些方法的代码；以及处理系统，其包括用于执行前述方法以及本文中进一步描述的那些方法的装置。
[0013]以下描述和相关附图详细阐述了一个或多个方面的某些解说性特征。
[0014]附图简述
[0015]附图描绘了该一个或多个方面的某些方面，并且因此不被认为限制本公开的范围。
[0016]图1描绘了用于自动提前退出的机器学习模型架构。
[0017]图2描绘了可与用于自动提前退出的机器学习模型架构一起使用的示例门。
[0018]图3描绘了可与用于自动提前退出的机器学习模型架构一起使用的示例门模型。
[0019]图4描绘了包括多个门模型的门的另一示例。
[0020]图5描绘了用于高效视频识别的示例模型架构。
[0021]图6描绘了可被实现用于高效视频识别的示例门模型。
[0022]图7描绘了用于利用诸如参考图1
‑
4所描述的提前退出模型架构执行处理的示例方法。
[0023]图8描绘了用于利用诸如参考图5
‑
6所描述的提前退出模型架构执行处理的示例方法。
[0024]图9描绘了可被配置成执行本文所描述的方法的示例处理系统。
[0025]为了促成理解，在可能之处使用了相同的附图标记来指定各附图共有的相同要素。构想一个方面的要素和特征可有益地被纳入到其他方面中而无需进一步引述。
[0026]详细描述
[0027]本公开的各方面提供了用于包括中间分类器的机器学习模型架构的装置、方法、处理系统和计算机可读介质，其允许模型的自动提前退出以节省计算资源。
[0028]本文所描述的各方面一般可以由中间分类器的级联组成，使得使用较早且因此较少的分类器来处置“较容易”(例如，较不复杂)的输入数据，并且使用较晚且因此较多的分类器来处置“较难”(例如，较复杂)的输入数据。可以训练与每个中间分类器相关联的选通逻辑，以允许此类模型自动确定推断足够可靠的处理中的最早点，然后绕过附加处理。
[0029]因为此类模型中的显著百分比的分类可以能够在最终模型分类器之前“提前退出”到中间分类器，所以此类模型平均使用显著更少的计算资源，这有益地使此类模型开放到部署在许多不同类型的设备(诸如上述较低功率的处理设备)上。在本文中描述的模型架构可用于许多不同的应用，诸如分类、索引和汇总图像和视频数据、估计图像或视频数据中的人的姿态、监视对象检测、异常检测、自动驾驶(例如，识别对象、标志、障碍物、道路标记)、用户验证等。
[0030]用于自动提前退出的机器学习模型架构
[0031]图1描绘了用于自动提前退出的机器学习模型架构100。
[0032]在所描绘的示例中，模型架构100包括模型部分104A
‑
C，其各自包括多个层(例如，模型部分104A中的102A
‑
C、模型部分104B中的102D
‑
F和模型部分104C中的102G
‑
I)，这些层可以是机器学习模型(诸如深度神经网络模型)的各种层或块。例如，个体层102A
‑
I可包括
卷积神经网络层，诸如逐点和深度卷积神经网络层、池化层、递归层、残差层、全连接(密集)层、归一化层等。总体而言，模型部分104A
‑
C可被称为主模型或主干模型。
[0033]常规地，神经网络模型可以从层102A处的模型输入到最终分类器114处的模型输出进行处理。与常规模型不同，模型架构100包括门(或选通)块112A
‑
B。一般而言，门块112A
‑
B允许模型架构100基于一些输入数据来自动确定是否可能从模型“提前退出”，使得只需要处理该模型的一部分。在提前退出可能的情况下，节省了显著的时间和处理资源，诸如计算、存储器和功率使用。在该示例中，存在与两个门本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理器实现的方法，包括：在分类模型的第一部分中处理输入数据以生成第一中间激活数据；向第一门提供所述第一中间激活数据；由所述第一门作出关于是否要退出由所述分类模型进行的处理的确定；以及从所述分类模型的多个分类器中的一个分类器生成分类结果。2.如权利要求1所述的方法，其中所述第一门包括：池化层，所述池化层被配置成降低所述第一中间激活数据的维度；一个或多个神经网络层，所述一个或多个神经网络层被配置成生成关于是否要退出由所述分类模型进行的处理的确定；以及Gumbel采样组件。3.如权利要求2所述的方法，其中所述一个或多个神经网络层包括多个多层感知器层。4.如权利要求1所述的方法，其中：由所述第一门进行的所述确定包括关于退出所述分类模型的处理的确定，并且所述方法进一步包括：利用所述多个分类器中的第一分类器处理所述第一中间激活数据以生成所述分类结果，其中所述多个分类器中的每个分类器与模型部分相关联，并且其中所述分类模型包括模型部分的定向序列。5.如权利要求1所述的方法，其中：由所述第一门进行的所述确定包括关于继续所述分类模型的处理的确定，并且所述方法进一步包括：向所述分类模型的第二部分提供所述第一中间激活数据，其中所述多个分类器中的每个分类器与模型部分相关联，并且其中所述分类模型包括模型部分的定向序列。6.如权利要求5所述的方法，进一步包括：由所述分类模型的所述第二部分处理所述第一中间激活数据以生成第二中间激活数据；向第二门提供所述第二中间激活数据；以及由所述第二门作出关于是否要退出由所述分类模型进行的处理的确定，其中所述多个分类器中的每个分类器与模型部分相关联，并且其中所述分类模型包括模型部分的定向序列。7.如权利要求1所述的方法，其中：所述输入数据包括图像数据，并且所述分类模型包括图像分类模型。8.如权利要求1所述的方法，其中所述第一门已经使用批量整形损失函数来训练，以最小化分类误差并最小化处理资源使用。9.如权利要求1所述的方法，其中所述第一门包括时间比较模型，所述时间比较模型被配置成将来自当前时间步的所述第一中间激活数据与来自先前时间步的先前中间激活数据进行比较。10.如权利要求9所述的方法，其中：由所述第一门进行的所述确定包括关于基于来自所述当前时间步的所述第一中间激
活数据与来自所述先前时间步的先前中间激活数据的相似性来退出所述分类模型的处理的确定，并且所述方法进一步包括：从所述分类模型输出来自所述先前时间步的分类数据。11.如权利要求9所述的方法，其中：由所述第一门进行的所述确定包括关于基于来自所述当前时间步的所述第一中间激活数据与来自所述先前时间步的先前中间激活数据的相异性来继续由所述分类模型进行的处理的确定，并且所述方法进一步包括：向第二门提供所述第一中间激活数据，所述第二门被配置成确定所述第一中间激活数据的复杂性；以及由所述第二门基于来自所述当前时间步的所述第一中间激活数据来作出关于是否要退出由所述分类模型进行的处理的确定。12.如权利要求11所述的方法，其中：由所述第二门进行的所述确定包括关于退出所述分类模型的处理的确定，并且所述方法进一步包括：利用所述多个分类器中的第一分类器处理所述第一中间激活数据以生成所述分类结果。13.如权利要求1所述的方法，进一步包括：在向所述第一门提供所述第一中间激活数据之前使用一个或多个卷积层来卷积所述第一中间激活数据。14.如权利要求9所述的方法，其中：所述输入数据包括视频数据，并且所述分类模型包括视频分类模型。15.一种处理系统，包括：包括计算机可执行指令的存储器；以及处理器，所述处理器被配置成执行所述计算机可执行指令并使所述处理系统：在分类模型的第一部分中处理输入数据以生成第一中间激活数据；向第一门提供所述第一中间激活数据；由所述第一门作出关于是否要退出由所述分类模型进行的处理的确定；以及从所述分类模型的多个分类器中的一个分类器生成分类结果。16.如权利要求15所述的处理系统，其中所述第一门包括：池化层，所述池化层被配置成降低所述第一中间激活数据的维度；一个或多个神经网络层，所述一个或多个神经网络层被配...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：