用于自主机器的机器学习中的即时深度学习制造技术

描述了一种用于促进自主机器的机器学习中的即时深度学习的机制。如本文所述的实施例的方法包括检测与第一深度网络相关联的输出，第一深度网络用作与在具有耦合到存储器的处理器的计算设备处的一个或多个神经网络的学习相关联的用户无关模型。该方法还可以包括自动生成用作用户相关模型的第二深度网络的训练数据，其中基于输出生成训练数据。该方法可以进一步包括将用户无关模型与用户相关模型合并成单个联合模型。

【技术实现步骤摘要】
用于自主机器的机器学习中的即时深度学习本申请是2018年5月4日提交的申请号为201810419226.3的同名专利申请的分案申请。
本申请要求由YehezkelRohekar等人于2017年5月5日提交的题为“ON-THE-FLYDEEPLEARNINGINMACHINELEARNINGATAUTONOMOUSMACHINES(在自主机器处的机器学习中的即时深度学习)”的美国临时申请第62/502,294号的权益和优先权，该申请通过引用方式并入本文。
这里描述的实施例总体上涉及数据处理，并且更具体地涉及促进用于自主机器的机器学习中的即时深度学习。
技术介绍
当前的并行图形数据处理包括开发用于对图形数据执行特定操作的系统和方法，例如线性插值，铺砌(tessellation)，光栅化，纹理映射，深度测试等。传统上，图形处理器使用固定功能计算单元来处理图形数据；然而，最近，已经使得图形处理器的部分可编程，使得这些处理器能够支持更广泛的操作来处理顶点和片段数据。为了进一步提高性能，图形处理器通常实现处理技术，例如尝试遍及图形管线的不同部分并行处理尽可能多的图形数据的管线技术。具有单指令多线程(SIMT)架构的并行图形处理器被设计为最大化图形管线中的并行处理量。在SIMT架构中，并行线程构成的组尝试尽可能经常地一起同步执行程序指令以提高处理效率。在ShaneCook，CUDAProgramming，第3章，第37-51页(2013)和/或NicholasWilt，CUDAHandbook，GPU编程综合指南，第2.6.2节到3.1.2节(2013年6月)中可以找到关于SIMT架构的软件和硬件的一般概述。机器学习已经成功地解决了许多种任务。在训练和使用机器学习算法(例如神经网络)时产生的计算自然支持高效的并行实现方式。因此，诸如通用图形处理单元(GPGPU)之类的并行处理器在深度神经网络的实际实现方式中发挥了重要作用。具有单指令多线程(SIMT)架构的并行图形处理器被设计为最大化图形管线中的并行处理量。在SIMT架构中，并行线程构成组尝试尽可能经常地一起同步执行程序指令以提高处理效率。并行机器学习算法实现方式提供的效率允许使用高容量网络，并使这些网络能够在更大的数据集上进行训练。目前，自主机器及其机器学习系统在变化的上下文下学习的能力限于具有适度适应灵活性的简单算法。深度学习算法在许多领域提供了技术发展最新水平的精确度，例如面部表情识别；然而，它们缺乏提供上下文相关的解决方案(例如，不是用于训练的数据中的、特定人员的面部表情)的能力以及随时间适应的能力。附图说明在附图中通过举例而非限制的方式示出实施例，其中相同的附图标记指代相似的元件。为了能够详细理解上述特征的方式，可以通过参考实施例来获得上面简要总结的更具体的描述，其中一些实施例在附图中示出。然而，要注意的是，附图仅示出了典型的实施例，因此不应被认为是对其范围的限制，因为附图可以示出其他等效的实施例。图1是示出被配置为实现这里描述的实施例的一个或多个方面的计算机系统的框图。图2A-2D示出了根据实施例的并行处理器组件。图3A-3B是根据实施例的图形多处理器的框图。图4A-4F示出其中多个图形处理单元通信地耦合到多个多核处理器的示例性架构。图5是根据实施例的图形处理管线的概念图。图6示出了根据一个实施例的托管即时深度学习机制的计算设备。图7示出了根据一个实施例的即时深度学习机制。图8A示出根据一个实施例的用于即时学习的方法。图8B示出根据一个实施例的与离线学习的阶段一相关联的方法。图8C-8D图示了根据一个实施例的表示在即时学习中的阶段二的方法。图8E示出根据一个实施例的与联合调谐(jointtuning)、训练和/或重新训练的阶段三相关联的方法。图9A示出了根据一个实施例的与即时学习相关联的各个阶段的事务序列。图9B示出了根据一个实施例的与各个阶段的即时学习相关联的事务序列。图10示出了根据实施例的机器学习软件栈。图11示出了根据实施例的高度并行的通用图形处理单元。图12示出了根据实施例的多GPU计算系统。图13A-13B示出了示例性深度神经网络的层。图14示出了深度神经网络的训练和部署。图15示出了深度神经网络的训练和部署图16是示出分布式学习的框图。图17示出了适合使用经训练的模型进行推理的示例性的推理片上系统(SOC)。图18是具有处理器的计算机系统的实施例的框图，该处理器具有一个或多个处理器核心和图形处理器。图19是具有一个或多个处理器核心、集成存储器控制器和集成图形处理器的处理器的一个实施例的框图。图20是可以是离散图形处理单元或者可以是与多个处理核心集成的图形处理器的一个实施例的框图。图21是用于图形处理器的图形处理引擎的实施例的框图。图22是图形处理器的另一实施例的框图。图23是包括处理元素阵列的线程执行逻辑的框图。图24示出根据实施例的图形处理器执行单元指令格式。图25是包括图形管线、媒体管线、显示引擎、线程执行逻辑和渲染输出管线的图形处理器的另一实施例的框图。图26A是示出根据实施例的图形处理器命令格式的框图。图26B是示出根据实施例的图形处理器命令序列的框图。图27示出根据实施例的用于数据处理系统的示例性图形软件架构。图28是示出根据实施例的可用于制造集成电路以执行操作的IP核心开发系统的框图。图29是示出根据实施例的可以使用一个或多个IP核心制造的示例性片上系统集成电路的框图。图30是示出了片上系统集成电路的示例性图形处理器的框图。图31是示出了片上系统集成电路的附加示例性图形处理器的框图。具体实施方式实施例提供了一种新颖的技术，用于利用事先的有限数据收集并且通过在机器正常操作期间即时地智能采集关于自主机器的用户的有用数据来学习复杂的机器学习模型(深度学习)。目前，深度学习网络使用大量被训练的数据集进行离线训练，因此这些技术缺乏即时的在线学习或训练以及适应新数据的能力。例如，提供了一种新技术，用于使用小的已标记数据集进行离线训练，然后不断适应新传入的未标记数据。该未标记数据可能与已标记数据具有稍微不同的统计数据。可以预期的是，在个人计算系统中的“用户理解”，例如在用户的面部表情识别等情况下在中间件层中，通常使用多个子系统，诸如：1)用户外观的校准(这是一个交互式程序)；以及2)与用户无关的分类器(在采集来自若干用户的数据后离线训练)。实施例提供了用于实时上下文相关深度学习的新颖技术，以实现高度准确且高效的上下文相关解决方案，其实时地(在评分/接口阶段期间)在通用训练和上下文相关训练之间“相互作用(interplay)”。这是通过使用两种截然不同的深度本文档来自技高网...

【技术保护点】
1.一种计算设备上的数据处理系统，所述数据处理系统包括：/n一个或多个存储设备，包括图形执行环境，所述图形执行环境包括用于提供深度学习框架以经由所述计算设备的一个或多个通用图形处理器来加速深度学习操作的指令，所述深度学习框架使所述一个或多个通用图形处理器执行包括以下的操作：/n经由所述框架提取由第一深度神经网络(DNN)模型学习的特征，其中，所述第一DNN模型是针对计算机视觉的预先训练的DNN模型，用于实现输入视频帧内对象的与上下文无关的分类；以及/n经由所述深度学习框架，基于所提取的特征来训练针对计算机视觉的第二DNN模型，所述第二DNN模型是所述第一DNN模型的更新，其中，训练所述第二DNN模型包括基于包括与上下文相关的数据的数据集来训练所述第二DNN模型。/n

【技术特征摘要】
20170505 US 62/502,294;20170726 US 15/659,8181.一种计算设备上的数据处理系统，所述数据处理系统包括：
一个或多个存储设备，包括图形执行环境，所述图形执行环境包括用于提供深度学习框架以经由所述计算设备的一个或多个通用图形处理器来加速深度学习操作的指令，所述深度学习框架使所述一个或多个通用图形处理器执行包括以下的操作：
经由所述框架提取由第一深度神经网络(DNN)模型学习的特征，其中，所述第一DNN模型是针对计算机视觉的预先训练的DNN模型，用于实现输入视频帧内对象的与上下文无关的分类；以及
经由所述深度学习框架，基于所提取的特征来训练针对计算机视觉的第二DNN模型，所述第二DNN模型是所述第一DNN模型的更新，其中，训练所述第二DNN模型包括基于包括与上下文相关的数据的数据集来训练所述第二DNN模型。


2.根据权利要求1所述的数据处理系统，其中，所述深度学习框架使所述通用图形处理器执行操作以将所述第一DNN模型与所述第二DNN模型合并为联合模型。


3.根据权利要求2所述的数据处理系统，其中，所述深度学习框架使所述通用图形处理器执行对所述联合模型的一个或多个参数的联合模型调谐。


4.根据权利要求1所述的数据处理系统，其中，所述深度学习框架用于提供机器学习基元的库，所述机器学习基元经由由所述一个或多个通用图形处理器执行的指令来加速。


5.根据权利要求4所述的数据处理系统，其中，所述机器学习基元的库包括用于执行张量卷积、至少一个激活函数和池化操作的基元。


6.根据权利要求4所述的数据处理系统，其中，所述机器学习基元的库包括用于实现基本线性代数子程序的基元。


7.根据权利要求1所述的数据处理系统，其中，所述图形执行环境是虚拟化环境。


8.根据权利要求7所述的数据处理系统，其中，所述一个或多个通用图形处理器能够配置为分区，并且所述图形执行环境由所述通用图形处理器的一个或多个分区作为虚拟化环境执行。


9.根据权利要求1所述的数据处理系统，还包括：
网络接口，用于实现与外部系统的通信，所述外部系统包括一个或多个通用图形处理器；以及
其中，经由所述深度学习框架训练针对计算机视觉的所述第二DNN模型包括与所述外部系统上的所述深度学习框架的实例进行接合，以及经由所述外部系统的所述一个或多个通用图形处理器来训练所述第二DNN模型。<...

【专利技术属性】
技术研发人员：R·Y·耶海兹克尔罗厄卡尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US