用于人工智能建模的动态多层执行制造技术

本文中所描述的方法、系统、装置和计算机程序产品支持大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行，该参数服务器存储AI模型的主副本。AI模型可以被分解成较小的部分(例如，层或子层)，并且每个部分可以在目标设备上尽可能高效地执行。在AI模型的一部分的执行完成之后，可以在目标设备处下载并执行AI模型的另一部分。一次执行AI模型的一部分的该范例允许大型AI模型的动态执行。的一部分的该范例允许大型AI模型的动态执行。的一部分的该范例允许大型AI模型的动态执行。

【技术实现步骤摘要】
【国外来华专利技术】用于人工智能建模的动态多层执行

技术介绍

[0001]人工智能对现代社会的很多方面已具有巨大影响。机器学习(采用数学算法来处理大型数据集的人工智能的子集)在商业应用中越来越受欢迎，并且越来越多地出现在消费者产品中。深度学习是机器学习的一个分支，其基于用于对数据中的高级抽象进行建模的算法。人工智能的很多应用都是由深度学习驱动的，诸如自然语言处理、语音识别和图像分析。
[0002]然而，存在阻碍深度学习被广泛采用的很多挑战。这些挑战包括管理大型数据集的复杂性以及训练深度学习网络所需要的大量时间和资源。例如，语音识别程序可能需要来自多种方言和人口统计数据的数据，其中可能包括单一语言的数太字节的数据。可以通过参数的数目表示深度神经网络(DNN)的复杂性，使得所存在的参数越多，DNN就越复杂。另外，优化超参数(在人工智能(AI)模型的学习过程开始之前定义的参数)可能极大地影响AI模型的性能。更进一步，需要大量的计算能力来处理用于训练这样的AI模型的大量数据。
[0003]在深度学习中，某些种类的AI模型可能需要具有高存储器容量的GPU(图形处理单元)的处理能力。为了提高吞吐量，多个GPU可以以数据并行方式运行，这通常需要同步分别存储在不同GPU中的数亿到数十亿个参数。该方法可能会受到GPU的存储器容量的限制，并且可能无法实现GPU的最大计算效率。

技术实现思路

[0004]本
技术实现思路
被提供来以简化形式介绍下面在具体实施方式中进一步描述的概念的选择。本
技术实现思路
不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。
[0005]本文中描述了支持任意大型AI模型在被通信地连接到参数服务器的存储器受限目标设备上的执行的方法、系统、装置和计算机程序产品。特别地，示例实施例提供了一种用于AI建模的动态执行的过程。
[0006]特别地，本文中描述了包括通信地连接到目标设备的参数服务器的方法、系统、装置和计算机程序产品，该参数服务器包括：数据管理器，被配置为存储AI模型的主副本；批次管理器，被配置为确定适合目标设备的微批次大小；传输器，被配置为向目标设备传输AI模型的一部分；输出数据管理器，被配置为从目标设备接收输出数据，输出数据是通过在目标设备处在AI模型的传输部分的子部分上执行数据集的微批次集合而生成的；以及模型评估器，被配置为基于一个或多个度量来评估AI模型以确定是否需要对AI模型执行的任何变化。
[0007]下面参考附图详细地描述其他特征和优点、以及各种示例的结构和操作。注意，构思和技术不限于本文中所描述的特定示例。这样的示例在本文中仅出于说明性的目的而呈现。基于本文中所包含的教导，附加的示例对于相关领域技术人员而言将是显而易见的。
附图说明
[0008]并入本文中并形成说明书的一部分的附图示出了本申请的实施例，并且与描述一起进一步用于解释实施例的原理并使得相关领域的技术人员能够做出并使用实施例。
[0009]图1是根据示例实施例的支持任意大型AI模型在存储器受限目标设备上的执行的系统的框图。
[0010]图2示出了根据示例实施例的提供在正向传递期间在存储器受限设备上运行AI模型的过程的流程图。
[0011]图3示出了根据示例实施例的提供在反向传递期间在存储器受限设备上运行AI模型的过程的流程图。
[0012]图4示出了根据示例实施例的表示通过机器学习模型的正向传递的表。
[0013]图5示出了根据示例实施例的表示通过机器学习模型的反向传递的表。
[0014]图6示出了根据示例实施例的提供参数服务器处的在存储器受限设备上运行AI模型的过程的流程图。
[0015]图7示出了根据示例实施例的提供参数服务器处的在正向传递期间生成激活的过程的流程图。
[0016]图8示出了根据示例实施例的提供参数服务器处的更新AI模型的过程的流程图。
[0017]图9示出了根据示例实施例的示出系统中的多级并行的参数缩减的框图。
[0018]图10示出了根据示例实施例的多级并行的参数缩减的时序图。
[0019]图11示出了根据示例实施例的提供系统中的并行的参数缩减的过程的流程图。
[0020]图12示出了根据示例实施例的提供AI模型的混合精度训练的过程的流程图。
[0021]图13示出了根据示例实施例的提供使用多个目标设备来训练AI模型的过程的流程图。
[0022]图14示出了根据示例实施例的提供AI建模的动态执行的过程的流程图。
[0023]图15示出了根据示例实施例的提供确定AI建模的动态执行的计算精度的过程的流程图。
[0024]图16示出了根据示例实施例的提供基于AI模型的准确度来确定是停止还是继续AI模型的执行的过程的流程图。
[0025]图17是可以在其中实现实施例的示例计算机系统的框图。
[0026]通过下面在结合附图时阐述的具体实施方式，实施例的特征和优点将变得更显而易见，在附图中，类似的附图标记自始至终标识对应的元素。在附图中，类似的附图标记通常表示相同、功能相似和/或结构相似的元素。由对应的附图标记中最左边的(多个)数字指示元素第一次出现的附图。
具体实施方式
[0027]I.简介
[0028]以下具体实施方式公开了很多实施例。本专利申请的范围不限于所公开的实施例，还包括所公开的实施例的组合、以及对所公开的实施例的修改。
[0029]在说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可能不一定包括特定的特征、结构
或特性。此外，这样的短语不一定指代相同的实施例。此外，当结合实施例描述特征、结构或特性时，认为与其他实施例(无论是否明确描述)相结合来实现这样的特征、结构或特性在本领域技术人员的知识范围内。
[0030]在讨论中，除非另有说明，否则诸如“基本上”、“近似”和“大约”之类的修饰表示本公开的实施例的一个或多个特征的条件或关系特性的形容词被理解为表示条件或特性被定义为在针对其预期应用的实施例的操作可接受的容差内。
[0031]很多示例性实施例被如下地描述。注意，本文中所提供的任何节/小节标题无意为限制性的。贯穿本文档描述了实施例，并且任何类型的实施例可以被包括在任何节/小节下。此外，任何节/小节中所公开的实施例可以以任何方式与相同节/小节和/或不同节/小节中所描述的任何其他实施例组合。
[0032]II.示例实施例
[0033]本文中所描述的示例实施例是出于说明性目的而提供的，并且不是限制性的。本文中所描述的示例可以适用于任何类型的目标爬取系统。通过本文中的教导，另外的结构和操作实施例(包括修改/改变)对于相关领域的技术人员而言将变得显而易见。
[0034]深度学习有很多应用，包括自然语言处理、语音识别、图像分析、机器翻译、照片中的对象分类和检测、自动手写生成、自动游戏、生成模型聊天机器人。深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：参数服务器，通信地连接到目标设备，所述参数服务器包括：数据管理器，被配置为存储人工智能(AI)模型的主副本；批次管理器，被配置为确定适合于所述目标设备的微批次大小；传输器，被配置为向所述目标设备传输所述AI模型的一部分；输出数据管理器，被配置为从所述目标设备接收输出数据，所述输出数据是通过在所述目标设备处在所述AI模型的所传输的所述部分的子部分上执行数据集的微批次集合而被生成的；以及模型评估器，被配置为基于一个或多个度量来评估所述AI模型以确定是否需要对所述AI模型执行的任何变化。2.根据权利要求1所述的系统，其中执行所述微批次集合用于推理或用于训练所述AI模型。3.根据权利要求1所述的系统，其中所述微批次集合包括多个微批次，所述多个微批次被配置为按顺序执行，所述微批次集合形成迷你批次，所述迷你批次包括每次更新的用于训练的若干样本或者每个推理周期中提供的用于推理的若干样本。4.根据权利要求1所述的系统，其中所述一个或多个度量包括针对所述AI模型的所传输的所述部分的所述子部分的梯度和权重的精度统计。5.根据权利要求4所述的系统，其中所述参数服务器还包括精度格式化器，所述精度格式化器被配置为确定要应用于执行下一微批次集合的计算精度。6.根据权利要求1所述的系统，其中所述一个或多个度量包括所述AI模型的准确度测量。7.根据权利要求6所述的系统，其中所述参数服务器还包括模型评估器，所述模型评估器被配置为：当所述AI模型的所述准确度度量超过预定阈值时，停止所述AI模型的执行；或者当所述AI模型的所述准确度度量未超过所述预定阈值时，继...

【专利技术属性】
技术研发人员：B，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：