包括参数服务器的分布式训练系统被配置为根据聚类算法来压缩权重度量，然后权重矩阵的压缩表示可以被分发给训练工作方。压缩表示可以包括矩心索引矩阵和矩心表，其中矩心索引矩阵的每个元素对应于对应的权重矩阵的元素并且包括对矩心表的索引，并且其中矩心表的每个元素包括矩心值。在另外的示例方面，通过执行聚集缩减相加操作，该聚集缩减相加操作累加与同一矩心值相对应的训练数据矩阵的所有元素以生成部分总和，将每个部分总和乘以其对应矩心值，并且对生成乘积求和，训练工作方可以直接从权重矩阵和训练数据矩阵的压缩表示来计算激活结果。计算激活结果。计算激活结果。
【技术实现步骤摘要】
【国外来华专利技术】训练深度神经网络时的利用压缩权重的直接计算
技术介绍
[0001]深度神经网络(DNN)是在输入层与输出层之间具有多个层的人工神经网络(ANN)。当前对于DNN的趋势是尺寸越来越大，并且当前DNN可能由数百万个参数表征，每个参数都以32位浮点数据格式表示。训练这样的DNN可能具有挑战性，因为实现可扩展解决方案可能很困难或不可能。典型的解决方案试图通过利用多个训练工作方(worker)来开发数据、模型和/或数据模型并行性，每个工作方与其他工作方并行工作。实现这样的解决方案的系统可以利用逻辑上和/或物理上分离的训练工作方，并且通常被称为分布式训练系统。
[0002]分布式训练系统通常通过负责将训练问题分成离散作业的中央服务器(或多个服务器)起作用，每个作业适合由单个训练工作方进行计算。每个作业随后被分发给工作方用于计算，工作方在完成后将计算结果发送回服务器。分布式训练系统允许轻松扩展计算能力，因为增加计算能力只需要增加更多的训练工作方。然而，协调多个训练工作方的活动所需要的通信带宽没有以相同的速度扩展。
[0003]数据压缩技术可以应用于系统服务器与训练工作方之间的通信以减少开销并且提高可扩展性。虽然数据压缩有助于减少通信开销和带宽要求，但每个工作方的进一步任务是解压缩所接收的数据。
技术实现思路
[0004]提供本
技术实现思路
以便以简化的形式介绍在以下“具体实施方式”中进一步描述的概念的选择。本
技术实现思路
不旨在确定所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。
[0005]提供方法、系统和计算机程序产品以提高深度神经网络的训练和深度神经网络生成推理的效率。在示例方面，提供了参数服务器和多个训练工作方，其中训练工作方被配置为利用压缩权重表示来直接执行训练。在另一方面，1)参数服务器初始化权重矩阵并且生成其压缩表示；2)每个工作方接收训练数据(即，用于训练目的的DNN输入数据，而不是生成推理)和权重矩阵的(多个)压缩表示，并且使用前向和后向路径来计算梯度矩阵，3)每个工作方将所计算的梯度矩阵传输回到参数服务器，参数服务器更新全局权重矩阵，4)参数服务器压缩所更新的全局权重矩阵并且将它们传输到每个工作方，5)每个训练工作方利用新的训练数据从2)处重新开始并且计算梯度矩阵，直到损失收敛，并且直接使用所接收的压缩矩阵这样做。
[0006]在另外的示例方面，参数服务器被配置为根据聚类算法来压缩权重度量，由此将权重矩阵中的权重值分组成簇，其中簇矩心(centroid)此后可以表示该簇中的每个元素的权重。此后可以将权重矩阵的压缩表示分发给训练工作方。
[0007]在另一示例方面，权重矩阵的压缩表示可以包括矩心索引矩阵和矩心表，其中矩心索引矩阵的每个元素对应于对应权重矩阵的元素并且包括对矩心表的索引，并且其中矩心表的每个元素包括矩心值。
[0008]在另外的示例方面，通过执行聚集缩减相加(gather
‑
reduce
‑
add)操作，该聚集缩
减相加操作累加与同一矩心值相对应的训练数据矩阵的所有元素以生成部分总和，将每个部分总和乘以其对应矩心值，并且对生成乘积求和，训练工作方可以直接从权重矩阵和训练数据矩阵的压缩表示来计算激活结果。
[0009]下面参考附图详细描述其他特征和优点、以及各种示例的结构和操作。注意，构思和技术不限于本文中所描述的具体示例。这样的示例在本文中被呈现仅用于说明目的。基于本文中所包含的教导，其他示例对于(多个)相关领域的技术人员将是明显的。
附图说明
[0010]并入本文中并且形成说明书的部分的附图示出了本申请的实施例，并且与说明书一起进一步用于解释实施例的原理并且使相关领域的技术人员能够制作和使用实施例。
[0011]图1描绘了根据实施例的示例分布式训练系统的框图，该示例分布式训练系统包括权重压缩器的参数服务器和包括直接激活结果计算器的训练工作方。
[0012]图2描绘了根据实施例的示例权重压缩器的详细示意图。
[0013]图3描绘了根据实施例的示例权重矩阵和权重矩阵的对应示例压缩表示的示意图。
[0014]图4描绘了根据实施例的包含示例直接激活结果计算器的示例训练工作方的详细框图视图。
[0015]图5描绘了图示根据实施例的用于直接从压缩表示生成激活结果的过程流程的图。
[0016]图6描绘了根据实施例的用于直接从权重矩阵的压缩表示生成激活结果的示例方法的流程图。
[0017]图7描绘了根据实施例的包括示例压缩表示实现的、对图7的流程图的改进的流程图。
[0018]图8描绘了根据实施例的用于生成多个部分总和的、对图8的流程图的改进的流程图。
[0019]图9描绘了根据实施例的包括用于生成乘积集的示例实现、对图9的流程图的改进的流程图。
[0020]图10描绘了根据实施例的适用于深度神经网络(“DNN”)的示例人工神经元。
[0021]图11描绘了根据实施例的由人工神经元组成的示例DNN。
[0022]图12是可以在其中实现实施例的示例计算机系统的框图。
[0023]实施例的特征和优点将从下面结合附图阐述的详细描述中变得更加明显，其中相同的附图标记始终标识对应的元素。在附图中，相似的附图标记通常表示相同、功能相似和/或结构相似的元素。元素第一次出现的图由对应附图标记中最左边的(多个)数字表示。
具体实施方式
[0024]I.简介
[0025]本说明书和附图公开了包含本专利技术的特征的一个或多个实施例。本专利技术的范围不限于所公开的实施例。所公开的实施例仅用于例示本专利技术，所公开的实施例的修改版本也包含在本专利技术中。本专利技术的实施例由所附权利要求限定。
[0026]说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不必然包括特定特征、结构或特性。此外，这些短语不必然指代相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，认为与其他实施例(无论是否明确描述)相结合实现这样的特征、结构或特性在本领域技术人员的知识范围内。
[0027]此外，应当理解，本文中使用的空间描述(例如，“上方”、“下方”、“上”、“左”、“右”、“下”、“顶部”、“底部”、“垂直”、“水平”等)仅用于说明目的，并且本文中所描述的结构的实际实现可以以任何定向或方式在空间上布置。
[0028]在讨论中，除非另有说明，否则诸如“基本上”和“大约”等修饰本公开的实施例的一个或多个特征的条件或关系特性的形容词应当理解为意味着条件或特性被限定为在对于其所预期的应用的实施例的操作可接受的公差内。
[0029]很多示例性实施例描述如下。注意，本文中提供的任何节/小节标题不旨在进行限制。贯穿本文档描述了实施例，并且任何类型的实施例可以被包括在任何节/小节下。此外，在任何节/小节中公开的实施例可以以任何方式与在相同节/小节和/或不同节/小本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种用于生成针对深度神经网络(“DNN”)层的至少一部分的激活结果的激活结果生成系统，包括：一个或多个处理器；以及所述一个或多个处理器可访问的一个或多个存储器设备，所述一个或多个存储器设备存储用于由所述一个或多个处理器执行的软件组件，所述软件组件包括：部分总和生成组件，被配置为：接收权重矩阵和输入矩阵的压缩表示，所述输入矩阵具有输入元素，所述输入元素是到所述DNN层的至少一部分的输入值，以及生成多个部分总和，每个部分总和包括所述输入矩阵中与所述压缩表示中所包括的公共权重值集的公共权重值相对应的输入值的总和；乘积生成组件，被配置为基于所述多个部分总和与所述公共权重值集来生成乘积集；以及激活结果生成组件，被配置为通过对所述乘积集的乘积求和来生成所述激活结果。2.根据权利要求1所述的激活结果生成系统，其中所述部分总和生成组件还被配置为：通过接收矩心索引矩阵和矩心表来接收权重矩阵和输入矩阵的压缩表示，所述矩心索引矩阵包括包含矩心索引值的多个条目，每个矩心索引值包括对所述矩心表的索引，并且所述矩心表包括作为所述公共权重值的多个矩心值。3.根据权利要求2所述的激活结果生成系统，其中所述部分总和生成组件还被配置为通过以下方式生成每个部分总和来生成多个部分总和：选择所述矩心值的矩心索引值，以及对所述输入矩阵中的、在所述矩心索引矩阵中具有包含所选择的所述矩心索引值的对应条目的所述输入元素求和。4.根据权利要求3所述的激活结果生成系统，其中所述乘积生成组件还被配置为：通过将所述多个部分总和的每个部分总和乘以具有被选择用于所述部分总和的生成的所述矩心索引值的所述矩心表中的所述矩心值，以基于所述多个部分总和与所述公共权重值集来生成乘积集。5.根据权利要求1所述的激活结果生成系统，其中所述激活结果是所述DNN的下一层的输入。6.根据权利要求1所述的激活结果生成系统，其中所述激活结果用于反向传播所述D...
【专利技术属性】
技术研发人员：奚锦文，B，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。