逻辑节点的多维SBP分布式签名决策系统及其方法技术方案

本发明专利技术公开了一种用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统，所述SBP分布式签名包括一维SBP分布式签名和多维SBP分布式签名，所述系统包括：初始逻辑节点生成组件，生成附有候选SBP分布式签名集合的初始逻辑节点拓扑图；第一维度SBP分布式签名选择组件，基于所计算的传输代价选择与代价最小值所对应的含有所述第一维度分布式描述符的一个或多个候选SBP分布式签名作为当前逻辑节点的候选SBP分布式签名子集；以及第二维度SBP分布式签名选择组件，选择含有第一输入端的第一逻辑张量的第二维度分布式描述符和/或其他输入端的其它逻辑张量的第二维度分布式描述符的候选SBP分布式签名作为所述当前逻辑节点的确定SBP分布式签名。逻辑节点的确定SBP分布式签名。逻辑节点的确定SBP分布式签名。

【技术实现步骤摘要】
逻辑节点的多维SBP分布式签名决策系统及其方法


[0001]本公开涉及一种数据处理技术。更具体地说，本公开涉及一种用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统及其方法，从而实现自动并行部署。

技术介绍

[0002]随着分布式计算的普及，大型的作业或大逻辑张量会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，并在各个部分计算过程需要进行中间参数的交互。这样，在具体作业的处理过程中，部署在一个计算设备上的计算中间参数或结果会称为另一个计算设备上的计算任务的输入数据，这会引起计算设备之间的数据传输开销。在作业数据很大的情况下，这种不同计算设备之间的传输开销对于分布式数据处理系统而言将造成极大的计算负担。为此，本申请专利技术人于2020年02月13向中国专利局提出了申请号为“202010090335.2”名称为“逻辑节点的分布式签名决策系统及其方法”的专利技术申请（公告号CN110955734B），该专利技术专利提出了一种SBP签名决策系统能够从全局角度讲静态分布式数据处理系统在处理数据过程中的不同计算设备之间的数据交换量最小化，从而减少的数据交互过程产生的开销，这样有效地降低了数据交换对实际运算操作带来的不良影响。该专利技术专利将通过引用方式作为本申请的一部分包含在本申请的说明书中。
[0003]但是随着模型越来越大以及待处理数据也越来越大，在单机无法实现模型处理的情况下，一方面通过提高数据处理设备（例如GPU卡）的内存来满足模型过大的情形，但是通常一张16G的GPU卡的价格要比两张8G的GPU卡的价格还要贵一倍。因此一味提高单机的内存资源是不合算的。因此在有些场景模型太大以至于使用数据并行通信开销太大，或者模型超过GPU显存容量，这种情况必须对模型进行切分，每个设备上只完成一部分模型对应的计算，这称为模型并行。人们通常通过将模型并行方式采用两张或多张内存资源较小的GPU卡来满足模型较大的情况，即进行模型并行的方式满足数据处理的需要。模型并行时不需要在设备间同步模型，但需要在设备间同步数据。当前绝大部分深度学习框架不支持模型并行，或者支持比较弱，需要非常微妙的调整才能高效执行，因此都需要人为经过反复的调试。尽管如此，反复调试的结果也不尽人意。模型并行是业界公认的难题。除了模型并行本身比较复杂之外，模型并行模块与其它并行模式的协同也非常复杂，需要小心的管理上下游之间的数据传输（路由）。而且多数情况下，模型并行带来的通信开销和同步消耗超过数据并行，因此加速比也不及数据并行。但对于单机内存无法容纳的大模型来说，模型并行是一个很好的选择。另一方面，在待处理数据规模也比较大的情况下，也需要通过数据并行来满足需要。但是同时进行模型并行和数据并行的混合并行，目前很多深度学习框架都无法自动实现，因此人们依然需要通过追求大容量的GPU卡来解决并行处理问题，并且在具有大容量的GPU卡的情况下，为了降低人员的劳动量，通常依然选择单一的数据并行方式或模型并行方式来实现数据处理的目的。
[0004]而要兼顾大规模数据和大规模模型情形的，采用混合并行，则更为困难。以相邻的
两层神经网络为例，如果第一个层次使用数据并行，第二个层次使用模型并行，那么在前向计算时，就需要把数据并行部分的结果经过拷贝（Copy）, Concat 两层路由汇总到模型并行的两个设备上去，如果前后两层在不同的计算设备上执行，那么还需要通过跨机通信。如果这些复杂的数据路由需要用户手工参与管理，那么一方面过于复杂（想象一下数据并行和模型并行的各种组合模式），另一方面极易出错。在理想的情况，这些复杂性应该由深度学习平台来处理，但非常可惜，现有已开源的深度学习平台都不支持这一功能。
[0005]因此，人们期望获得一种在小容量GPU卡的分布式计算资源前提下，实现大规模模型和数据处理的技术方案，这样一方面可以实现模型并行，另一方面又能满足与在模型并行情形下同时进行数据并行相同的数据处理效果，并且能够自动实现并行部署。

技术实现思路

[0006]为此，基于本申请的专利技术人提出的SBP签名决策系统，为解决上述我技术问题提供了可能。本申请提出了一种用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统，所述SBP分布式签名包括一维SBP分布式签名和多维SBP分布式签名，所述系统包括：初始逻辑节点生成组件，接收用户输入的任务配置数据，生成用于所述分布式数据处理系统的初始逻辑节点拓扑图，其中源逻辑节点具有指定的SBP分布式签名以及每个初始逻辑节点基于所述任务配置数据附有候选SBP分布式签名集合，所述候选SBP分布式签名集合中的每个SBP分布式签名指定了其所属的初始逻辑节点的每个输入逻辑张量的分布式描述符以及每个输出逻辑张量的分布式描述符；以及第一维度SBP分布式签名选择组件，根据每个已经确定SBP分布式签名的上游逻辑节点的输出端的分布式描述符，针对当前逻辑节点的每一个候选SBP分布式签名，基于每个上游逻辑节点将要并行分布的设备集的数据量、当前逻辑节点将要并行分布的设备集的数据量以及每个上游逻辑节点分布在每个设备上的逻辑张量的大小，计算将每个上游逻辑节点输出端的逻辑张量的分布式描述符变换为当前逻辑节点的对应输入端的逻辑张量的第一维度分布式描述符所需的传输数据的代价，并选择与代价最小值所对应的含有所述第一维度分布式描述符的一个或多个候选SBP分布式签名作为所述当前逻辑节点的候选SBP分布式签名子集，所述第一维度分布式描述符描述了所述对应输入端的逻辑张量的并行方式；以及第二维度SBP分布式签名选择组件，比较所述当前逻辑节点将要并行分布的设备集的每一个计算设备的实际计算资源以及处理按照所述第一维度分布式描述符所确定的对应输入端的逻辑张量和结果逻辑张量所需的计算资源之间的大小，并在所需的计算资源大于实际计算资源时，从所述候选SBP分布式签名子集中选择含有第一输入端的第一逻辑张量的第二维度分布式描述符和/或其他输入端的其它逻辑张量的第二维度分布式描述符的候选SBP分布式签名作为所述当前逻辑节点的确定SBP分布式签名，其中所述确定SBP分布式签名的第一输入端的逻辑张量的第二维度分布式描述符为分割逻辑张量描述符，含有第一逻辑张量将在第一维度分布式描述符所描述的分布的基础上被分割成多个第一分片逻辑张量的预定数量，以及其他逻辑张量的第二维度分布式描述符为广播逻辑张量分布描述符，并含有指定其他逻辑张量将被重复广播的重复次数，其中所述预定数量等于所述预定次数，并且所述当前逻辑节点处理每个第一分片逻辑张量、其他输入端的逻辑张量以及由此获得的结果分片张量所需的计算资源小于每一个计算设备的实际计算资源。
[0007]根据本公开的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统，其中第一逻辑张量为数据逻辑张量，而其他逻辑张量之一为模型逻辑张量。
[0008]根据本公开的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统，其中第一逻辑张量为模型逻辑张量，而其他逻辑张量为数据逻辑张量。
[0009]根据本公开的用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统，所述SBP分布式签名包括一维SBP分布式签名和多维SBP分布式签名，所述系统包括：初始逻辑节点生成组件，接收用户输入的任务配置数据，生成用于所述分布式数据处理系统的初始逻辑节点拓扑图，其中源逻辑节点具有指定的SBP分布式签名以及每个初始逻辑节点基于所述任务配置数据附有候选SBP分布式签名集合，所述候选SBP分布式签名集合中的每个SBP分布式签名指定了其所属的初始逻辑节点的每个输入逻辑张量的分布式描述符以及每个输出逻辑张量的分布式描述符；以及第一维度SBP分布式签名选择组件，根据每个已经确定SBP分布式签名的上游逻辑节点的输出端的分布式描述符，针对当前逻辑节点的每一个候选SBP分布式签名，基于每个上游逻辑节点将要并行分布的设备集的数据量、当前逻辑节点将要并行分布的设备集的数据量以及每个上游逻辑节点分布在每个设备上的逻辑张量的大小，计算将每个上游逻辑节点输出端的逻辑张量的分布式描述符变换为当前逻辑节点的对应输入端的逻辑张量的第一维度分布式描述符所需的传输数据的代价，并选择与代价最小值所对应的含有所述第一维度分布式描述符的一个或多个候选SBP分布式签名作为所述当前逻辑节点的候选SBP分布式签名子集，所述第一维度分布式描述符描述了所述对应输入端的逻辑张量的并行方式；以及，第二维度SBP分布式签名选择组件，比较所述当前逻辑节点将要并行分布的设备集的每一个计算设备的实际计算资源以及处理按照所述第一维度分布式描述符所确定的对应输入端的逻辑张量和结果逻辑张量所需的计算资源之间的大小，并在所需的计算资源大于实际计算资源时，从所述候选SBP分布式签名子集中选择含有第一输入端的第一逻辑张量的第二维度分布式描述符和/或其他输入端的其它逻辑张量的第二维度分布式描述符的候选SBP分布式签名作为所述当前逻辑节点的确定SBP分布式签名，其中所述确定SBP分布式签名的第一输入端的逻辑张量的第二维度分布式描述符为分割逻辑张量描述符，含有第一逻辑张量将在第一维度分布式描述符所描述的分布的基础上被分割成多个第一分片逻辑张量的预定数量，以及其他逻辑张量的第二维度分布式描述符为广播逻辑张量分布描述符，并含有指定其他逻辑张量将被重复广播的重复次数，其中所述预定数量等于所述预定次数，并且所述当前逻辑节点处理每个第一分片逻辑张量、其他输入端的逻辑张量以及由此获得的结果分片张量所需的计算资源小于每一个计算设备的实际计算资源。2.根据权利要求1所述的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统，其中第一逻辑张量为数据逻辑张量，而其他逻辑张量之一为模型逻辑张量。3.根据权利要求1所述的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统，其中第一逻辑张量为模型逻辑张量，而其他逻辑张量为数据逻辑张量。4.根据权利要求1所述的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统，其中输入端的逻辑张量都为数据逻辑张量。5.根据权利要求1所述的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统，其中第一逻辑张量所需的计算资源量大于其他输入端的其它逻辑张量之一所需的计算资源量。6.根据权利要求1所述的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统，其中所述分布式数据处理系统还包括计算图生成组件，用于基于由获得确
定SBP分布式 签名的逻辑节点构成逻辑节点拓扑图生成任务逻辑计算图，其中当前逻辑节点对应的计算节点的第一输入端之前插入分割计算节点、在其它输入端之前插入重复广播计算节点以及在输出端之后插入集结计算节点。7.一种用...

【专利技术属性】
技术研发人员：李新奇，柳俊丞，李一鹏，袁进辉，
申请(专利权)人：北京一流科技有限公司，
类型：发明
国别省市：