【技术实现步骤摘要】
逻辑节点的多维SBP分布式签名决策系统及其方法
[0001]本公开涉及一种数据处理技术。更具体地说,本公开涉及一种用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统及其方法,从而实现自动并行部署。
技术介绍
[0002]随着分布式计算的普及,大型的作业或大逻辑张量会通过分割而将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理,并在各个部分计算过程需要进行中间参数的交互。这样,在具体作业的处理过程中,部署在一个计算设备上的计算中间参数或结果会称为另一个计算设备上的计算任务的输入数据,这会引起计算设备之间的数据传输开销。在作业数据很大的情况下,这种不同计算设备之间的传输开销对于分布式数据处理系统而言将造成极大的计算负担。为此,本申请专利技术人于2020年02月13向中国专利局提出了申请号为“202010090335.2”名称为“逻辑节点的分布式签名决策系统及其方法”的专利技术申请(公告号CN110955734B),该专利技术专利提出了一种SBP签名决策系统能够从全局角度讲静态分布式数据处理系统在处理数据过程中的不同计算设备之间的数据交换量最小化,从而减少的数据交互过程产生的开销,这样有效地降低了数据交换对实际运算操作带来的不良影响。该专利技术专利将通过引用方式作为本申请的一部分包含在本申请的说明书中。
[0003]但是随着模型越来越大以及待处理数据也越来越大,在单机无法实现模型处理的情况下,一方面通过提高数据处理设备(例如GPU卡)的内存来满足模型过大的情形,但是通常一张16G ...
【技术保护点】
【技术特征摘要】
1.一种用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统,所述SBP分布式签名包括一维SBP分布式签名和多维SBP分布式签名,所述系统包括:初始逻辑节点生成组件,接收用户输入的任务配置数据,生成用于所述分布式数据处理系统的初始逻辑节点拓扑图,其中源逻辑节点具有指定的SBP分布式签名以及每个初始逻辑节点基于所述任务配置数据附有候选SBP分布式签名集合,所述候选SBP分布式签名集合中的每个SBP分布式签名指定了其所属的初始逻辑节点的每个输入逻辑张量的分布式描述符以及每个输出逻辑张量的分布式描述符;以及第一维度SBP分布式签名选择组件,根据每个已经确定SBP分布式签名的上游逻辑节点的输出端的分布式描述符,针对当前逻辑节点的每一个候选SBP分布式签名,基于每个上游逻辑节点将要并行分布的设备集的数据量、当前逻辑节点将要并行分布的设备集的数据量以及每个上游逻辑节点分布在每个设备上的逻辑张量的大小,计算将每个上游逻辑节点输出端的逻辑张量的分布式描述符变换为当前逻辑节点的对应输入端的逻辑张量的第一维度分布式描述符所需的传输数据的代价,并选择与代价最小值所对应的含有所述第一维度分布式描述符的一个或多个候选SBP分布式签名作为所述当前逻辑节点的候选SBP分布式签名子集,所述第一维度分布式描述符描述了所述对应输入端的逻辑张量的并行方式;以及,第二维度SBP分布式签名选择组件,比较所述当前逻辑节点将要并行分布的设备集的每一个计算设备的实际计算资源以及处理按照所述第一维度分布式描述符所确定的对应输入端的逻辑张量和结果逻辑张量所需的计算资源之间的大小,并在所需的计算资源大于实际计算资源时,从所述候选SBP分布式签名子集中选择含有第一输入端的第一逻辑张量的第二维度分布式描述符和/或其他输入端的其它逻辑张量的第二维度分布式描述符的候选SBP分布式签名作为所述当前逻辑节点的确定SBP分布式签名,其中所述确定SBP分布式签名的第一输入端的逻辑张量的第二维度分布式描述符为分割逻辑张量描述符,含有第一逻辑张量将在第一维度分布式描述符所描述的分布的基础上被分割成多个第一分片逻辑张量的预定数量,以及其他逻辑张量的第二维度分布式描述符为广播逻辑张量分布描述符,并含有指定其他逻辑张量将被重复广播的重复次数,其中所述预定数量等于所述预定次数,并且所述当前逻辑节点处理每个第一分片逻辑张量、其他输入端的逻辑张量以及由此获得的结果分片张量所需的计算资源小于每一个计算设备的实际计算资源。2.根据权利要求1所述的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统,其中第一逻辑张量为数据逻辑张量,而其他逻辑张量之一为模型逻辑张量。3.根据权利要求1所述的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统,其中第一逻辑张量为模型逻辑张量,而其他逻辑张量为数据逻辑张量。4.根据权利要求1所述的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统,其中输入端的逻辑张量都为数据逻辑张量。5.根据权利要求1所述的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统,其中第一逻辑张量所需的计算资源量大于其他输入端的其它逻辑张量之一所需的计算资源量。6.根据权利要求1所述的用于多级分布式数据处理系统的逻辑节点的多维SBP分布式签名决策系统,其中所述分布式数据处理系统还包括计算图生成组件,用于基于由获得确
定SBP分布式 签名的逻辑节点构成逻辑节点拓扑图生成任务逻辑计算图,其中当前逻辑节点对应的计算节点的第一输入端之前插入分割计算节点、在其它输入端之前插入重复广播计算节点以及在输出端之后插入集结计算节点。7.一种用...
【专利技术属性】
技术研发人员:李新奇,柳俊丞,李一鹏,袁进辉,
申请(专利权)人:北京一流科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。