用于在高度分布式数据处理系统中自动且动态地将对于任务的责任分配给可用的计算组件的方法技术方案

技术编号:20881955 阅读:16 留言:0更新日期:2019-04-17 13:12
本发明专利技术涉及一种用于在高度分布式数据处理系统中自动且动态地将对于任务的责任分配给可用的计算组件的方法。本发明专利技术涉及一种方法,借助于该方法,对于特定任务(分割部分)的责任的分配适合于高度分布式数据处理系统。

【技术实现步骤摘要】
【国外来华专利技术】用于在高度分布式数据处理系统中自动且动态地将对于任务的责任分配给可用的计算组件的方法本专利技术涉及一种用于在高度分布式数据处理系统中将任务分配给可用的计算组件的方法。
技术介绍
在其中多个计算机组件贡献它们自己的数据处理和存储部分的分布式数据处理系统中,对于要处理的事务子集和要存储的数据子集的明确责任,即对于要实施的任务的责任,必须分配给各个组件。因此,使用分割技术将数据总量和事务总量分解为子集(部分、分割部分(partition,部分、分割、分区))。在该过程中,每个请求和每个数据项(即每项任务)被分派来自有限范围的值的唯一编号(散列值),并且限定从任何给定散列值到负责组件的映射。然后,该组件负责处理请求和/或存储数据项。由于需要区分不同的责任,例如:数据和索引,系统中需要多组责任装置。数据处理系统的所有组件必须能够确定负责任务的组件,以便触发在那里处理和存储。众所周知,使用(从...到…)值范围限定分割,这允许灵活和详细的分割。缺点是需要在系统中的所有组件中保持一致的路由表,否则对这些值范围的改变将导致错误分派。在高度分布式系统中,这种一致的路由表提出了特殊的挑战。因此,为了一致地分配所涉及的组件的分割,甚至在路由表的更新不一致的情况下,需要替代的分割程序。
技术实现思路
本专利技术的目的是提出一种方法,使用该方法,在高度分布式数据处理系统中,对处理的数据的特定子集(分割部分、任务)的责任的分派自动且动态地适合于可用的计算组件。本专利技术的另外的目的是分割任务,使得可以将有效的算法应用于冗余副本的同步。根据本专利技术,该目的通过根据权利要求1的方法实现。本专利技术的有利配置从从属权利要求得出。基于附图中示出的示例性实施方式更详细地解释本专利技术,附图以示意图的形式示出了根据本专利技术的方法的顺序。根据本专利技术,在用于在高度分布式数据处理系统中通过在处置任务的源组件QZ将任务分配给可用的计算组件的方法中,根据需要对该任务进行分割,并且将由此获得的子任务的一部分授权给附加计算组件ZZ。例如,当因为处于分割部分的数据量太高或者太多的访问请求在进行而需要释放计算组件时,在数据处理系统中触发任务(分割)划分。在转移期间必须保证所涉及的计算机组件正确处理受影响的任务。为每个计算组件分配控制单元,该控制单元完成对多个组件的管理任务。随后将负责源组件的控制单元指定为源管理器QM。此单元是分割过程的触发(器)。要从源组件接管任务的目标组件是由另外的控制单元(目标管理器ZM)管理。由于每个控制单元可以管理多个组件,因此源管理器QM和目的地管理器ZM也可以由一个控制组件实现。可以例如基于这些组件的物理或虚拟位置来实施将组件分配给控制单元,使得例如一个控制单元负责虚拟或物理主机上的所有组件。每台服务器的组件及它们的控制单元的数量取决于其性能能力。根据本专利技术的方法的顺序如下:第一步包括认识到任务分割的需要。有许多不同的可能触发因素:-存在没有分配的分割部分的目标组件,-在两个组件之间分派的分割部分在大小上的显著差异,-按访问请求(TPS负载)的单独组件的过载,-由于存储的对象(存储)导致的单独组件的过分配。如果通过负责控制组件——源管理器QM——已经检测到一个这样的触发因素,则在下一步骤中识别潜在的目标组件ZZ。用于检测触发因素的控制组件的信息源主要是数据处理系统的任务路由表,其存在于所有组件中并且例如基于流言传播(Gossip)协议分布,以及由组件报告存储器和CPU分配。任务路由表包含所有组件的分割部分,并且因此可以根据大小对这些分割部分进行排序。在按总分割部分大小排序的组件列表中,可以将最大的与最小的进行比较,并且然后决定是否需要对任务进行分割。为了以并行并以分布式方式实施该操作,同时检查具有大的总分割部分的多个组件和具有小的总分割部分的多个组件作为潜在的候选者,其中它总是发起该过程的负责源组件QZ的控制单元QM。例如,如果在系统中识别出没有任务的组件,则在没有任何另外条件的情况下,识别出具有高于平均大小的任务(分割部分)的另一组件并请求分割以及释放其任务。由于可以为一个组件分配多项任务,因此所有分配的任务的和与利用比较相关。任务因此被最终识别,其适用于负载平衡并且可以被转移(Q->Z)。此后,从源组件QZ和所选择的目标组件两者获得对所提议的分割的同意,并且暂时阻止另外的类似请求。这给予两个组件拒绝所提议的分割的选项。对于此可能的原因可能是,例如,涉及转移的分割过程已经起作用并且组件正在等待该进程的结束,或者组件上的应用因为技术原因当前无法转移它们的状况(DB对象或状态)。只有当两个组件QZ、ZZ以及负责目标组件ZZ的控制单元ZM同意时,才实施分割。在转移结束后,在任务路由表中确认新的任务分派,并且该程序被终止。图1示出了在该方法期间在源管理器QM、源组件QZ、目标管理器ZM、目标组件ZZ的四个参与组件之间的通信。必须将对任何组件的任务/分割分配的修改以路由传送给数据处理系统的所有组件。优选地,基于所谓的流言传播协议进行该信息的交换。据此,仅在一段时间(通常是几秒)之后在系统中一致地更新改变,使得直到那时同步使用旧的和新的路由表而不会因此发生任何处理错误。只有特定的负责控制单元可以更新对路由表中组件的分割分配的改变,以便避免改变的不一致和冲突,即在分割过程中源组件QZ的迁移分割的删除由源管理器QM在系统中分布并且将该分割添加到目标组件ZZ由目标管理器ZM分布在系统中。如果相关源组件中存在对处理重要的条件,诸如存储的数据项、索引等,则需要将该关于分割的信息从源组件QZ转移到目标组件ZZ。在该转移期间,在系统中对于特定事务的责任保留在源组件QZ中或已属于目标组件ZZ。因此,在这段时间期间,从目标组件ZZ到源组件QZ的转发请求的过程必须是起作用的,反之亦然,直到转移已经结束以及任务路由表已被更新。根据要转移的数据类型,组件负责唯一的分配和数据的一致修改,直到转移已经完全结束。使用根据本专利技术的方法,特别是通过添加或移除资源,在满负载下容易地处置数据处理系统的配置的改变在操作期间实施系统的扩展以包括另一资源,而无需人工干预。新资源启动空组件(蓝图),这些组件提供有单独的登录通道和授权。经由登录通道,新组件使其自己被系统知晓并被授权。同时,在运行的系统将新组件记录在流言传播表中。在用于同步系统配置的下一个流言传播事务之一中,新组件被集成并随当前任务路由表一起供应。然后使用根据本专利技术的方法为新组件分配任务。对于分割的任务可能还需要再次组合。对于此的触发因素的示例如下:-系统组件正停止服务,在此之前必须将此组件的所有任务转移到其他组件,或-整合分散的系统。在这种情况下,有两种可能的程序:-将分割部分迁移到其他组件,而不改变分割部分的大小。(合并)-作为步骤1的结果,统一先前共享的分割部分。(统一)为了允许负载和数据的均匀分布,另外细分组件内的任务(分割部分)也是有利的,例如以另外将本地分割部分分解为4x1/4分割部分。因此,代替分割,也可以实施这些分割片段中之一的迁移。然后,用于更精细的细分的触发因素取决于分割部分可以拆分成的组件数量(这由于流言传播而在所有组件中都知晓)。然后,s阶段分割意味着:-获取此分割组的组件总数-向上舍入到2的幂。-确定基数为2本文档来自技高网...

【技术保护点】
1.一种用于在高度分布式数据处理系统中将任务分配给可用的计算组件的方法,其特征在于,在处置所述任务的源组件(QZ)根据需要拆分该任务,并将因此获得的子任务的一部分授权给目标组件(ZZ)。

【技术特征摘要】
【国外来华专利技术】2016.06.22 AT A50566/20161.一种用于在高度分布式数据处理系统中将任务分配给可用的计算组件的方法,其特征在于,在处置所述任务的源组件(QZ)根据需要拆分该任务,并将因此获得的子任务的一部分授权给目标组件(ZZ)。2.根据权利要求1所述的方法,其特征在于,基于对所述数据处理系统的可用的计算组件的利用来确定分割任务...

【专利技术属性】
技术研发人员:米夏埃尔·格拉塞尔延斯彼得·哈克费利克斯·施密德格诺特·森格
申请(专利权)人:阿托斯汇聚创造者有限责任公司
类型:发明
国别省市:奥地利,AT

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1