用于数据的高效重新分区的通信制造技术

提供了一种用于使用经调度的网络通信来高效地将数据重新分区的方法。给定定义要在多个服务器节点之间发送的数据块的重新分区数据，对应的网络调度表被确定以便以协调的方式发送数据块。网络调度表被划分为时隙，其中多个服务器节点中的每个服务器节点在每个时隙中可以发送最多一个数据块以及接收最多一个数据块。通过使用优先化最大发送者和最大接收者的贪婪选择算法，即使存在严重偏斜，也可以确定近似最佳的调度表。贪婪选择算法可以用O(T*N^2)时间复杂度实现，从而实现扩展到具有许多服务器节点的大型多节点集群。网络调度表是需要对关于不同键的运算符进行重新分区的数据库执行计划特别感兴趣的。

【技术实现步骤摘要】
【国外来华专利技术】用于数据的高效重新分区的通信
本公开涉及网络通信，并且更具体地涉及为数据的高效重新分区确定网络调度表。
技术介绍
当在分布式多节点系统中评估分析查询时，常常会出现将数据重新分发或重新分区的需要。例如，在数据库系统的上下文中，需要对不同的键进行连接(join)和聚合操作的分析查询将受益于数据的重新分区，以便最佳地处理对不同键的每个操作。此外，如果对于特定运算符的数据分发朝某些节点严重偏斜，则可以通过将数据重新分区以跨多节点系统重新平衡工作负载来提高性能。虽然重新分区允许在分布式多节点系统中更高效地处理数据，但是因为需要以多对多的方式在节点之间交换大量的数据，所以重新分区本身会增加处理开销。重新分区的复杂性还随着节点数量的增加而增加。可以使用非阻塞的、高带宽的互连(诸如InfiniBand(无限带宽))来加速重新分区。然而，即使使用适当的高速互连，重新分区也仍然可能占整个查询执行时间的50-60％。基于上述，存在对用于优化分布式多节点系统中的数据重新分区的方法的需要。本节中描述的方法是可以被追寻的方法，但不一定是以前已经构想或追寻的方法。因此，除非另有指示，否则不应当假设本节中描述的任何本文档来自技高网...

【技术保护点】
一种方法，包括：接收重新分区数据，所述重新分区数据为多个服务器节点中的每个服务器节点描述要发送到所述多个服务器节点中的每个服务器节点的数据块的数量；通过使用所述重新分区数据按照要发送的数据块的总数对所述多个服务器节点进行降序排序来确定所述多个服务器节点的发送者次序；按所述发送者次序填充包括多个时隙的网络调度表，其中所述多个时隙中的每个时隙为所述多个服务器节点中作为发送者节点的每个服务器节点指定所述多个服务器节点中的最多一个接收者节点，以经网络发送数据块，其中所述多个时隙中的每个时隙指定特定节点不多于一次，以及其中所述最多一个接收者节点是至少基于根据所述重新分区数据具有要由所述发送者节点接收的最...

【技术特征摘要】
【国外来华专利技术】2015.05.13 US 14/711,6171.一种方法，包括：接收重新分区数据，所述重新分区数据为多个服务器节点中的每个服务器节点描述要发送到所述多个服务器节点中的每个服务器节点的数据块的数量；通过使用所述重新分区数据按照要发送的数据块的总数对所述多个服务器节点进行降序排序来确定所述多个服务器节点的发送者次序；按所述发送者次序填充包括多个时隙的网络调度表，其中所述多个时隙中的每个时隙为所述多个服务器节点中作为发送者节点的每个服务器节点指定所述多个服务器节点中的最多一个接收者节点，以经网络发送数据块，其中所述多个时隙中的每个时隙指定特定节点不多于一次，以及其中所述最多一个接收者节点是至少基于根据所述重新分区数据具有要由所述发送者节点接收的最大可能数量的数据块来指定的；使得所述多个服务器节点根据所述网络调度表来重新分区；以及其中所述方法由一个或多个计算设备执行。2.如权利要求1所述的方法，其中所述最多一个接收者节点是通过遍历用于所述发送者节点的接收者的经排序的列表来指定的，其中所述接收者的经排序的列表按照要由所述发送者节点接收的数据块的降序被维护。3.如权利要求2所述的方法，其中所述遍历使用为所述多个时隙中的每个时隙维护的位掩码，以确保所述多个时隙中的每个时隙指定特定节点不多于一次。4.如权利要求1所述的方法，其中所述最多一个接收者节点是基于利用所述最多一个接收者节点填充相邻的时隙来指定的。5.如权利要求1所述的方法，其中所述重新分区数据用于从对于第一键的第一数据库运算符转变到对于第二键的第二数据库运算符。6.如权利要求1所述的方法，其中所述一个或多个计算设备包括协调器服务器。7.如权利要求1所述的方法，其中所述数量的数据块中的每个数据块的大小和所述多个时隙中的每个时隙的长度...

【专利技术属性】
技术研发人员：S·伊蒂库拉，A·巴斯安特，V·阿格尔沃，S·沃尔夫，N·阿格尔沃，
申请(专利权)人：甲骨文国际公司，
类型：发明
国别省市：美国,US