计算系统中数据处理的同步技术方案

公开了一种将处理任务分割并分配到多个计算节点(410)以在计算系统(400)中同步它们的数据处理的控制节点(440)和其中的方法。计算系统(400)包括主系统输入接口(420)、辅系统输入接口(430)、控制节点(440)和独立的并且并行地执行数据处理的多个计算节点(410)。控制节点(440)从辅系统输入接口(430)接收第二处理任务，并根据多个计算节点(410)的数量将第二处理任务分割为多个执行请求。控制节点(440)向多个计算节点中的任何一个计算节点询问从时间源(460)检索到的时间参考，该时间源(460)对多个计算节点中的所有计算节点是公共的，以及基于用于将执行请求中的每个执行请求发送给相应的多个计算节点的信令时间，针对要在多个计算节点中处理的执行请求计算执行时间。然后，控制节点(440)将包括执行时间的执行请求中的每个执行请求发送给相应的多个计算节点。

【技术实现步骤摘要】
【国外来华专利技术】计算系统中数据处理的同步
本文的实施例涉及在控制节点、计算节点和计算系统中执行的用于数据处理的同步的方法。具体地，本文的实施例涉及将处理任务分配给独立的并且并行地执行数据处理的多个计算节点，以及使多个计算节点中的数据处理同步。
技术介绍
现代计算机系统或计算系统(尤其是那些旨在用于网络通信的计算机系统或计算系统)的特征在于在提供低时延访问的同时处理大数据吞吐量的双重要求。这导致需要同步的并行化，在多个硬件实例上划分数据处理，这些硬件实例可以称为处理器或计算节点，它们同时对相同数据的不同部分操作，而不会在数据处理中引入延迟。这种并行处理的关键部分是避免处理器或计算节点之间的通信，因为这可能导致一个处理器在其可以继续处理数据之前必须等待另一个处理器的响应的情形。这将降低系统的吞吐量。通过明确定义的数据处理规则、指定在时间上调度的输入数据和在时间上调度的所得输出数据，同步的并行化是可能的。以这种方式，可以使用相同的处理和调度规则在并行处理器上划分数据处理，只要它们被同步到相同的时间参考。图1示出了实现基于规则的并行数据处理的示例系统，其中示出了框图和图形图以说明系统如何分割、处理和组合数据。当发现对数据处理的新要求时，如上所述并行化执行的系统需要使用捕获要处理的新数据的新输入格式和指定期望结果的新输出格式来更新数据处理规则。图2示出了使用更新后的规则实现基于规则的并行数据处理的示例系统，其中示出了框图和图形图以说明系统如何分割、处理和组合数据。使用新输入格式和新输出格式更新数据处理规则不是处理对数据处理的新要求的优化方法，这是因为它需要改变标准输入和输出格式并重新定义系统之间的标准化通信格式。
技术实现思路
因此，本文实施例的目的是提供一种用于在计算系统中的多个独立的计算节点上进行同步的数据处理的改进方法。根据本文实施例的一个方面，该目的通过一种在控制节点中执行的将处理任务划分并分配给多个计算节点以在计算系统中同步它们的数据处理的方法来实现。该计算系统包括主系统输入接口、辅系统输入接口、控制节点和独立的并且并行地执行数据处理的多个计算节点。控制节点从辅系统输入接口接收第二处理任务，并根据多个计算节点的数量将第二处理任务分割为多个执行请求。控制节点向多个计算节点中的任何一个计算节点询问从时间源检索到的时间参考，该时间源对多个计算节点中的所有节点是公共的，以及基于用于将执行请求中的每个执行请求发送给相应的多个计算节点的信令时间，针对要在多个计算节点中处理的执行请求计算执行时间。然后，控制节点将包括执行时间的执行请求中的每个执行请求发送给相应的多个计算节点。根据本文实施例的一个方面，该目的通过一种将处理任务划分并分配给多个计算节点以在计算系统中同步它们的数据处理的控制节点来实现。该计算系统包括主系统输入接口、辅系统输入接口、控制节点和独立的并且并行地执行数据处理的多个计算节点。该控制节点被配置为：从辅系统输入接口接收第二处理任务，以及根据多个计算节点的数量将第二处理任务分割为多个执行请求。该控制节点还被配置为：向多个计算节点中的任何一个计算节点询问从时间源检索到的时间参考，该时间源对多个计算节点中的所有节点是公共的，以及基于用于将执行请求中的每个执行请求发送给相应的多个计算节点的信令时间，针对要在多个计算节点中处理的执行请求计算执行时间。该控制节点还被配置为：将包括执行时间的执行请求中的每个执行请求发送给相应的多个计算节点。根据本文实施例的一个方面，该目通过一种在计算节点中执行的用于将其数据处理与其他计算节点同步的方法来实现。该计算节点包括主输入接口和辅输入接口，并且是计算系统中用于并行地执行数据处理的多个独立的计算节点之一。计算节点在辅输入接口处接收包括指定的执行时间的执行请求。执行请求是从处理任务分割的多个执行请求之一。计算节点在指定的执行时间处理执行请求，并选择基于指定的执行时间的输出时间。计算节点在所选择的输出时间将处理后的执行请求提供给输出数据流。根据本文实施例的一个方面，该目通过一种用于将其数据处理与其他计算节点同步的计算节点来实现。该计算节点包括主输入接口和辅输入接口，并且是计算系统中用于并行地执行数据处理的多个独立的计算节点之一。计算节点被配置为：在辅输入接口处接收包括指定的执行时间的执行请求。执行请求是从处理任务分割的多个执行请求之一。计算节点还被配置为：在指定的执行时间处理执行请求，以及选择基于指定的执行时间的输出时间。计算节点还被配置为：在所选择的输出时间将处理后的执行请求提供给输出数据流。根据本文实施例的一个方面，该目的通过一种在计算系统中执行的方法来实现。计算系统在辅系统输入接口处接收第二处理任务。计算系统通过控制节点根据多个计算节点的数量将第二处理任务分割为多个执行请求。计算系统通过控制节点向计算节点中的任何一个计算节点询问从时间源检索到的时间参考，该时间源对多个计算节点中的所有节点是公共的。计算系统通过控制节点基于用于将执行请求中的每个执行请求发送给相应的多个计算节点的信令时间，针对要在多个计算节点中处理的执行请求计算执行时间。计算系统通过控制节点将包括执行时间的执行请求中的每个执行请求发送给相应的多个计算节点。可以顺序地或并行地发送执行请求。计算系统通过多个计算节点在指定的执行时间执行对每个执行请求的数据处理。计算系统通过控制节点针对每个计算节点选择基于指定的执行时间的输出时间。计算系统通过计算节点在所选择的输出时间将每个处理后的执行请求提供到输出数据流中。根据本文实施例的一个方面，该目的通过一种计算系统来实现。计算系统被配置为在辅系统输入接口处接收第二处理任务。计算系统还被配置为根据多个计算节点的数量将第二处理任务分割为多个执行请求，例如，借助于被配置为根据多个计算节点的数量将第二处理任务分割为多个执行请求的控制节点而被配置为如此。计算系统还被配置为向计算节点中的任何一个计算节点询问从时间源检索到的时间参考，例如，借助于被配置为向计算节点中的任何一个计算节点询问从时间源检索到的时间参考的控制节点而被配置为如此，该时间源对多个计算节点中的所有节点是公共的。计算系统还被配置为基于用于将执行请求中的每个执行请求发送给相应的多个计算节点的信令时间，针对要在多个计算节点中处理的第二数据分组计算执行时间，例如，借助于被配置为基于用于将执行请求中的每个执行请求发送给相应的多个计算节点的信令时间，针对要在多个计算节点中处理的第二数据分组计算执行时间的控制节点而被配置为如此。计算系统还被配置为将包括执行时间的执行请求中的每个执行请求发送给相应的多个计算节点，例如，借助于被配置为将包括执行时间的执行请求中的每个执行请求发送给相应的多个计算节点的控制节点而被配置为如此。可以顺序地或并行地发送执行请求。计算系统还被配置为在指定的执行时间执行对每个执行请求的数据处理，例如，借助于被配置为在指定的执行时间执行对每个执行请求的数据处本文档来自技高网...

【技术保护点】
1.一种在控制节点(440)中执行的将处理任务分割并分配给多个计算节点(410)以在计算系统(400)中同步所述多个计算节点(410)的数据处理的方法，其中，所述计算系统(400)包括主系统输入接口(420)、辅系统输入接口(430)、所述控制节点(440)和独立的并且并行执行数据处理的所述多个计算节点(410)，所述方法包括：/n从所述辅系统输入接口(430)接收(510)第二处理任务；/n根据所述多个计算节点(410)的数量将所述第二处理任务分割(520)为多个执行请求；/n向所述多个计算节点中的任何一个计算节点询问(530)从时间源(160)检索到的时间参考，所述时间源(160)对所述多个计算节点中的所有计算节点是公共的；/n基于用于将所述执行请求中的每个执行请求发送给相应的多个计算节点的信令时间，针对要在所述多个计算节点中处理的所述执行请求计算(540)执行时间；/n将包括所述执行时间的所述执行请求中的每个执行请求发送(550)给相应的多个计算节点。/n

【技术特征摘要】
【国外来华专利技术】1.一种在控制节点(440)中执行的将处理任务分割并分配给多个计算节点(410)以在计算系统(400)中同步所述多个计算节点(410)的数据处理的方法，其中，所述计算系统(400)包括主系统输入接口(420)、辅系统输入接口(430)、所述控制节点(440)和独立的并且并行执行数据处理的所述多个计算节点(410)，所述方法包括：
从所述辅系统输入接口(430)接收(510)第二处理任务；
根据所述多个计算节点(410)的数量将所述第二处理任务分割(520)为多个执行请求；
向所述多个计算节点中的任何一个计算节点询问(530)从时间源(160)检索到的时间参考，所述时间源(160)对所述多个计算节点中的所有计算节点是公共的；
基于用于将所述执行请求中的每个执行请求发送给相应的多个计算节点的信令时间，针对要在所述多个计算节点中处理的所述执行请求计算(540)执行时间；
将包括所述执行时间的所述执行请求中的每个执行请求发送(550)给相应的多个计算节点。


2.根据权利要求1所述的方法，其中，计算执行时间是通过将所述时间参考增加比向相应的多个计算节点并行地发送所述执行请求所需的最长信令时间长的时间段来执行的。


3.根据权利要求1所述的方法，其中，计算执行时间是通过将所述时间参考增加比用于向每个计算节点顺序地发送每个执行请求的信令时间的总和长的时间段来执行的。


4.一种在计算节点(410)中执行的用于使所述计算节点(410)的数据处理与其他计算节点同步的方法，其中，所述计算节点(410)包括主输入接口和辅输入接口，并且所述计算节点(410)是计算系统(400)中用于并行地执行数据处理的多个独立的计算节点之一，所述方法包括：
在所述辅输入接口处接收(610)包括指定的执行时间的执行请求，其中，所述执行请求是从第二处理任务分割的多个执行请求之一，所述第二处理任务是从所述计算系统中的辅系统输入接口接收的；
在所述指定的执行时间处理(620)所述执行请求；
选择(630)基于所述指定的执行时间的输出时间；
在所选择的输出时间将处理后的执行请求提供(640)给输出数据流。


5.根据权利要求4所述的方法，还包括：
从控制节点(440)接收对时间参考的请求；
向所述控制节点(440)发送从时间源(460)检索到的时间参考，所述时间源(460)对所述多个计算节点中的所有计算节点是公共的。


6.一种在计算系统(400)中执行的方法，其中，所述计算系统包括控制节点(440)、主系统输入接口(420)、辅系统输入接口(430)和多个独立的计算节点(410)，所述方法包括：
在所述辅系统输入接口接收(710)第二处理任务；
由所述控制节点(440)根据所述多个计算节点的数量将所述第二处理任务分割(720)为多个执行请求；
由所述控制节点(440)向所述计算节点中的任何一个计算节点询问(730)从时间源检索到的时间参考，所述时间源对所述多个计算节点中的所有计算节点是公共的；
由所述控制节点(440)基于用于将所述执行请求中的每个执行请求发送给相应的多个计算节点的信令时间，针对要在所述多个计算节点中处理的所述执行请求计算(740)执行时间；
从所述控制节点(4...

【专利技术属性】
技术研发人员：安德斯·维德布兰特，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典;SE