数据处理的方法和数据处理系统技术方案

本发明专利技术实施例提供了一种数据处理的方法和数据处理系统。该数据处理系统包括发送模块，处理模块，状态监控模块和策略调整模块；所述发送模块，用于向所述处理模块发送数据；所述处理模块，用于处理所述发送模块发送的所述数据；所述状态监控模块，用于确定所述处理模块的处理状态信息，并向所述策略调整模块发送所述处理状态信息，所述处理状态信息用于指示所述处理模块处理数据的处理能力；所述策略调整模块，用于根据所述处理状态信息，确定所述发送模块向所述处理模块发送所述数据的发送策略。本发明专利技术实施例能够避免现有技术中发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块的处理能力不一致，从而提高了数据处理性能。

【技术实现步骤摘要】
数据处理的方法和数据处理系统
本专利技术涉及信息
，并且更具体地，涉及数据处理的方法和数据处理系统。
技术介绍
随着系统规模、业务数量和用户数目的增长，系统每天都会产生海量日志。运维人员需要从海量日志中分析出系统出现的问题、用户体验以及业务情况等信息。目前主流厂商都是用流处理引擎来对海量数据进行分析和处理，流处理引擎的性能决定了数据处理的能力。目前主要的流处理引擎内部数据处理拓扑采用的是发送(Spout)模块+处理(Bolt)模块方式，例如流处理引擎(Storm)。在非事务机制中，Spout模块不断的往后面的处理模块发送数据，当Bolt模块处理能力不足的时候，Spout模块发送速率不变，会导致数据堆积。在事务机制中，Spout模块按照批次发送，一批数据处理完成后，再发送下一批数据，若由于Bolt模块处理能力不足，长时间没有回复给Spout模块响应信息时，Spout模块即认为当前这批数据处理失败，进而会重新发送这批数据，这样也会导致数据在Bolt模块堆积越来越多，若超过Bolt模块的处理能力时，会降低数据处理性能。
技术实现思路
本专利技术实施例提供一种数据处理系统和数据处理的方法，能够提高数据处理性能。第一方面，提供了一种数据处理系统。该数据处理系统包括发送模块，处理模块，状态监控模块和策略调整模块；该发送模块，用于向该处理模块发送数据；该处理模块，用于处理该发送模块发送的该数据；该状态监控模块，用于确定该处理模块的处理状态信息，并向该策略调整模块发送该处理状态信息，该处理状态信息用于指示该处理模块处理该数据的处理能力；该策略调整模块，用于根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送策略。发送模块向处理模块发送数据，处理模块接收到该数据后，对该数据进行相关业务处理，或者向后传输继续处理。状态监控模块可以实时地监控处理模块的处理状态，并将处理模块的处理状态信息发送给策略调整模块，该策略调整模块能够根据处理状态信息调控发送模块的发送模式。因此，本专利技术实施例提供的数据处理系统，该数据处理系统中的状态监控模块能够将处理模块对当前数据的处理状态反馈给发送模块，策略调整模块能够根据当前数据的处理状态确定该发送模块的发送策略，避免现有技术中发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块的处理能力不一致，从而提高了数据处理性能。结合第一方面，在第一方面的第一种可能的实现方式中，该数据处理系统还包括：状态跟踪模块，用于接收该处理模块处理的该数据的处理结果信息，并向该策略调整模块发送该处理结果信息；该策略调整模块还用于：根据该处理结果信息，确定该处理模块处理该数据失败；根据该处理模块处理该数据失败，确定该发送模块重新发送该数据。状态跟踪模块可以获取每个数据经过处理模块处理后的处理结果，并将每个数据的处理结果发送给策略调整模块。例如，可以将发送模块要发送的数据看作一个数据集合，第一数据为数据集合中的任意一个数据，该第一数据经过处理模块处理后，状态跟踪模块也会将该第一数据的处理结果信息发送给策略调整模块。若该处理模块处理该第一数据失败后，该策略调整模块就会收到该第一数据的处理失败信息；或者，超过预先设定的时间阈值，策略调整模块仍然没有收到该第一数据的处理结果信息，则策略调整模块认为该第一数据处理失败。这时，策略调整模块可以触发发送模块重新发送该第一数据，从而提高了处理数据的准确性。结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，该策略调整模块具体用于：根据该处理状态信息，确定该发送模块向该处理模块发送该数据的发送速率。策略调整模块接收到状态监控模块反馈的处理模块的处理状态信息，可以实时调整发送模块的发送策略。例如，若策略调整模块根据处理状态信息可以获知处理模块的处理能力很强，而数据量太小时，策略调整模块可以增大发送模块发送数据的速率；若策略调整模块根据处理状态信息获知处理模块的处理能力很弱，且数据出现堆积时，策略调整模块可以调整发送模块减小发送数据的速率，甚至还可以暂时停止发送模块发送数据，从而提高了数据处理的效率。结合第一方面及第一方面的第一种可能的实现方式和第一方面的第二种可能的实现方式中的任一种可能的实现方式，在第一方面的第三种可能的实现方式中，该策略调整模块具体用于：根据该处理状态信息，确定该发送模块发送该数据所需连接该处理模块的数目。策略调整模块接收到状态监控模块反馈的处理模块的处理状态信息，可以实时调整发送模块的发送策略。例如，若策略调整模块根据处理状态信息可以获知处理模块的处理能力很强，而数据量太小时，策略调整模块可以减小与处理模块的连接的节点数，即减少处理数据的处理模块。若策略调整模块根据处理状态信息获知处理模块的处理能力很弱，造成数据堆积时，策略调整模块可以增加与处理模块的连接的节点数，即增加处理数据的处理模块，从而提高了数据处理的效率。结合第一方面及第一方面的第一种可能的实现方式至第一方面的第三种可能的实现方式中的任一种可能的实现方式，在第一方面的第四种可能的实现方式中，该策略调整模块具体用于：根据该处理状态信息指示该处理模块的处理能力受限，确定该发送模块向该处理模块发送该数据中的部分数据。策略调整模块在获知处理模块的处理能力很弱，造成数据堆积时，策略调整模块可以通过过滤数据来减轻处理模块的负担，即可以筛选出重要的数据进行处理，将相对不太重要的数据可以丢弃或者搁置。这里重要的数据可以是需要立即进行处理的数据，也可以是传输时间比较短的数据，或者是需要处理模块提供的资源比较少的数据等，本专利技术对此不进行限定。第二方面，本申请提供了一种数据处理的方法，所述方法由第一方面或第一方面的任一种可能的实现方式所述的数据处理系统的模块执行。第三方面，提供了一种数据处理系统，包括：处理器、存储器和总线系统。其中，处理器、存储器通过总线系统相连，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，该处理器具体用于执行上述各种可能的实现方式中的数据处理的方法。基于上述技术方案，本专利技术实施例的数据处理系统和数据处理的方法，数据处理系统中的状态监控模块能够将处理模块对当前数据的处理状态反馈给发送模块，策略调整模块能够根据当前数据的处理状态确定该发送模块的发送策略，避免现有技术中发送模块无法感知处理模块的处理状态导致的数据的发送机制与处理模块的处理能力不一致，从而提高了数据处理性能。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是现有技术的数据处理系统的示意图。图2是根据本专利技术实施例的数据处理系统的示意图。图3是根据本专利技术另一实施例的数据处理系统的示意图。图4是根据本专利技术实施例的数据处理的方法的示意性流程图。图5是根据本专利技术实施例的数据处理系统的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本文档来自技高网...

【技术保护点】
一种数据处理系统，其特征在于，包括：发送模块，处理模块，状态监控模块和策略调整模块；所述发送模块，用于向所述处理模块发送数据；所述处理模块，用于处理所述发送模块发送的所述数据；所述状态监控模块，用于确定所述处理模块的处理状态信息，并向所述策略调整模块发送所述处理状态信息，所述处理状态信息用于指示所述处理模块处理所述数据的处理能力；所述策略调整模块，用于根据所述处理状态信息，确定所述发送模块向所述处理模块发送所述数据的发送策略。

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：发送模块，处理模块，状态监控模块和策略调整模块；所述发送模块，用于向所述处理模块发送数据；所述处理模块，用于处理所述发送模块发送的所述数据；所述状态监控模块，用于确定所述处理模块的处理状态信息，并向所述策略调整模块发送所述处理状态信息，所述处理状态信息用于指示所述处理模块处理所述数据的处理能力；所述策略调整模块，用于根据所述处理状态信息，确定所述发送模块向所述处理模块发送所述数据的发送策略。2.根据权利要求1所述的数据处理系统，其特征在于，所述数据处理系统还包括：状态跟踪模块，用于接收所述处理模块处理的所述数据的处理结果信息，并向所述策略调整模块发送所述处理结果信息；所述策略调整模块还用于：根据所述处理结果信息，确定所述处理模块处理所述数据失败；根据所述处理模块处理所述数据失败，确定所述发送模块重新发送所述数据。3.根据权利要求1或2所述的数据处理系统，其特征在于，所述策略调整模块具体用于：根据所述处理状态信息，确定所述发送模块向所述处理模块发送所述数据的发送速率。4.根据权利要求1至3中任一项所述的数据处理系统，其特征在于，所述策略调整模块具体用于：根据所述处理状态信息，确定所述发送模块发送所述数据所需连接所述处理模块的数目。5.根据权利要求1至4中任一项所述的数据处理系统，其特征在于，所述策略调整模块具体用于：根据所述处理状态信息指示所述处理模块的处理能力受限，确定所述发送模块向所述处理模块发送所述数据中的部分数据。6.一种数据处理的方法，其特征在于，所述方法应用于数据处理系统中，所述数据处理系统包括发送模块，处理模块，状态监控...

【专利技术属性】
技术研发人员：梁治平，王刚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44