一种分布式集群的数据处理方法、装置及系统制造方法及图纸

本申请公开了一种分布式集群的数据处理方法，包括接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将待处理数据发送至第一目标节点进行处理；通过会话管理装置记录第一目标节点处理待处理数据时的会话信息；当第一目标节点处理待处理数据发生异常时，将待处理数据发送至第二目标节点，以使第二目标节点基于会话信息对待处理数据继续进行处理，直至待处理数据处理完毕。该数据处理方法有效地保证了管理软件服务的一致性，实现了分布式集群的会话共享，能够使集群业务保持连续性，进一步提高了数据处理效率。本申请还公开了一种分布式集群的数据处理系统，也具有上述有益效果。

【技术实现步骤摘要】
一种分布式集群的数据处理方法、装置及系统
本申请涉及分布式系统
，特别涉及一种分布式集群的数据处理方法，还涉及一种分布式集群的数据处理系统。
技术介绍
随着互联网的发展以及互联网用户的增加，互联网中的数据也急剧膨胀，其每天产生的数据数以万计，然而，单个计算机由于受到内存、CPU等硬件的限制，已无法满足对这些数据的存储和计算要求。因此，海量数据存储应运而生，其中，分布式文件系统是海量数据存储的重要技术，它将数据存储在物理分散的多个存储节点上，进而对这些节点的资源进行统一的管理与分配，并提供用户访问文件系统接口。通过分布式文件系统，海量数据存储系统可以轻松地存储PB级数据，分布式集群充分利用分布式的优越性，有效地解决了大数据的存储和分析问题。一般而言，分布式集群为了提高集群操作管理的便利性，通常都会支持通过可视化界面操作集群的管理软件，进一步，管理软件通过HTTP协议向集群下发任务请求，以达到操作存储设备的作用。其中，管理软件是维护分布式集群的一种重要技术手段，具有成本低廉、维护简单、易于扩展、使用广泛等特性。在现有的分布式集群管理软件中，其会话管理系统存储在单个节点中，无法实现各节点之间的session(会话)共享机制，无法同时满足高效率，高可用性和安全性的需求。因此，如何有效保证管理软件服务的一致性，从而实现分布式集群的会话共享，进一步提高数据处理效率是本领域技术人员亟待解决的问题。
技术实现思路
本申请的目的是提供一种分布式集群的数据处理方法，该数据处理方法有效地保证了管理软件服务的一致性，实现了分布式集群的会话共享，能够使集群业务保持连续性，进一步提高了数据处理效率；本申请的另一目的是提供一种分布式集群的数据处理系统，也具有上述有益效果。为解决上述技术问题，本申请提供了一种分布式集群的数据处理方法，所述数据处理方法包括：接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将所述待处理数据发送至所述第一目标节点进行处理；通过会话管理装置记录所述第一目标节点处理所述待处理数据时的会话信息；当所述第一目标节点处理所述待处理数据发生异常时，将所述待处理数据发送至第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。优选的，所述在分布式集群中获取第一目标节点，包括：通过负载均衡装置在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点。优选的，所述通过负载均衡装置在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点，包括：所述负载均衡装置获取所述分布式集群中的所有可用节点；根据各个所述可用节点的负载因子进行计算，获得各个所述可用节点的当前负载；对各个所述可用节点的当前负载进行比较，获得所述当前负载最低的节点，并将所述当前负载最低的节点作为所述第一目标节点。优选的，所述负载因子包括CPU利用率、内存利用率以及IO带宽。优选的，所述数据处理方法还包括：当所述第一目标节点处理所述待处理数据时，所述负载均衡装置实时监控所述第一目标节点的当前负载；当所述第一目标节点的当前负载达到预设阈值时，将所述待处理数据发送至所述第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。为解决上述技术问题，本申请还提供了一种分布式集群的数据处理系统，所述数据处理系统包括：上位机，用于接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将所述待处理数据发送至所述第一目标节点进行处理；会话管理装置，用于记录所述第一目标节点处理所述待处理数据时的会话信息；多个目标节点，用于处理所述待处理数据；其中，所述第一目标节点，用于当处理所述待处理数据发生异常时，将所述待处理数据发送至第二目标节点；所述第二目标节点，用于接收所述会话管理装置发送的所述会话信息，并基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。优选的，所述数据处理系统还包括：负载均衡装置，用于在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点。优选的，所述负载均衡装置具体用于获取所述分布式集群中的所有可用节点；根据各个所述可用节点的负载因子进行计算，获得各个所述可用节点的当前负载；对各个所述可用节点的当前负载进行比较，获得所述当前负载最低的节点，并将所述当前负载最低的节点作为所述第一目标节点。优选的，所述负载因子包括CPU利用率、内存利用率以及IO带宽。优选的，所述负载均衡装置还用于实时监控所述第一目标节点在处理所述待处理数据时的当前负载；当所述第一目标节点的当前负载达到预设阈值时，将所述待处理数据发送至所述第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。本申请所提供的一种分布式集群的数据处理方法，包括接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将所述待处理数据发送至所述第一目标节点进行处理；通过会话管理装置记录所述第一目标节点处理所述待处理数据时的会话信息；当所述第一目标节点处理所述待处理数据发生异常时，将所述待处理数据发送至第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。可见，本申请所提供的技术方案，当分布式集群中的各个节点对接收到的待处理数据进行处理时，通过会话管理装置实时记录对应的处理信息，即上述会话信息；进一步，若有节点在数据处理过程中出现异常，而导致无法通过该异常节点上对其接收的待处理数据继续进行处理，由于会话管理装置记录有其对应的会话信息，故可直接将未处理部分的待处理数据转发至其他正常节点，其他正常节点即可根据相应的会话信息对未处理部分的待处理数据继续进行处理，而无需重新进行操作，有效地实现了分布式集群的会话共享，保证了集群业务的连续性，进一步实现了管理软件服务的一致性；同时，由于无需重新对转发的待处理数据进行操作，有效节省了数据处理时间，从而提高了数据处理效率。本申请所提供的一种分布式集群的数据处理系统，也具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为现有技术中的一种分布式集群的数据处理系统的示意图；图2为本申请所提供的一种分布式集群的数据处理方法的流程示意图；图3为本申请所提供的一种低负载节点的获取方法的流程示意图；图4为本申请所提供的一种分布式集群的数据处理系统的示意图；图5为本申请所提供的另一种分布式集群的数据处理系统的示意图。具体实施方式本申请的核心是提供一种分布式集群的数据处理方法，该数据处理方法有效地保证了管理软件服务的一致性，实现了分布式集群的会话共享，能够使集群业务保持连续性，进一步提高了数据处理效率；本申请的另一核心是提供一种分布式集群的数据处理系统，均具有上述有益效果。为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、本文档来自技高网...

【技术保护点】
1.一种分布式集群的数据处理方法，其特征在于，包括：接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将所述待处理数据发送至所述第一目标节点进行处理；通过会话管理装置记录所述第一目标节点处理所述待处理数据时的会话信息；当所述第一目标节点处理所述待处理数据发生异常时，将所述待处理数据发送至第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。

【技术特征摘要】
1.一种分布式集群的数据处理方法，其特征在于，包括：接收客户端发送的待处理数据；在分布式集群中获取第一目标节点；将所述待处理数据发送至所述第一目标节点进行处理；通过会话管理装置记录所述第一目标节点处理所述待处理数据时的会话信息；当所述第一目标节点处理所述待处理数据发生异常时，将所述待处理数据发送至第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数据处理完毕。2.如权利要求1所述的数据处理方法，其特征在于，所述在分布式集群中获取第一目标节点，包括：通过负载均衡装置在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点。3.如权利要求2所述的数据处理方法，其特征在于，所述通过负载均衡装置在所述分布式集群中获取当前负载最低的节点作为所述第一目标节点，包括：所述负载均衡装置获取所述分布式集群中的所有可用节点；根据各个所述可用节点的负载因子进行计算，获得各个所述可用节点的当前负载；对各个所述可用节点的当前负载进行比较，获得所述当前负载最低的节点，并将所述当前负载最低的节点作为所述第一目标节点。4.如权利要求3所述的数据处理方法，其特征在于，所述负载因子包括CPU利用率、内存利用率以及IO带宽。5.如权利要求4所述的数据处理方法，其特征在于，还包括：当所述第一目标节点处理所述待处理数据时，所述负载均衡装置实时监控所述第一目标节点的当前负载；当所述第一目标节点的当前负载达到预设阈值时，将所述待处理数据发送至所述第二目标节点，以使所述第二目标节点基于所述会话信息对所述待处理数据继续进行处理，直至所述待处理数...

【专利技术属性】
技术研发人员：吴蜀魏，王李阳，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41