一种数据抽取方法、主服务器和集群技术

本发明专利技术提供一种数据抽取方法、主服务器和数据转换集群。该方法包括：建立包括主服务器和多个子服务器的数据转换集群；包括：所述数据转换集群中的主服务器将对待抽取数据的第一处理分解为两个以上的处理步骤；所述主服务器将分解的各个处理步骤的信息以配置文件的形式发送给所述数据转换集群中的各个子服务器，以触发该各个子服务器分别执行各自对应的处理步骤，以及触发经第一处理完成之后的数据抽取到云平台中。本方案能够提供数据抽取的效率。

【技术实现步骤摘要】

本专利技术涉及网络通信
，特别涉及一种数据抽取方法、主服务器和数据转换集群。
技术介绍
随着云计算技术的不断发展，云计算技术不断落地成为支撑各行业信息技术发展的重要支柱。通常，需要用户将本地系统中的数据抽取到云平台中的数据库中进行保存，比如，传统的业务系统大多构建在关系型数据库之上，可以将用户本地的关系型数据库中的数据转移到云数据库中。此后，则可以实现基于云平台的各种服务，比如，用户共享云平台的数据库中的数据等。在将数据从用户本地数据库抽取到云平台的过程中，如何更为高效地实现数据抽取过程，则成为了一个重要的问题。
技术实现思路
本专利技术提供一种数据抽取方法、主服务器和数据转换集群，能够更高效地实现数据抽取。一种数据抽取方法，建立包括主服务器和多个子服务器的数据转换集群；包括:所述数据转换集群中的主服务器将对待抽取数据的第一处理分解为两个以上的处理步骤；所述主服务器将分解的各个处理步骤的信息以配置文件的形式发送给所述数据转换集群中的各个子服务器，以触发该各个子服务器分别执行各自对应的处理步骤，以及触发经第一处理完成之后的数据抽取到云平台中。所述第一处理为可并行并且无需进行合并的处理；所述触发经第一处理完成之后的数据抽取到云平台中包括:触发所述各个子服务器直接将各自处理完成后的数据直接传送到云平台中；或者，所述第一处理为可并行并且需要进行合并的处理；所述将对待抽取数据的第一处理分解为两个以上的处理步骤之后，进一步包括:确定各个处理步骤之间的拆分关系；所述触发经第一处理完成之后的数据抽取到云平台中包括:触发所述各个子服务器将各自的处理结果发回所述主服务器，所述主服务器根据所述各个处理步骤之间的拆分关系，对接收到的各个处理结果进行整合，将整合后的数据传送到云平台中。所述可并行并且无需进行合并的处理包括:入库处理。该方法进一步包括:所述数据转换集群中的主服务器接收子服务器的动态注册请求，主服务器每间隔预设的查询周期监视子服务器是否处于有效状态，并根据查询结果，更新处于所述数据转换集群中的子服务器。在所述数据转换集群中的主服务器将对待抽取数据的处理分解为两个以上的处理步骤之前，进一步包括:所述主服务器根据预设策略判断当前是否需要进行大数据集群处理，如果是，则继续执行所述的将对待抽取数据的第一处理分解为两个以上的处理步骤，否则，直接由主服务器对待抽取的数据进行处理，并传送到云平台中。一种主服务器，位于数据转换集群中，包括:分解单元，用于将对待抽取数据的第一处理分解为两个以上的处理步骤；并行处理单元，用于将分解的各个处理步骤的信息以配置文件的形式发送给所述数据转换集群中的各个子服务器，以触发该各个子服务器分别执行各自对应的处理步骤，以及触发经第一处理完成之后的数据抽取到云平台中。所述第一处理为可并行并且无需进行合并的处理；所述并行处理单元包括第一触发子单元，用于触发所述各个子服务器直接将各自处理完成后的数据直接传送到云平台中；或者，所述第一处理为可并行并且需要进行合并的处理；所述分解单元，进一步用于确定各个处理步骤之间的拆分关系；所述并行处理单元包括第二触发子单元和合并处理子单元，其中，第二触发子单元，用于触发所述各个子服务器将各自的处理结果发回；所述合并处理子单元，根据所述各个处理步骤之间的拆分关系，对接收到的各个处理结果进行整合，将整合后的数据传送到云平台中。进一步包括:更新单元，用于接收所述子服务器的动态注册请求，每间隔预设的查询周期监视子服务器是否处于有效状态，并根据查询结果，更新处于所述数据转换集群中的子服务器。一种数据转换集群，包括:多个子服务器和上述任一主服务器，其中，每一个子服务器，用于分别执行各自对应的处理步骤。每一个子服务器，进一步用于直接将处理完成后的数据传送到云平台中；或者，进一步用于将处理结果发回所述主服务器；所述主服务器，进一步用于在接收到子服务器返回的各个处理结果后，根据所述各个处理步骤之间的拆分关系，对接收到的各个处理结果进行整合，将整合后的数据传送到云平台中。本专利技术实施例提供了一种数据抽取方法、主服务器和数据转换集群，通过建立处理数据抽取的数据转换集群，并利用该集群中的主服务器和子服务器的配合，即主服务器将一处理分解为多个处理步骤，由集群中的各个子服务器并行处理该多个处理步骤，从而能够更高效地实现数据抽取。【附图说明】图1是本专利技术一个实施例中数据抽取方法的流程图。图2是本专利技术另一个实施例中数据抽取方法的流程图。图3是本专利技术一个实施例中主服务器的结构示意图。图4是本专利技术一个实施例中数据转换集群的组成示意图。【具体实施方式】下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术一个实施例提出了一种数据抽取方法，参见图1，包括:步骤101:建立包括主服务器和多个子服务器的数据转换集群。步骤102:数据转换集群中的主服务器将对待抽取数据的第一处理分解为两个以上的处理步骤。步骤103:主服务器将分解的各个处理步骤的信息以配置文件的形式发送给所述数据转换集群中的各个子服务器，以触发该各个子服务器分别执行各自对应的处理步骤，以及触发经第一处理完成之后的数据抽取到云平台中。本专利技术实施例提供了一种数据抽取方法、主服务器和数据转换集群，通过建立处理数据抽取的数据转换集群，并利用该集群中的主服务器和子服务器的配合，即主服务器将任意处理分解为多个处理步骤，由集群中的各个子服务器并行处理该多个处理步骤，从而能够更高效地实现将数据从数据库中抽取到云平台。在本专利技术一个实施例中，主服务器可以将能够并行处理且无需进行后续合并操作的处理进行拆分，比如，将入库处理作为上述的第一处理，将待传送给云平台的数据按照预定比例进行拆分，分配给不同的子服务器，各个子服务器则分别将各自处理完成后的数据直接入库传送到云平台中。在本专利技术一个实施例中，主服务器可以将可并行并且需要进行后续合并的处理进行拆分；这样，步骤102在主服务器将对待抽取数据的第一处理分解为两个以上的处理步骤之后，可以进一步包括:主服务器确定各个处理步骤之间的拆分关系；相应地，在步骤103中，触发经第一处理完成之后的数据抽取到云平台中包括:触发所述各个子服务器将各自的处理结果发回所述主服务器，所述主服务器根据所述各个处理步骤之间的拆分关系，对接收到的各个处理结果进行整合，将整合后的数据传送到云平台中。在本专利技术一个实施例中，还可以实现数据转换集群的动态更新，具体包括:数据转换集群中的主服务器接收子服务器的动态注册请求，主服务器每间隔预设的查询周期监视子服务器是否处于有效状态，并根据查询结果，更新处于所述数据转换集群中的子服务器。在本专利技术一个实施例中，在步骤102之前，还可以进一步包括:主服务器根据预设策略判断当前是否需要进行大数据集群处理，如果是，则继续执行所述的将对待抽取数据的第一处理分解为两个以上的处理步骤，否则，直接由主服务器对待抽取的数据进行处理，并传送到云平台中。本专利技术另一个实施例也提出了一种数据抽取方法，参见图2，该方法包括:步骤本文档来自技高网...

【技术保护点】
一种数据抽取方法，其特征在于，建立包括主服务器和多个子服务器的数据转换集群；包括：所述数据转换集群中的主服务器将对待抽取数据的第一处理分解为两个以上的处理步骤；所述主服务器将分解的各个处理步骤的信息以配置文件的形式发送给所述数据转换集群中的各个子服务器，以触发该各个子服务器分别执行各自对应的处理步骤，以及触发经第一处理完成之后的数据抽取到云平台中。

【技术特征摘要】

【专利技术属性】
技术研发人员：石园，孙凯，
申请(专利权)人：浪潮集团有限公司，
类型：发明
国别省市：山东;37