一种数据采集系统技术方案

本申请提供了一种数据采集系统，包括：主节点、子节点、预设数量的采集子节点和合并子节点；主节点，用于将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务；子节点，用于分别将每个采集任务中的待采集数据表中属于同一个数据库的数据表的数据采集任务，至少被分割为一个采集子任务，得到多个采集子任务；预设数量的采集子节点，用于采用并行的方式执行采集子任务；合并子节点，用于在任意一个待采集数据表在采集子任务下的数据都被采集完成的情况下，将该待采集数据表在采集子任务下的采集数据，写入预设文件中，得到该待采集数据表的数据采集文件。本申请可以提高数据采集效率。

A data acquisition system

【技术实现步骤摘要】
一种数据采集系统
本申请涉及电子信息领域，尤其涉及一种数据采集系统。
技术介绍
对于个人客户权益系统，该系统需要每天采集客户个人权益信息，并需要将采集到的客户个人权益信息存储在数据下传平台，供其他系统订阅。由于待采集数据表多、每个待采集数据表中的数据量大，并且需要对每个待采集数据表进行采集，需要一种具有高效率的数据采集方案。
技术实现思路
本申请提供了一种数据采集系统，目的在于数据采集效率低的问题。为了实现上述目的，本申请提供了以下技术方案：本申请提供了一种数据采集系统，包括：主节点、子节点、预设数量的采集子节点和合并子节点；所述主节点，用于将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务；所述子节点，用于分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的数据采集任务，至少分割为一个采集子任务，得到多个采集子任务；所述预设数量的采集子节点，用于采用并行的方式执行所述采集子任务，得到每个采集子任务中的每个待采集数据表在相应的采集子任务下的采集数据；所述合并子节点，用于在任意一个待采集数据表在采集子任务下的数据都被采集完成的情况下，将该待采集数据表在采集子任务下的采集数据，写入预设文件中，得到该待采集数据表的数据采集文件。可选的，所述主节点，还用于在将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务之后，向消息队列中发送第一消息；所述第一消息包括：每个采集任务包含的待采集数据表的名称；所述子节点，用于分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务，包括：所述子节点，具体用于在监听到所述第一消息的情况下，分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务。可选的，所述子节点，用于将任一所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务，包括：所述子节点，具体用于判断该采集任务中的目标待采集数据表是否为分库分表的数据表；在所述目标待采集数据表为分库分表的情况下，将所述目标待采集数据表中属于同一个数据库的数据表的采集任务，作为一个采集子任务，得到多个采集子任务；所述目标待采集数据表为该采集任务中的任一待采集数据表。可选的，所述子节点，还用于在分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务之后，向消息队列发送第二消息；所述第二消息包括：每个采集子任务分别对应的数据库编号，以及每个采集子任务中的每个待采集数据表分别在对应的数据库中的数据表名称；所述预设数量的采集子节点，用于执行任一采集子任务，得到该采集子任务中的每个待采集数据表在该采集子任务下的采集数据，包括：所述预设数量的采集子节点，具体用于在监听到所述第二消息的情况下，分别对所述第二消息中该采集子任务中的每个待采集数据表对应的数据表名称指示的数据表，进行数据采集，得到该采集子任务中的每个待采集数据表在该采集子任务下的采集数据。可选的，任一所述采集子节点，用于对任一采集子任务中的任一待采集数据表对应的数据表名称指示的数据表，进行数据采集，包括：该采集子节点，具体用于分别针对每个省，对该待采集数据表对应的数据表名称指示的数据表进行数据采集，得到该待采集数据表在该采集子任务下每个省的采集数据。可选的，该采集子节点，用于分别针对每个省，对该待采集数据表对应的数据表名称指示的数据表进行数据采集，得到该待采集数据表在该采集子任务下每个省的采集数据，包括：该采集子节点，具体用于获取待采集字段映射表；所述待采集字段映射表包括待采集的字段名称、顺序和格式；按照所述待采集字段映射表，分别针对每个省，对该待采集数据表对应的数据表名称指示的数据表进行数据采集，得到该待采集数据表在该采集子任务下每个省的采集数据。可选的，所述合并子节点，用于在任意一个待采集数据表在采集子任务下的数据都被采集完成的情况下，将该待采集数据表在采集子任务下的采集数据，写入预设文件中，得到该待采集数据表的数据采集文件，包括：所述合并子节点，具体用于在任意一个待采集数据表在采集子任务下的数据都被采集完成的情况下，将该待采集数据表在采集子任务下的每个省的采集数据，写入对应省的预设文件，得到该待采集数据表的每个省的数据采集文件。可选的，所述子节点，还用于在分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务之后，在监测到任一待采集数据表在采集子任务下的数据都被采集完成的情况下，向消息队列发送第三消息；所述第三消息包括：该待采集数据表对应的目标文件名称和省行号；所述目标文件名称为用于存储对该待采集数据表在采集子任务下的采集数据的文件的名称；所述合并子节点，用于在任意一个待采集数据表在采集子任务下的数据都被采集完成的情况下，将该待采集数据表在采集子任务下的每个省的采集数据，写入对应省的预设文件，得到该待采集数据表的每个省的数据采集文件，包括：所述合并子节点，具体用于在监听到所述第三消息的情况下，对所述第三消息中的所述目标文件名称指示的文件中每个省的采集数据，分别写入对应省行号指示的预设文件中，得到所述目标待采集数据表的每个省的数据采集文件。可选的，所述合并子节点，还用于将每个待采集数据表的每个省的数据采集文件下传到预设数据下传平台。可选的，所述主节点，用于将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务，包括：所述主节点，具体用于获取预设的待采集表参数；所述待采集数据表参数包括：待采集数据表的名称；依据所述待采集表参数，将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务。本申请所述的数据采集系统中，主节点将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务，子节点分别将每个采集任务中的待采集数据表中属于同一个数据库的数据表的数据采集任务，至少被分割为一个采集子任务，得到多个采集子任务，预设数量的采集子节点采用并行的执行方式执行采集子任务，得到每个采集子任务中的每个待采集数据表在相应的采集子任务下的采集数据。一方面，由于通过主节点进行采集任务的分割，以及子节点对主节点分割得到的采集任务的进一步细粒度的分割，使得子节点分割得到的任意一个采集子任务所需采集的数据属于同一个数据库并且所需采集的数据表的数据格式相同。因此，任意一个采集子节点执行任意一个采集子任务的效率得到提高。另一方面，由于本申请中预设数量的采集子节点采用并行的方式执行采集子任务，从而大大提高数据采集效率。同时，本申请中，在任意一个待采集数据表在采集子任务在的数据本文档来自技高网...

【技术保护点】
1.一种数据采集系统，其特征在于，包括：主节点、子节点、预设数量的采集子节点和合并子节点；/n所述主节点，用于将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务；/n所述子节点，用于分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的数据采集任务，至少分割为一个采集子任务，得到多个采集子任务；/n所述预设数量的采集子节点，用于采用并行的方式执行所述采集子任务，得到每个采集子任务中的每个待采集数据表在相应的采集子任务下的采集数据；/n所述合并子节点，用于在任意一个待采集数据表在采集子任务下的数据都被采集完成的情况下，将该待采集数据表在采集子任务下的采集数据，写入预设文件中，得到该待采集数据表的数据采集文件。/n

【技术特征摘要】
1.一种数据采集系统，其特征在于，包括：主节点、子节点、预设数量的采集子节点和合并子节点；
所述主节点，用于将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务；
所述子节点，用于分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的数据采集任务，至少分割为一个采集子任务，得到多个采集子任务；
所述预设数量的采集子节点，用于采用并行的方式执行所述采集子任务，得到每个采集子任务中的每个待采集数据表在相应的采集子任务下的采集数据；
所述合并子节点，用于在任意一个待采集数据表在采集子任务下的数据都被采集完成的情况下，将该待采集数据表在采集子任务下的采集数据，写入预设文件中，得到该待采集数据表的数据采集文件。


2.根据权利要求1所述的系统，其特征在于，所述主节点，还用于在将相同数据类型的待采集数据表的数据采集任务作为一个采集任务，得到多个采集任务之后，向消息队列中发送第一消息；所述第一消息包括：每个采集任务包含的待采集数据表的名称；
所述子节点，用于分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务，包括：
所述子节点，具体用于在监听到所述第一消息的情况下，分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务。


3.根据权利要求2所述的系统，其特征在于，所述子节点，用于将任一所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务，包括：
所述子节点，具体用于判断该采集任务中的目标待采集数据表是否为分库分表的数据表；在所述目标待采集数据表为分库分表的情况下，将所述目标待采集数据表中属于同一个数据库的数据表的采集任务，作为一个采集子任务，得到多个采集子任务；所述目标待采集数据表为该采集任务中的任一待采集数据表。


4.根据权利要求1所述的系统，其特征在于，所述子节点，还用于在分别将每个所述采集任务中的待采集数据表中属于同一个数据库的数据表的采集任务，至少分割为一个采集子任务，得到多个采集子任务之后，向消息队列发送第二消息；所述第二消息包括：每个采集子任务分别对应的数据库编号，以及每个采集子任务中的每个待采集数据表分别在对应的数据库中的数据表名称；
所述预设数量的采集子节点，用于执行任一采集子任务，得到该采集子任务中的每个待采集数据表在该采集子任务下的采集数据，包括：
所述预设数量的采集子节点，具体用于在监听到所述第二消息的情况下，分别对所述第二消息中该采集子任务中的每个待采集数据表对应的数据表名称指示的数据表，进行数据采集，得到该采集子任务中的每个待采集数据表在该采集子任务下的采集数据。


5.根据权利要求4所述的系统，其特征在于，任一所述采集子节点，用于对...

【专利技术属性】
技术研发人员：林楷坤，周宝琛，沈玉琴，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京;11