一种基于数据表分区的数据采集方法及系统技术方案

本发明专利技术提供了一种基于数据表分区的数据采集方法及系统，包括：获取待采集的数据表信息及滑动窗；数据表信息包括：各分区的编号以及各分区对应的月份；滑动窗的长度代表包括当前采集月份在内的月份的个数；根据滑动窗及当前采集月份确定有数据的月份及无数据的月份；有数据的月份为滑动窗之内的月份；无数据的月份为滑动窗之外的月份；根据各采集作业的编号、各分区的编号以及各分区对应的月份生成采集参数表；采集作业为对数据表中的各分区的数据进行采集的操作；根据采集参数表对各分区执行对应编号的采集作业。本发明专利技术具有提高资源利用率、采集作业的利用率以及采集效率的有益效果。

Data acquisition method and system based on data table partition

The invention provides a data acquisition method and system based on data table partition, which includes: acquiring data table information to be collected and sliding window; data table information includes: the number of each partition and the corresponding month of each partition; the length of sliding window represents the number of months including the current collection month; and according to sliding. The window and the current collection month determine the month with data and the month without data; the month with data is the month within the sliding window; the month without data is the month outside the sliding window; the collection parameter table is generated according to the number of each collection operation, the number of each division and the corresponding month of each division; and the collection operation is the data. The data of each partition in the table is collected, and the corresponding number of each partition is collected according to the collection parameter table. The invention has the beneficial effects of improving the utilization ratio of resources, the utilization ratio of collection operation and the collection efficiency.

【技术实现步骤摘要】
一种基于数据表分区的数据采集方法及系统
本专利技术涉及数据采集
，尤其涉及一种基于数据表分区的数据采集方法及系统。
技术介绍
在目前的批量数据采集方式中，采用的均为每个采集作业每天运行时，对数据表中固定的分区进行数据采集。这种方式应用于大部分的表，但是对于数据分布不均匀并且按时间维度来变换存储分区的表，现有的数据采集方式存在着效率低下、耗时较长的弊端。因此，如何提高对数据分布不均且按照时间维度变化的数据表的数据采集效率是亟待解决的的技术问题。
技术实现思路
为了解决现有技术中的缺陷，本专利技术提供了一种基于数据表分区的数据采集方法及系统，在对分区的数据分布不均且按照时间维度变化的数据表进行数据采集时，通过引用了滑动窗及动态调整采集参数表，具有提高资源利用率、采集作业的利用率以及采集效率的有益效果。为了实现上述目的，本专利技术提供了一种基于数据表分区的数据采集方法，该方法包括：获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述无数据的月份为所述滑动窗之外的月份；根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表；所述采集作业为对数据表中的各分区的数据进行采集的操作；根据所述采集参数表对各所述分区执行对应编号的采集作业。本专利技术还提供了一种基于数据表分区的数据采集系统，该系统包括：获取单元，用于获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；有数据的月份及无数据的月份确定单元，用于根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述无数据的月份为所述滑动窗之外的月份；采集参数表生成单元，用于根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表；所述采集作业为对数据表中的各分区的数据进行采集的操作；采集作业执行单元，用于根据所述采集参数表对各所述分区执行对应编号的采集作业。本专利技术还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述无数据的月份为所述滑动窗之外的月份；根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表；所述采集作业为对数据表中的各分区的数据进行采集的操作；根据所述采集参数表对各所述分区执行对应编号的采集作业。本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述无数据的月份为所述滑动窗之外的月份；根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表；所述采集作业为对数据表中的各分区的数据进行采集的操作；根据所述采集参数表对各所述分区执行对应编号的采集作业。本专利技术提供了一种基于数据表分区的数据采集方法及系统，包括：获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述无数据的月份为所述滑动窗之外的月份；根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表；所述采集作业为对数据表中的各分区的数据进行采集的操作；根据所述采集参数表对各所述分区执行对应编号的采集作业。本专利技术具有提高资源利用率、采集作业的利用率以及采集效率的有益效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提供的一种基于数据表分区的数据采集方法流程图；图2是本专利技术一实施例中的基于数据表分区的数据采集方法流程图；图3是本专利技术一实施例中的一种有数据的月份及无数据的月份与分区的对应结构图；图4是本专利技术一实施例中的另一种有数据的月份及无数据的月份与分区的对应结构图；图5是是本专利技术提供的一种基于数据表分区的数据采集系统的结构示意图；图6是本专利技术一实施例中的采集参数表生成单元103的结构示意图；图7是本专利技术一实施例中的采集作业执行单元104的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。关于本文中所使用的“第一”、“第二”、……等，并非特别指称次序或顺位的意思，亦非用以限定本专利技术，其仅为了区别以相同技术用语描述的元件或操作。关于本文中所使用的“电性耦接”，可指二或多个元件相互直接作实体或电性接触，或是相互间接作实体或电性接触，而“电性耦接”还可指两个或多个元件相互操作或动作。关于本文中所使用的“包含”、“包括”、“具有”、“含有”等等，均为开放性的用语，即意指包含但不限于。关于本文中所使用的“及/或”，包括所述事物的任一或全部组合。关于本文中所使用的方向用语，例如：上、下、左、右、前或后等，仅是参考附加图式的方向。因此，使用的方向用语是用来说明并非用来限制本案。针对现有技术中存在的缺陷，本专利技术提供了一种方法，其流程图如图1所示，该方法包括：为了解决现有技术中的缺陷，本专利技术提供了一种基于数据表分区的数据采集方法及系统，本专利技术通过为有数据的分区分配较多的采集作业，为无数据部分分配较少的采集作业，具有提高资源利用率、采集作业的利用率以及数据的采集效率的有益效果。为了实现上述目的，本专利技术提供的基于数据表分区的数据采集方法，其流程图如图1所示，该方法包括：S101：获取待采集的数据表信息及滑动窗；数据表信息包括：各分区的编号以及各分区对应的月份；滑动窗的长度代表包括当前采集月份在内的月份的个数。S102：根据滑动窗及当前采集月份确定有数据的月份及无数据的月份；有数据的月份为滑动窗之内的月份；无数据的月份为滑动窗之外的月份。S103：根据各采集作业的编号、各分区的编号以及各分区对应的月份生成采集参数表；采集作业为对数据表中的各分区的数据进行采集的操作。本文档来自技高网...

【技术保护点】
1.一种基于数据表分区的数据采集方法，其特征在于，包括：获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述无数据的月份为所述滑动窗之外的月份；根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表；所述采集作业为对数据表中的各分区的数据进行采集的操作；根据所述采集参数表对各所述分区执行对应编号的采集作业。

【技术特征摘要】
1.一种基于数据表分区的数据采集方法，其特征在于，包括：获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述无数据的月份为所述滑动窗之外的月份；根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表；所述采集作业为对数据表中的各分区的数据进行采集的操作；根据所述采集参数表对各所述分区执行对应编号的采集作业。2.根据权利要求1所述的基于数据表分区的数据采集方法，其特征在于，所述根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表，包括：将任选的两个采集作业的编号分配到所述无数据的月份对应的分区；将除了所述两个采集作业的编号之外的采集作业的编号全部分配到所述有数据的月份对应的分区；根据各所述采集作业的编号、各所述分区的编号以及各所述采集作业的编号对应的所述无数据的月份及所述有数据的月份，生成采集参数表。3.根据权利要求2所述的基于数据表分区的数据采集方法，其特征在于，所述将任选的两个采集作业的编号分配到所述无数据的月份对应的分区，包括：当所述无数据的月份分布于所述有数据的月份的两侧时，将所述两个采集作业的编号中的一个编号分配到一侧无数据的月份对应的分区，另一个编号分配到另一侧无数据的月份对应的分区。4.根据权利要求2所述的基于数据表分区的数据采集方法，其特征在于，所述将除了所述两个采集作业的编号之外的采集作业的编号全部分配到所述有数据的月份对应的分区，包括：当所述有数据的月份为跨年的连续月份时，将除了所述两个采集作业的编号之外的一部分采集作业的编号分配到一年份内的有数据的月份对应的分区，另一部分采集作业的编号分配到另一年份内有数据的月份对应的分区。5.根据权利要求1所述的基于数据表分区的数据采集方法，其特征在于，所述根据所述采集参数表对各所述分区执行对应编号的采集作业，包括：根据所述采集参数表，获取各所述采集作业的编号对应的分区；根据所述分区对应的采集作业的编号对各所述分区并行执行数据采集。6.一种基于数据表分区的数据采集系统，其特征在于，包括：获取单元，用于获取待采集的数据表信息及滑动窗；所述数据表信息包括：各分区的编号以及各分区对应的月份；所述滑动窗的长度代表包括当前采集月份在内的月份的个数；有数据的月份及无数据的月份确定单元，用于根据所述滑动窗及当前采集月份确定有数据的月份及无数据的月份；所述有数据的月份为所述滑动窗之内的月份；所述无数据的月份为所述滑动窗之外的月份；采集参数表生成单元，用于根据各采集作业的编号、各所述分区的编号以及各所述分区对应的月份生成采集参数表；所述采集作业为对数据表中的各分区的数据进行采集的操作；采集作业执行单元，用于根据所述采集参数表...

【专利技术属性】
技术研发人员：石宇楠，化金龙，尹杰，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：北京,11