基于矩阵的主机中增量数据采集方法及装置制造方法及图纸

本发明专利技术公开了一种基于矩阵的主机中增量数据采集方法及装置，涉及金融领域，该方法包括：确定源表中的增量客户号；建立源表及源表中的增量客户号和目标文件的矩阵映射关系表；基于矩阵映射关系表，确定每个目标文件对应的增量客户合集，根据增量客户合集访问源表，得到输出的目标文件。本发明专利技术可以通过建立的矩阵映射关系表，使得每个文件所需增量的客户号的得到只需要源表的增量客户号的一次运行就能得到，使程序的运行效率得到提高；每个文件所需增量的客户号通过矩阵的配置就可以实现，而不用在代码中用硬代码来实现其关系，因此可以提高开发效率，减少代码维护工作。减少代码维护工作。减少代码维护工作。

【技术实现步骤摘要】
基于矩阵的主机中增量数据采集方法及装置


[0001]本专利技术涉及金融领域，尤其涉及基于矩阵的主机中增量数据采集方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]在数据同步或者数据迁移的很多场景，都需要从源系统采集数据。往往这些采集的数据都带有一个主题，例如客户信息。例如文件1为客户通讯信息，文件2为客户签约信息。每个文件需要在源系统的N个表中进行数据采集。N个表之间的关联是客户号。
[0004]一般来说，银行系统在增量数据采集(在第一次采集所有的数据内容，后续采集的时候只需要采集每日新增和修改的数据)的时候，会涉及需要将多个表的字段组合成一个文件下传的情况。即文件1的组成结构是源表A，B，C的部分字段组合而成。图1所示，文件1的记录中，客户号作为主键或者主键之一，将源表A，B，C的内容进行串联起来。源表A，B，C中的字段内容都有客户号。
[0005]如果是增量数据采集，目前一般的实现方案是：
[0006]1、首先将每个源表的增量客户提取出来。
[0007]2、根据每个输出文件，分别合并对应的源表的增量客户号，去重取得增量的合集。
[0008]3、根据每个增量客户号的合集访问A/B/C源表获取其他客户信息。
[0009]4、文件之间没有关联和交互。
[0010]例如在这个场景中，则需要将源表A中变化客户号集合X，源表B中变化客户号集合Y，源表C中变化客户号集合Z，将三个表中有变化的客户号的X，Y，Z集合取其客户号合集，利用合集中的客户号来分别访问源表A，B，C，获取文件1所需的其他字段(即客户号外的其他客户信息数据项。对于不同的输出文件，对应的数据项不一样)，完成增量的采集步骤。
[0011]以上是文件1的增量采集原理。
[0012]但是，如图2所示，如果文件有多个文件，例如文件1、文件2、文件3，而且文件之间的源文件有交叉的时候，例如文件1的源文件为源表A，B，C，文件2的源文件为源表A，C，D，文件3的源文件为源表B，D，采用传统的实现方法会面临效率比较低下的情况。
[0013]例如根据图2可知，当文件之间有相同的数据源表的时候，取增量合集的时候，就会出现以下缺点：
[0014]1、数据冗余。例如如图3所示，文件1/2，都合并了A/C增量数据，文件2/3都合并了源表D的增量。
[0015]2、增加开发量。每增加一个文件，即使是复用现有的增加数据源，也要增加客户号增量合集的开发工作。

技术实现思路

[0016]本专利技术实施例提供一种基于矩阵的主机中增量数据采集方法，该方法包括：
[0017]确定源表中的增量客户号；
[0018]建立源表及源表中的增量客户号和目标文件的矩阵映射关系表；
[0019]基于矩阵映射关系表，确定每个目标文件对应的增量客户合集，根据增量客户合集访问源表，得到输出的目标文件。
[0020]本专利技术实施例还提供一种基于矩阵的主机中增量数据采集装置，该装置包括：
[0021]源表增量获取模块，用于确定源表中的增量客户号；
[0022]文件对应增量客户获取模块，用于建立源表及源表中的增量客户号和目标文件的矩阵映射关系表；
[0023]文件信息获取模块，用于基于矩阵映射关系表，确定每个目标文件对应的增量客户合集，根据增量客户合集访问源表，得到输出的目标文件。
[0024]本专利技术实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于矩阵的主机中增量数据采集方法。
[0025]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于矩阵的主机中增量数据采集方法。
[0026]本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述基于矩阵的主机中增量数据采集方法。
[0027]本专利技术实施例中，与现有技术中由于文件之间有相同的数据源表，取增量合集效率比较低下的技术方案相比，通过确定源表中的增量客户号；建立源表及源表中的增量客户号和目标文件的矩阵映射关系表；基于矩阵映射关系表，确定每个目标文件对应的增量客户合集，根据增量客户合集访问源表，得到输出的目标文件。本专利技术可以通过建立的矩阵映射关系表，使得每个文件所需增量的客户号的得到只需要源表的增量客户号的一次运行就能得到，使程序的运行效率得到提高；每个文件所需增量的客户号通过矩阵的配置就可以实现，而不用在代码中用硬代码来实现其关系，因此可以提高开发效率，减少代码维护工作。
附图说明
[0028]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0029]图1为现有技术中文件1的客户号记录示意图；
[0030]图2为现有技术中文件对应的源表示意图；
[0031]图3为现有技术中进行增量数据采集的方法示意图；
[0032]图4为本专利技术实施例中一种基于矩阵的主机中增量数据采集方法示意图；
[0033]图5为本专利技术实施例中一种基于矩阵的主机中增量数据采集方法具体实现示意图；
[0034]图6为本专利技术实施例中基于矩阵的主机中增量数据采集装置结构框图。
具体实施方式
[0035]为使本专利技术实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本专利技术实施例做进一步详细说明。在此，本专利技术的示意性实施例及其说明用于解释本专利技术，但并不作为对本专利技术的限定。
[0036]图4为本专利技术实施例中一种基于矩阵的主机中增量数据采集方法示意图，如图4所示，该方法包括：
[0037]步骤101：确定源表中的增量客户号(客户号会有冗余)；
[0038]步骤102：建立源表及源表中的增量客户号和目标文件的矩阵映射关系表；
[0039]步骤103：基于矩阵映射关系表，确定每个目标文件对应的增量客户合集，根据增量客户合集访问源表，得到输出的目标文件。
[0040]在本专利技术实施例中，步骤102建立源表及源表中的增量客户号和目标文件的矩阵映射关系表，可以包括：
[0041]矩阵映射关系表的纵列为源表以及源表中的增量客户号清单，横列为目标文件清单，矩阵映射关系表的交叉内容表示目标文件中是否包括相应源表及源表中的增量客户号，用不同标识表示。
[0042]或，矩阵映射关系表的横列为源表以及源表中的增量客户号清单，纵列为目标文件清单，矩阵映射关系表的交叉内容表示目标文件中是否包括相应源表及源表中的增量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于矩阵的主机中增量数据采集方法，其特征在于，包括：确定源表中的增量客户号；建立源表及源表中的增量客户号和目标文件的矩阵映射关系表；基于矩阵映射关系表，确定每个目标文件对应的增量客户合集，根据增量客户合集访问源表，得到输出的目标文件。2.如权利要求1所述的基于矩阵的主机中增量数据采集方法，其特征在于，建立源表及源表中的增量客户号和目标文件的矩阵映射关系表，包括：矩阵映射关系表的纵列为源表以及源表中的增量客户号清单，横列为目标文件清单，矩阵映射关系表的交叉内容表示目标文件中是否包括相应源表及源表中的增量客户号，用不同标识表示。3.如权利要求1所述的基于矩阵的主机中增量数据采集方法，其特征在于，建立源表及源表中的增量客户号和目标文件的矩阵映射关系表，包括：矩阵映射关系表的横列为源表以及源表中的增量客户号清单，纵列为目标文件清单，矩阵映射关系表的交叉内容表示目标文件中是否包括相应源表及源表中的增量客户号，用不同标识表示。4.如权利要求2或3所述的基于矩阵的主机中增量数据采集方法，其特征在于，基于矩阵映射关系表，确定每个目标文件对应的增量客户合集，根据增量客户合集访问源表，得到输出的目标文件，包括：基于矩阵映射关系表，对相同的增量客户号进行累加，得到每个目标文件对增量客户号的需求频次；若所述需求频次大于等于1，则根据增量客户合集访问源表中的除客户号外的其他客户信息数据项，得到输出的目标文件。5.一种基于矩阵的主机中增量数据采集装置，其特征在于，包括：源表增量获取模块，用于确定源表中的增量客户号；文件对应增量客户获取模块，用于建立源表及源表中的增量客户号和目标文件的矩阵映射关系表；文件信息获取模块，用于基于矩阵映射关系表，确定每...

【专利技术属性】
技术研发人员：彭丰华，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：