数据归集方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种数据归集方法、装置、计算机设备和存储介质。方法包括：当获取得到数据归集请求时，响应于数据归集请求，确定数据归集请求的请求参数；请求参数包括时间参数；根据时间参数，确定与数据归集请求相对应的目标归集策略；确定多个数据源中的与目标归集策略相对应的目标数据源，并从目标数据源中筛选出与请求参数相对应的目标归集数据；对目标归集数据进行归集处理，得到数据归集结果。采用本方法能够提高数据归集的准确性。方法能够提高数据归集的准确性。方法能够提高数据归集的准确性。

【技术实现步骤摘要】
数据归集方法、装置、计算机设备和存储介质


[0001]本申请涉及计算机
，特别是涉及一种数据归集方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着计算机技术的发展，用户多通过线上支付方式进行交易，从而产生多个业务数据，企业在获取到用户的业务数据后，需要进行数据归集处理，也即将业务数据汇总到企业指定账户的过程。
[0003]目前，当企业需要对业务数据进行归集处理时，通常直接从数据库中获取预先存储好的数据，再逐一对获取的数据进行归集处理。然而，由于需要预先将业务数据存储在数据库中后才能进行归集处理，而现实交易过程中的业务数据的数量会实时增加，从而造成无法准确归集所有数据的问题。因此，如何对数量实时增加的业务数据进行归集，从而提高数据归集的准确性是本公开需要解决的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据归集的准确性的数据归集方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种数据归集方法。所述方法包括：当获取得到数据归集请求时，响应于所述数据归集请求，确定所述数据归集请求的请求参数；所述请求参数包括时间参数；根据所述时间参数，确定与所述数据归集请求相对应的目标归集策略；确定多个数据源中的与所述目标归集策略相对应的目标数据源，并从所述目标数据源中筛选出与所述请求参数相对应的目标归集数据；对所述目标归集数据进行归集处理，得到数据归集结果。
[0006]在其中一个实施例中，所述根据所述时间参数，确定与所述数据归集请求相对应的目标归集策略，包括：获取目标时间段；当所述时间参数包括所述目标时间段时，确定所述目标归集策略为第一归集策略；所述第一归集策略为对所述目标时间段的数据进行动态归集的策略；所述确定多个数据源中的与所述目标归集策略相对应的目标数据源，包括：将预设数据库和动态数据库作为所述第一归集策略对应的目标数据源；所述动态数据库中存储了在分布式集群上动态采集的数据。
[0007]在其中一个实施例中，所述根据所述时间参数，确定与所述数据归集请求相对应的目标归集策略，包括：获取目标时间段；当所述时间参数不包括所述目标时间段时，确定所述目标归集策略为第二归集策略；所述第二归集策略为对非目标时间段内的数据进行归集的策略；所述确定多个数据源中的与所述目标归集策略相对应的目标数据源，包括：将预设数据库作为所述第二归集策略对应的目标数据源。
[0008]在其中一个实施例中，所述数据归集方法由数据归集组件执行；所述数据归集组
件包括配置了所述目标数据源的存储模块；所述存储模块包括至少一个主节点、以及每个所述主节点各自管理的至少一个从节点；所述从所述目标数据源中筛选出与所述请求参数相对应的目标归集数据，包括：当所述目标归集策略为第一归集策略时，获取预先配置的主节点与请求类型之间的目标关联关系；根据所述目标关联关系，从所述存储模块的至少一个主节点中筛选出与所述数据归集请求相对应的目标主节点；根据所述时间参数，从所述目标主节点管理的至少一个从节点中筛选出目标从节点，并从所述目标从节点中读取目标归集数据。
[0009]在其中一个实施例中，所述数据归集方法由数据归集组件执行；所述数据归集组件包括计算模块和预设数据库；所述预设数据库包括归集数据表；所述对所述目标归集数据进行归集处理，得到数据归集结果，包括：根据所述请求参数中的请求类型对所述计算模块进行触发，并从所述代码文件集中筛选出执行所述归集处理时所需的目标代码文件；对所述预设数据库中的归集数据表进行初始化，得到临时数据表；将所述目标归集数据填充至所述临时数据表中，得到目标数据表；运行所述目标代码文件所指示的代码，以对所述目标数据表进行归集处理，得到数据归集结果。
[0010]在其中一个实施例中，所述目标归集数据包括账户标识和至少一个项目类别字段；所述对所述目标归集数据进行归集处理，得到数据归集结果，包括：确定各所述目标归集数据各自对应的账户标识和至少一个项目类别字段；根据所述账户标识对所述目标归集数据进行分组，得到至少一组目标归集数据集；所述目标归集数据集包含至少一个目标归集数据；对于多组目标归集数据集中的每组目标归集数据集，均将当前目标归集数据集中带有相同项目类别字段的字段数据分别进行叠加，得到当前目标归集数据集对应的归集子结果；综合各目标归集数据集各自对应的归集子结果，得到数据归集结果。
[0011]在其中一个实施例中，所述数据归集方法由数据归集组件执行；所述数据归集组件包括的计算模块和存储模块运行在分布式集群上；所述存储模块中包括多个主节点；所述计算模块和所述存储模块通过代码文件进行关联配置；所述代码文件的关联过程包括：通过所述计算模块，当获取代码文件关联任务时，确定所述代码文件关联任务对应的运行环境和代码文件，并将所述代码文件发送至所述存储模块；通过所述计算模块，根据所述运行环境，确定执行所述代码文件需要的资源，并将所述资源发送至所述存储模块；通过所述存储模块，从多个主节点中确定与所述资源相对应的主节点、以及确定所述代码文件关联任务的任务类型，并将所述任务类型与所述主节点进行关联，得到目标关联关系；所述任务类型与通过所述代码文件执行相关请求时对应的请求类型相同；通过所述存储模块，获取所述计算模块发送的代码文件，并根据所述代码文件在所述主节点中配置至少一个从节点。
[0012]在其中一个实施例中，所述方法还包括；通过终端，展示数据归集界面；所述数据归集界面中显示有时间区域和归集控件；通过所述终端，响应于针对所述时间区域的选择操作，确定所述选择操作所选中的时间参数；通过所述终端，响应于针对所述归集控件的触发操作，根据所述时间参数生成数据归集请求；通过所述终端，获取响应于所述数据归集请求所得到的数据归集结果，展示所述数据归集结果。
[0013]在其中一个实施例中，所述数据归集结果包括多条已归集数据；所述已归集数据包括账户标识和项目类别数据；所述数据归集界面中显示有历史归集列表，所述历史归集
列表包括数据信息和表头信息；所述展示所述数据归集结果，包括：当接收到数据归集结果时，将所述历史归集列表中的数据信息进行删除，得到仅包括所述表头信息的空置列表；根据所述已归集数据中的账户标识，确定所述已归集数据在所述空置列表中的目标归集区域；将所述已归集数据中的项目类别数据填充至目标归集区域中。
[0014]第二方面，本申请还提供了一种数据归集装置。所述装置包括：请求获取模块，用于当获取得到数据归集请求时，响应于所述数据归集请求，确定所述数据归集请求的请求参数；所述请求参数包括时间参数；策略确定模块，用于根据所述时间参数，确定与所述数据归集请求相对应的目标归集策略；结果确定模块，用于确定多个数据源中的与所述目标归集策略相对应的目标数据源，并从所述目标数据源中筛选出与所述请求参数相对应的目标归集数据；对所述目标归集数据进行归集处理，得到数据归集结果。
[0015]第三方面，本申请还提供了一种计算机设备。所述计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据归集方法，其特征在于，所述方法包括：当获取得到数据归集请求时，响应于所述数据归集请求，确定所述数据归集请求的请求参数；所述请求参数包括时间参数；根据所述时间参数，确定与所述数据归集请求相对应的目标归集策略；确定多个数据源中的与所述目标归集策略相对应的目标数据源，并从所述目标数据源中筛选出与所述请求参数相对应的目标归集数据；对所述目标归集数据进行归集处理，得到数据归集结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述时间参数，确定与所述数据归集请求相对应的目标归集策略，包括：获取目标时间段；当所述时间参数包括所述目标时间段时，确定所述目标归集策略为第一归集策略；所述第一归集策略为对所述目标时间段的数据进行动态归集的策略；所述确定多个数据源中的与所述目标归集策略相对应的目标数据源，包括：将预设数据库和动态数据库作为所述第一归集策略对应的目标数据源；所述动态数据库中存储了在分布式集群上动态采集的数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述时间参数，确定与所述数据归集请求相对应的目标归集策略，包括：获取目标时间段；当所述时间参数不包括所述目标时间段时，确定所述目标归集策略为第二归集策略；所述第二归集策略为对非目标时间段内的数据进行归集的策略；所述确定多个数据源中的与所述目标归集策略相对应的目标数据源，包括：将预设数据库作为所述第二归集策略对应的目标数据源。4.根据权利要求1所述的方法，其特征在于，所述数据归集方法由数据归集组件执行；所述数据归集组件包括配置了动态数据库的存储模块；所述存储模块包括至少一个主节点、以及每个所述主节点各自管理的至少一个从节点；所述从所述目标数据源中筛选出与所述请求参数相对应的目标归集数据，包括：当所述目标归集策略为第一归集策略时，获取预先配置的主节点与请求类型之间的目标关联关系；根据所述目标关联关系，从所述存储模块的至少一个主节点中筛选出与所述数据归集请求相对应的目标主节点；根据所述时间参数，从所述目标主节点管理的至少一个从节点中筛选出目标从节点，并从所述目标从节点中读取目标归集数据。5.根据权利要求1所述的方法，其特征在于，所述数据归集方法由数据归集组件执行；所述数据归集组件包括计算模块和预设数据库；所述预设数据库包括归集数据表；所述对所述目标归集数据进行归集处理，得到数据归集结果，包括：根据所述请求参数的请求类型对所述计算模块进行触发，并从所述代码文件集中筛选出执行所述归集处理时所需的目标代码文件；对所述预设数据库中的归集数据表进行初始化，得到临时数据表；将所述目标归集数据填充至所述临时数据表中，得到目标数据表；
运行所述目标代码文件所指示的代码，以对所述目标数据表进行归集处理，得到数据归集结果。6.根据权利要求1所述的方法，其特征在于，所述目标归集数据包括账户标识和至少一个项目类别字段；所述项目类别字段包括字段数据；所述对所述目标归集数据进行归集处理，得到数据归集结果，包括：确定各所述目标归集数据各自对应的账户标识和至少一个项目类别字段；根据所述账户标识对所述目标归集数据进行分组，得到至少一组目标归集数据集；所述目标归集数据集包含至...

【专利技术属性】
技术研发人员：张民遐，刘冲，
申请(专利权)人：深圳高灯计算机科技有限公司，
类型：发明
国别省市：