【技术实现步骤摘要】
本申请涉及金融科技(fintech)，尤其涉及一种数据处理方法、装置、电子设备及存储介质。
技术介绍
1、随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求。
2、在数据仓库的建设工作中，经常会碰到一些较大的分区表，其中，每个分区都是对应时间的全量切片数据。随着业务的快速增长，分区越来越多，每个分区的数据也越来越大，在需要对数据进行增加或修改时，例如有些存量字段的口径需要修改，或者是新的业务需要添加一些新的字段，在这些情况下，就需要刷新全量或部分历史分区。
3、然而，目前数据刷新的操作中包含有大量的手工操作，导致数据刷新的效率较低，且数据刷新后表的可用性和准确性得不到保障。
技术实现思路
1、本申请的主要目的在于提供一种数据处理方法、装置、电子设备及存储介质，旨在解决相关技术中数据刷新的效率较低且数据刷新后表的可用性和准确性较低的技术问题。
2、为实现上述目的，本申请提供一种数据处理方法，所述数据处理方法包括以下步骤：
3、获取待刷新数据表、数据刷新时间配置文件以及数据刷新脚本配置文件；
4、通过多个节点基于所述数据刷新时间配置文件以及所述数据刷新脚本配置文件，对所述待刷新数据表进行数据刷新。
5、本申请还提供一种数据处理装置，所述数据处理装置包括：
6、获取模块，用于获取待刷新数据表、数据刷新时间配置文件以及数据刷新
7、数据刷新模块，用于通过多个节点基于所述数据刷新时间配置文件以及所述数据刷新脚本配置文件，对所述待刷新数据表进行数据刷新。
8、本申请还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述的数据处理方法的程序，所述的数据处理方法的程序被处理器执行时可实现如上述的数据处理方法的步骤。
9、本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现数据处理方法的程序，所述的数据处理方法的程序被处理器执行时实现如上述的数据处理方法的步骤。
10、本申请提供了一种数据处理方法、装置、电子设备及存储介质，通过获取待刷新数据表、数据刷新时间配置文件以及数据刷新脚本配置文件，实现了数据刷新脚本和数据刷新时间的配置化；进而通过多个节点基于所述数据刷新时间配置文件以及所述数据刷新脚本配置文件，对所述待刷新数据表进行数据刷新，实现了多节点并行执行数据刷新任务，可以成倍地减少数据刷新所需的时间。一方面，在多节点并行执行数据刷新任务的情况下，每个节点对应的脚本中会存在大量重复的代码，相比于人工复制数据刷新脚本、修改时间参数、控制整个刷数的流程等操作，通过数据刷新脚本和数据刷新时间的配置化处理，可以只需要对数据刷新时间配置文件和数据刷新脚本配置文件进行维护，就可以在刷新数据时，使得节点通过调用维护好的数据刷新时间配置文件和数据刷新脚本配置文件，实现整个数据刷新过程的自动化执行，而无需人工进行大量的复制、粘贴、修改等操作。另一方面，通过数据刷新时间配置文件可以实现节点与业务逻辑的解耦合，也即，在数据刷新时，可以无需依赖于业务逻辑进行数据刷新任务的分配，而是可以通过维护数据刷新时间配置文件实现基于数据刷新时间为各个节点分配数据刷新任务，这样，可以有效避免并行执行数据刷新任务时不同的任务需要同时对相同的数据进行处理的情况，从而可以减少数据刷新出错。因此克服了目前数据刷新的操作中包含有大量的手工操作，导致数据刷新的效率较低，且数据刷新后表的可用性和准确性得不到保障的技术缺陷，可以并行地对待刷新数据表中的不同时间的数据进行处理，从而可以在保证数据刷新后表的可用性和准确性的情况下，成倍地减少数据刷新所需的时间，提高数据刷新效率。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：
2.如权利要求1所述的数据处理方法，其特征在于，获取待刷新数据表的步骤包括：
3.如权利要求2所述的数据处理方法，其特征在于，所述复制所述原始数据表，得到待刷新数据表的步骤包括：
4.如权利要求1所述的数据处理方法，其特征在于，所述通过多个节点基于所述数据刷新时间配置文件以及所述数据刷新脚本配置文件，对所述待刷新数据表进行数据刷新的步骤包括：
5.如权利要求4所述的数据处理方法，其特征在于，所述数据时间信息包括刷新分区开始时间和刷新分区截止时间；所述通过各所述节点根据各自对应的数据刷新时间信息和所述数据刷新脚本配置文件，对所述待刷新数据表进行数据刷新的步骤包括：
6.如权利要求5所述的数据处理方法，其特征在于，所述数据时间信息还包括节点启动控制参数；所述分别将各所述节点各自对应的刷新分区开始时间和各自对应的刷新分区截止时间写入所述数据刷新脚本配置文件中的待刷新数据起止时间字段，生成各所述节点各自对应的数据刷新任务脚本的步骤包括：
7.如权利要求
8.一种数据处理装置，其特征在于，所述数据处理装置包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有实现数据处理方法的程序，所述实现数据处理方法的程序被处理器执行以实现如权利要求1至7中任一项所述的数据处理方法的步骤。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述数据处理方法包括以下步骤：
2.如权利要求1所述的数据处理方法，其特征在于，获取待刷新数据表的步骤包括：
3.如权利要求2所述的数据处理方法，其特征在于，所述复制所述原始数据表，得到待刷新数据表的步骤包括：
4.如权利要求1所述的数据处理方法，其特征在于，所述通过多个节点基于所述数据刷新时间配置文件以及所述数据刷新脚本配置文件，对所述待刷新数据表进行数据刷新的步骤包括：
5.如权利要求4所述的数据处理方法，其特征在于，所述数据时间信息包括刷新分区开始时间和刷新分区截止时间；所述通过各所述节点根据各自对应的数据刷新时间信息和所述数据刷新脚本配置文件，对所述待刷新数据表进行数据刷新的步骤包括：
6.如权利要求5所述...
【专利技术属性】
技术研发人员：曹敏，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。