【技术实现步骤摘要】
本申请涉及通信计算机，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
1、数字化时代的今天，很多工作往往需要处理大量数据，就比如商家在双11期间，会收到大量的客户订单信息，人们对这种基数很大的信息进行处理时，常见的方式是造数(提取数据)，目前，市面上对造数的通用技术手段分为两种，一种为手工构造，另一种为对已有数据记录提取数据。但是手工造数在客户信息基数过多时，测试人员容易输入错误信息，导致造数出错，中途出现问题排查困难；且在造数时，需要针对不同数据种类设置不同取值，对测试人员的逻辑思维要求较高，对测试人员前期的培训投入成本高；如果在已有的数据记录中提取数据，虽然不需要自己构造数据，但是存在已有数据不满足业务需要，还是需要手工修改，修改耗时较长，且修改时容易出现纰漏，导致无法满足测试需求。
2、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
1、本申请的主要目的在于提供一种数据处理方法、装置、设备及存储介质，旨在解决传统造数方式容易出现造数效率低，难以满足实际应用需求的问题。
2、为实现上述目的，本申请提供一种数据处理方法，所述方法包括以下步骤：
3、获取不同系统中客户的数据记录信息，将获取到的数据记录信息分别录入至第一记录数据库和第二记录数据库中，其中，所述第一记录数据库包括客户属性sheet页，所述第二记录数据库中包括客户参数sheet页；
4、基于预设自定义的关联规则，将第一记录
5、可选地，所述获取不同系统中客户的数据记录信息，将获取到的数据记录信息分别录入至第一记录数据库和第二记录数据库中的步骤，包括：
6、从数据记录信息中提取出数据要素；
7、根据种类，对不同数据要素进行划分，得到不同集合，其中，所述种类的细分细粒度是自定义的，或者该细分细粒度是基于当前业务需求确定的；
8、将不同的集合中的数据要素分别录入至第一记录数据库和第二记录数据库中。
9、可选地，所述基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果的步骤，包括：
10、基于预设自定义的关联规则，确定关联的类型以及关联的数据要素；
11、其中，所述关联的类型包括拼接、筛选或者修改；
12、基于关联的类型以及关联的数据要素，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果；
13、其中，关联后的结果中标记关联的类型以及关联的内容。
14、可选地，所述获取不同系统中客户的数据记录信息，将获取到的数据记录信息分别录入至第一记录数据库和第二记录数据库中的步骤之前，包括：
15、确定客户的数据类型，其中，所述数据类型包括mysql、es、hbase、redis类型的数据；
16、所述基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果的步骤，包括：
17、基于所述客户的数据类型以及基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果。
18、可选地，如果所述关联的类型包括修改，
19、所述基于关联的类型以及关联的数据要素，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果的步骤，包括：
20、基于预设标识，确定修改类型，其中，预设标识包括&&；
21、基于修改类型，确定修改内容；
22、基于所述修改内容以及关联的数据要素，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果。
23、可选地，所述基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果的步骤之后，包括：
24、确定所述关联后的结果的属性信息；
25、基于所述属性信息以及本地的造数规则，定位所述关联后的结果在对应的数据库中的位置；
26、基于定位后的位置，将关联后的结果插入到对应的数据库中，并对应修改数据库中各个表格的顺序。
27、可选地，所述基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果的步骤之后，包括：
28、通过所接收到造数规则，确定是否需要生成随机变量；
29、若需要生成随机变量，则获取第二记录数据库中客户参数sheet页；
30、基于客户参数sheet页中不同变量的属性以及所述随机变量的属性，聚合生成所需要的变量值。
31、此外，为实现上述目的，本申请还提供一种数据处理装置，所述装置包括：
32、获取模块，用于获取不同系统中客户的数据记录信息，将获取到的数据记录信息分别录入至第一记录数据库和第二记录数据库中，其中，所述第一记录数据库包括客户属性sheet页，所述第二记录数据库中包括客户参数sheet页；
33、关联模块，用于基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果，其中，预设自定义的关联规则定义数据库与数据库之间的关联关系，并通过相应python代码段进行实现。
34、此外，为实现上述目的，本申请还提供一种数据处理设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序配置为实现如上述任一项所述的数据处理方法的步骤。
35、此外，为实现上述目的，本申请还提供一种存储介质，所述存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如上述所述的数据处理方法的步骤。
36、与现有技术中，需要通过人工手动造数，或者修改数据，造成造数效率低下，无法满足实际应用需求相比，在本申请中，通过获取不同系统中客户的数据记录信息，将获取到的数据记录信息分别录入至第一记录数据库和第二记录数据库中，其中，所述第一记录数据库包括客户属性sheet页，所述第二记录数据库中包括客户参数sheet页；基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果，其中，预设自定义的关联规则定义数据库与数据库之间的关联关系，并通过相应python代码段进行实现，可以理解，在本申请中，将获取到的数据记录信息分别录入至第一记录数据库和第二记录数据库中后，通过预设自定义的关联规则定义数据库与数据库之间的关联关系，并通过相应python代码段进行实现，此时，不需要人工手动造数，或者修改数据，只需要按规则自定义表与表之间的逻辑关系，并自动生成对应数据，进而，提升了造数效率。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的数据处理方法，其特征在于，所述获取不同系统中客户的数据记录信息，将获取到的数据记录信息分别录入至第一记录数据库和第二记录数据库中的步骤，包括：
3.如权利要求2所述的数据处理方法，其特征在于，所述基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果的步骤，包括：
4.如权利要求3所述的数据处理方法，其特征在于，所述获取不同系统中客户的数据记录信息，将获取到的数据记录信息分别录入至第一记录数据库和第二记录数据库中的步骤之前，包括：
5.如权利要求3所述的数据处理方法，其特征在于，如果所述关联的类型包括修改，
6.如权利要求1所述的数据处理方法，其特征在于，所述基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果的步骤之后，包括：
7.如权利要求1-6任意一项的数据处理方法，其特征在于，所述基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联
8.一种数据处理装置，其特征在于，所述装置包括：
9.一种数据处理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序配置为实现如权利要求1至7中任一项所述的数据处理方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至7任一项所述的数据处理方法的步骤。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括以下步骤：
2.如权利要求1所述的数据处理方法，其特征在于，所述获取不同系统中客户的数据记录信息，将获取到的数据记录信息分别录入至第一记录数据库和第二记录数据库中的步骤，包括：
3.如权利要求2所述的数据处理方法，其特征在于，所述基于预设自定义的关联规则，将第一记录数据库和第二记录数据库中的数据关联，并输出关联后的结果的步骤，包括：
4.如权利要求3所述的数据处理方法，其特征在于，所述获取不同系统中客户的数据记录信息，将获取到的数据记录信息分别录入至第一记录数据库和第二记录数据库中的步骤之前，包括：
5.如权利要求3所述的数据处理方法，其特征在于，如果所述关联的类型包括修改，
6.如权利要求1所述的数据处理方法，其特征在...
【专利技术属性】
技术研发人员：蒲成杰，王宇，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。