【技术实现步骤摘要】
本专利技术涉及金融科技领域或其他相关，具体而言，涉及一种数据处理方法、装置、存储介质及电子设备。
技术介绍
1、目前，各金融机构开始进行数字化转型，与此同时各金融机构对数据质量的要求越来越高。相关技术中，对每个应用系统的数据进行数据抽取，然后基于专家规则对抽取到的数据的数据质量进行评估，由于金融机构中一般包含多个应用系统，多个应用系统之间的数据可能存在相关关系，因此，对单一应用系统的数据质量进行评估，存在评估结果的准确率低的情况。
2、针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种数据处理方法、装置、存储介质及电子设备，以至少解决相关技术中对金融机构的每个系统的数据的数据质量进行评估，数据质量评估结果的准确率低的技术问题。
2、根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：从m个目标金融系统的数据库中获取目标数据，其中，所述目标金融系统是指在当前时段由金融机构使用的业务系统，每种所述目标金融系统配置有对应的数据库，所述目标数据至少包括：所述数据库中存储的客户数据以及交易数据，m为正整数；对所述目标数据进行解析，并基于解析结果生成数据表集合，其中，所述数据表集合中至少包括：n个数据表，n个所述数据表包括下述至少之一：客户数据表、账户数据表、交易数据表以及机构数据表，所述客户数据表用于记录客户的属性数据，所述账户数据表用于记录客户的账户数据，所述交易数据表用于记录客户关联的交易数据，所述机构数据表用于记
3、进一步地，所述表级规则集合中至少包括：p条表级规则，所述行级规则集合中至少包括：t条行级规则，所述字段规则集合中至少包括：f条字段级规则，所述表级规则用于基于n个所述数据表之间的数据关系对所述数据表集合进行评分，所述行级规则用于基于每个所述数据表中每行数据对所述数据表集合进行评分，所述字段级规则用于基于每个所述数据表中每个字段的数据对所述数据表集合进行评分，p、t和f为正整数，基于s个所述目标规则集合，对所述数据表集合中的数据进行质量评估，得到目标评估结果，包括：基于所述表级规则集合对所述数据表集合中的数据进行评分，得到第一评估结果，其中，所述第一评估结果包括：第一总得分值和p个第一得分值，第一总得分值表示p个所述第一得分值的和，p个所述第一得分值包括：基于p条所述表级规则分别对所述数据表集合进行评分得到的得分值；基于所述行级规则集合对所述数据表集合中的数据进行评分，得到第二评估结果，其中，所述第二评估结果包括：第二总得分值和t个第二得分值，第二总得分值表示t个所述第二得分值的和，t个所述第二得分值包括：基于t条所述行级规则分别对所述数据表集合进行评分得到的得分值；基于所述字段规则集合对所述数据表集合中的数据进行评分，得到第三评估结果，其中，所述第三评估结果包括：第三总得分值和f个第三得分值，第三总得分值表示f个所述第三得分值的和，f个所述第三得分值包括：基于f条所述字段规则分别对所述数据表集合进行评分得到的得分值；基于所述第一评估结果、所述第二评估结果和所述第三评估结果，确定所述目标评估结果。
4、进一步地，基于所述第一评估结果、所述第二评估结果和所述第三评估结果，确定所述目标评估结果，包括：获取每个所述目标规则集合的预设权重；基于每个所述目标规则集合的预设权重，对所述第一总得分值、所述第二总得分值以及所述第三总得分值进行加权求和，得到目标得分值；基于所述第一评估结果、所述第二评估结果、所述第三评估结果以及所述目标得分值，确定所述目标评估结果。
5、进一步地，从m个目标金融系统的数据库中获取目标数据，包括：基于每个所述目标金融系统的数据库的数据库类型，确定对应所述目标金融系统的数据库的数据读取命令；基于每个所述目标金融系统的所述数据库的数据读取命令，从m个所述目标金融系统的数据库中读取所述目标数据。
6、进一步地，对所述目标数据进行解析，包括：确定目标解析工具，其中，所述目标解析工具至少包括：离线数据同步工具；通过所述目标解析工具对所述目标数据进行解析，得到解析结果。
7、进一步地，基于解析结果生成数据表集合，包括：确定数据加工策略，其中，所述数据加工策略至少包括：数据仓库加工策略etl策略；通过所述数据加工策略对所述解析结果进行目标处理，得到所述数据表集合，其中，所述目标处理的处理方式包括下述至少之一：数据抽取、格式转换以及数据分类。
8、进一步地，在基于s个所述目标规则集合，对所述数据表集合中的数据进行质量评估，得到目标评估结果之后，还包括：基于所述目标评估结果，生成质量评估报告，其中，所述质量评估报告至少包括：所述数据表集合中数据存在的缺陷以及对该缺陷进行调整的调整信息；将所述质量评估报告发送至目标对象。
9、根据本专利技术实施例的另一方面，还提供了一种数据处理装置，包括：获取单元，用于从m个目标金融系统的数据库中获取目标数据，其中，所述目标金融系统是指在当前时段由金融机构使用的业务系统，每种所述目标金融系统配置有对应的数据库，所述目标数据至少包括：所述数据库中存储的客户数据以及交易数据，m为正整数；第一处理单元，用于对所述目标数据进行解析，并基于解析结果生成数据表集合，其中，所述数据表集合中至少包括：n个数据表，n个所述数据表包括下述至少之一：客户数据表、账户数据表、交易数据表以及机构数据表，所述客户数据表用于记录客户的属性数据，所述账户数据表用于记录客户的账户数据，所述交易数据表用于记录客户关联的交易数据，所述机构数据表用于记录客户办理金融产品相关业务的分支机构的数据，所述分支机构为所述金融机构的分支机构，n为正整数；第二处理单元，用于获取s个目标规则集合，并基于s个所述目标规则集合，对所述数据表集合中的数据进行质量评估，得到目标评估结果，其中，s个所述目标规则集合包括下述至少之一：表级规则集合、行级规则集合以及字段规则集合，所述表级规则集合用于基于n个数据表之间的数据关系对所述数据表集合进行质量评估，所述行级规则集合用于基于每个所述数据表中每行数据对所述数据表集合进行质量评估，所述字段规则集合用于基于每个所述数据表中每个字段的数据对所述数据表集合进行质量评估，所述质量评估用于评估所述数据表集合中数据的数据质量，s为正整数。
10、进一步地，所述表级规则集本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述表级规则集合中至少包括：P条表级规则，所述行级规则集合中至少包括：T条行级规则，所述字段规则集合中至少包括：F条字段级规则，所述表级规则用于基于N个所述数据表之间的数据关系对所述数据表集合进行评分，所述行级规则用于基于每个所述数据表中每行数据对所述数据表集合进行评分，所述字段级规则用于基于每个所述数据表中每个字段的数据对所述数据表集合进行评分，P、T和F为正整数，基于S个所述目标规则集合，对所述数据表集合中的数据进行质量评估，得到目标评估结果，包括：
3.根据权利要求2所述的数据处理方法，其特征在于，基于所述第一评估结果、所述第二评估结果和所述第三评估结果，确定所述目标评估结果，包括：
4.根据权利要求1所述的数据处理方法，其特征在于，从M个目标金融系统的数据库中获取目标数据，包括：
5.根据权利要求1所述的数据处理方法，其特征在于，对所述目标数据进行解析，包括：
6.根据权利要求1所述的数据处理方法，其特征在于，基于解析结果
7.根据权利要求1所述的数据处理方法，其特征在于，在基于S个所述目标规则集合，对所述数据表集合中的数据进行质量评估，得到目标评估结果之后，还包括：
8.一种数据处理装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的数据处理方法。
10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的数据处理方法。
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，所述表级规则集合中至少包括：p条表级规则，所述行级规则集合中至少包括：t条行级规则，所述字段规则集合中至少包括：f条字段级规则，所述表级规则用于基于n个所述数据表之间的数据关系对所述数据表集合进行评分，所述行级规则用于基于每个所述数据表中每行数据对所述数据表集合进行评分，所述字段级规则用于基于每个所述数据表中每个字段的数据对所述数据表集合进行评分，p、t和f为正整数，基于s个所述目标规则集合，对所述数据表集合中的数据进行质量评估，得到目标评估结果，包括：
3.根据权利要求2所述的数据处理方法，其特征在于，基于所述第一评估结果、所述第二评估结果和所述第三评估结果，确定所述目标评估结果，包括：
4.根据权利要求1所述的数据处理方法，其特征在于，从m个目标金融系统的数据库中获取目标数据，包括：
...
【专利技术属性】
技术研发人员：李嘉臻，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。