数据处理方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本申请提供一种数据处理方法、装置、电子设备和计算机可读存储介质，可用于大数据领域。该方法包括：获取目标数据，并对目标数据进行各类质量校验，得到目标数据在每类质量校验上的质量参数；确定使用目标数据的业务场景，并根据业务场景的数据质量要求参数确定各个质量参数对应的权重；根据各个质量参数以及对应的权重确定目标数据的第一应用率，第一应用率用于指示目标数据相对预设数据的完整性，预设数据根据业务场景的数据使用要求设置；在第一应用率小于或等于预设阈值时，根据数据使用要求对目标数据进行修补，以使修补后的目标数据的第二应用率大于预设阈值。本申请，减少了数据的修改量。数据的修改量。数据的修改量。

【技术实现步骤摘要】
数据处理方法、装置、电子设备和计算机可读存储介质


[0001]本申请涉及大数据领域，尤其涉及一种数据处理方法、装置、电子设备和计算机可读存储介质。

技术介绍

[0002]随着互联网和信息产业的快速发展，大数据应用市场不断扩大。
[0003]大数据平台中的数据可以应用于多个业务场景。但由于采集数据的上游设备或者数据在加工过程中逻辑出错，会导致数据错误，在采用这些错误的数据进行业务场景的数据分析，导致分析结果不够准确。
[0004]为了提高分析结果的准确性，会对数据进行质量校验，再通过质量校验结果进行数据修改，使得修改后的数据消除所有的质量问题。但是大数据平台中所存储的数据是海量的，若对所有的数据进行上述修改，会导致数据的修改量庞大。

技术实现思路

[0005]本申请提供一种数据处理方法、装置、电子设备和计算机可读存储介质，用以解决数据的修改量庞大的问题。
[0006]第一方面，本申请提供一种数据处理方法，包括：
[0007]获取目标数据，并对所述目标数据进行各类质量校验，得到所述目标数据在每类质量校本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取目标数据，并对所述目标数据进行各类质量校验，得到所述目标数据在每类质量校验上的质量参数；确定使用所述目标数据的业务场景，并根据所述业务场景的数据质量要求参数确定各个所述质量参数对应的权重；根据各个所述质量参数以及对应的所述权重确定所述目标数据的第一应用率，所述第一应用率用于指示所述目标数据相对预设数据的完整性，所述预设数据根据所述业务场景的数据使用要求设置；在所述第一应用率小于或等于预设阈值时，根据所述数据使用要求对所述目标数据进行修补，以使修补后的所述目标数据的第二应用率大于所述预设阈值。2.根据权利要求1所述的数据处理方法，其特征在于，所述对所述目标数据进行各类质量校验的步骤之后，还包括：根据各个所述质量参数确定所述目标数据的各个质量问题，并获取每个所述质量问题对应的目标解决策略；根据各个所述质量问题以及对应的目标解决策略生成质量报告，并输出所述质量报告。3.根据权利要求2所述的数据处理方法，其特征在于，所述根据各个所述质量问题以及对应的目标解决策略生成质量报告的步骤包括：根据所述质量参数确定对应的所述质量问题的第一处理值，所述第一处理值用于指示所述质量问题的严重程度；根据所述第一处理值确定所述质量问题的处理优先级；根据各个所述质量问题以及对应的所述处理优先级、所述目标解决策略生成所述质量报告。4.根据权利要求2所述的数据处理方法，其特征在于，所述获取每个所述质量问题对应的目标解决策略的步骤包括：根据所述质量参数确定对应的所述质量问题的第二处理值，所述第二处理值用于指示所述质量问题的严重程度；根据所述第二处理值确定处理等级；在所述质量问题关联的多个初始解决策略中，确定与所述处理等级匹配的初始解决策略作为所述目标解决策略。5.根据权利要求2所述的数据处理方法，其特征在于，所述获取每个所述质量问题对应的目标解决策略的步骤包...

【专利技术属性】
技术研发人员：丁浩，孙龙堂，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：