数据治理方法及设备技术

本发明专利技术实施例提供一种数据治理方法及设备，该方法包括：获取待治理的业务数据集；对所述业务数据集进行质量指标化处理，得到所述业务数据集对应的质量基准值集合；将所述质量基准值集合输入目标网络模型中，以使所述目标网络模型根据所述质量基准值集合进行价值基准值预测，得到所述业务数据集对应的价值基准值集合，并输出；根据所述目标网络模型输出的价值基准值集合生成优化调整指令，并发送给目标终端，以使所述目标终端根据所述优化调整指令进行相应的优化调整操作，实现数据自动治理，无需人工编写相应的数据治理脚本，减少相关开发人员的工作量，并可以降低人工成本，提高数据治理的效率。

Data governance methods and equipment

【技术实现步骤摘要】
数据治理方法及设备
本专利技术实施例涉及大数据处理
，尤其涉及一种数据治理方法及设备。
技术介绍
随着大数据技术的快速发展，越来越多的企业开始关注自身的数据问题，开始在企业数据管理和数据规划中使用一定手段进行数据管控，实现大数据的治理，得到治理结果，相关用户可以根据治理结果进行相关的数据优化调整操作。现有技术中，在进行大数据的治理时，一般是相关数据治理开发人员按照治理规则手工开发数据治理脚本，然后通过该治理脚本对数据进行治理。然而，专利技术人发现现有技术中至少存在如下问题：由于需要相关开发人员手工开发相应的数据治理脚本，增加开发人员的工作量，人工成本高。
技术实现思路
本专利技术实施例提供一种数据治理方法及设备，以减少开发人员的工作量。第一方面，本专利技术实施例提供一种数据治理方法，包括：获取待治理的业务数据集；对所述业务数据集进行质量指标化处理，得到所述业务数据集对应的质量基准值集合；将所述质量基准值集合输入目标网络模型中，以使所述目标网络模型根据所述质量基准值集合进行价值基准预测，得到所述业务数据集对应的价值基准值集合，并输出；根据所述目标网络模型输出的价值基准值集合生成优化调整指令，并发送给目标终端，以使所述目标终端根据所述优化调整指令进行相应的优化调整操作。在一种可能的设计中，在所述将所述质量基准值集合输入目标网络模型中之前，还包括：获取样本数据集；对所述样本数据集进行质量指标化处理，得到所述样本数据集对应的样本质量基准值集合，并对所述样本数据集进行价值指标化处理，得到所述样本数据集对应的样本价值基准值集合；根据所述样本质量基准值集合对初始网络模型进行训练，并获取所述初始网络模型输出的预测价值基准值集合；根据所述样本价值基准值集合，判断所述预测价值基准值集合是否满足预设停止训练条件；若满足所述预设停止训练条件，则将所述初始网络模型作为所述目标网络模型。在一种可能的设计中，所述质量指标化处理包括完整性处理，所述质量基准值集合包括完整性基准值；所述对所述业务数据集进行质量指标化处理，得到所述业务数据集对应的质量基准值集合，包括：从所述业务数据集中统计第一预设数据类型的记录的上传数量，并获取所述第一预设数据类型的记录对应的平均上传数量；获取所述上传数量与所述平均上传数量的比值，得到所述完整性基准值。在一种可能的设计中，所述价值基准值集合包括冗余基准值，所述优化调整指令包括数据冗余调整指令；所述根据所述目标网络模型输出的价值基准值集合生成优化调整指令，包括：若所述冗余基准值大于预设冗余程度值，则生成所述数据冗余调整指令。在一种可能的设计中，所述根据所述样本价值基准值集合，判断所述预测价值基准值集合是否满足预设停止训练条件，包括：获取所述样本价值基准值集合与所述预测价值基准值集合的误差值；若所述误差值小于或等于预设误差阈值，则确定所述预测价值基准值集合满足预设停止训练条件；若所述误差值大于所述预设误差阈值，则确定所述预测价值基准值集合不满足预设停止训练条件。在一种可能的设计中，所述价值指标化处理包括调用度处理，所述样本价值基准值集合包括样本调用基准值；所述对所述样本数据集进行价值指标化处理，得到所述样本数据集对应的样本价值基准值集合，包括：从所述业务数据集中统计第二预设数据类型的记录的总数量以及所述第二预设数据类型的记录所对应的调用数量；获取所述调用数量与所述总数量的比值，得到所述样本调用基准值。在一种可能的设计中，在所述得到所述业务数据集对应的质量基准值集合之后，还包括：对所述质量基准值集合进行归一化处理。第二方面，本专利技术实施例提供一种数据治理设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得执行所述计算机程序时实现如下步骤：获取待治理的业务数据集；对所述业务数据集进行质量指标化处理，得到所述业务数据集对应的质量基准值集合；将所述质量基准值集合输入目标网络模型中，以使所述目标网络模型根据所述质量基准值集合进行价值基准预测，得到所述业务数据集对应的价值基准值集合，并输出；根据所述目标网络模型输出的价值基准值集合生成优化调整指令，并发送给目标终端，以使所述目标终端根据所述优化调整指令进行相应的优化调整操作。在一种可能的设计中，所述处理器执行所述计算机程序时还实现如下步骤：获取样本数据集；对所述样本数据集进行质量指标化处理，得到所述样本数据集对应的样本质量基准值集合，并对所述样本数据集进行价值指标化处理，得到所述样本数据集对应的样本价值基准值集合；根据所述样本质量基准值集合对初始网络模型进行训练，并获取所述初始网络模型输出的预测价值基准值集合；根据所述样本价值基准值集合，判断所述预测价值基准值集合是否满足预设停止训练条件；若满足所述预设停止训练条件，则将所述初始网络模型作为所述目标网络模型。在一种可能的设计中，所述质量指标化处理包括完整性处理，所述质量基准值集合包括完整性基准值；所述对所述业务数据集进行质量指标化处理，得到所述业务数据集对应的质量基准值集合，包括：从所述业务数据集中统计第一预设数据类型的记录的上传数量，并获取所述第一预设数据类型的记录对应的平均上传数量；获取所述上传数量与所述平均上传数量的比值，得到所述完整性基准值。在一种可能的设计中，所述价值基准值集合包括冗余基准值，所述优化调整指令包括数据冗余调整指令；所述根据所述目标网络模型输出的价值基准值集合生成优化调整指令，包括：若所述冗余基准值大于预设冗余程度值，则生成所述数据冗余调整指令。在一种可能的设计中，所述根据所述样本价值基准值集合，判断所述预测价值基准值集合是否满足预设停止训练条件，包括：获取所述样本价值基准值集合与所述预测价值基准值集合的误差值；若所述误差值小于或等于预设误差阈值，则确定所述预测价值基准值集合满足预设停止训练条件；若所述误差值大于所述预设误差阈值，则确定所述预测价值基准值集合不满足预设停止训练条件。在一种可能的设计中，所述价值指标化处理包括调用度处理，所述样本价值基准值集合包括样本调用基准值；所述对所述样本数据集进行价值指标化处理，得到所述样本数据集对应的样本价值基准值集合，包括：从所述业务数据集中统计第二预设数据类型的记录的总数量以及所述第二预设数据类型的记录所对应的调用数量；获取所述调用数量与所述总数量的比值，得到所述样本调用基准值。在一种可能的设计中，所述处理器执行所述计算机程序时还实现如下步骤：对所述质量基准值集合进行归一化处理。第三方面，本专利技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算本文档来自技高网...

【技术保护点】
1.一种数据治理方法，其特征在于，包括：/n获取待治理的业务数据集；/n对所述业务数据集进行质量指标化处理，得到所述业务数据集对应的质量基准值集合；/n将所述质量基准值集合输入目标网络模型中，以使所述目标网络模型根据所述质量基准值集合进行价值基准值预测，得到所述业务数据集对应的价值基准值集合，并输出；/n根据所述目标网络模型输出的价值基准值集合生成优化调整指令，并发送给目标终端，以使所述目标终端根据所述优化调整指令进行相应的优化调整操作。/n

【技术特征摘要】
1.一种数据治理方法，其特征在于，包括：
获取待治理的业务数据集；
对所述业务数据集进行质量指标化处理，得到所述业务数据集对应的质量基准值集合；
将所述质量基准值集合输入目标网络模型中，以使所述目标网络模型根据所述质量基准值集合进行价值基准值预测，得到所述业务数据集对应的价值基准值集合，并输出；
根据所述目标网络模型输出的价值基准值集合生成优化调整指令，并发送给目标终端，以使所述目标终端根据所述优化调整指令进行相应的优化调整操作。


2.根据权利要求1所述的方法，其特征在于，在所述将所述质量基准值集合输入目标网络模型中之前，还包括：
获取样本数据集；
对所述样本数据集进行质量指标化处理，得到所述样本数据集对应的样本质量基准值集合，并对所述样本数据集进行价值指标化处理，得到所述样本数据集对应的样本价值基准值集合；
根据所述样本质量基准值集合对初始网络模型进行训练，并获取所述初始网络模型输出的预测价值基准值集合；
根据所述样本价值基准值集合，判断所述预测价值基准值集合是否满足预设停止训练条件；
若满足所述预设停止训练条件，则将所述初始网络模型作为所述目标网络模型。


3.根据权利要求1所述的方法，其特征在于，所述质量指标化处理包括完整性处理，所述质量基准值集合包括完整性基准值；
所述对所述业务数据集进行质量指标化处理，得到所述业务数据集对应的质量基准值集合，包括：
从所述业务数据集中统计第一预设数据类型的记录的上传数量，并获取所述第一预设数据类型的记录对应的平均上传数量；
获取所述上传数量与所述平均上传数量的比值，得到所述完整性基准值。


4.根据权利要求1所述的方法，其特征在于，所述价值基准值集合包括冗余基准值，所述优化调整指令包括数据冗余调整指令；
所述根据所述目标网络模型输出的价值基准值集合生成优化调整指令，包括：
若所述冗余基准值大于预设冗余程度值，则生成所述数据冗余调整指令。


5.根据权利要求2所述的方法，其特征在于，所述根据所述样本价值基准值集合，判断所述预测价值基准值集合是否满足预设停止训练条件，包括：
获取所述样本价值基准值集合与所述预测价值基准值集合的误差值；
若所述误差值小于或等于预设误差阈值，则确定所述预测价值基准值集合满足预设停止训练条件；
若...

【专利技术属性】
技术研发人员：宋雨伦，谢云龙，樊利安，崔凌逍，
申请(专利权)人：中国联合网络通信集团有限公司，联通大数据有限公司，
类型：发明
国别省市：北京;11