一种数据治理方法、系统、设备和介质技术方案

本发明专利技术公开了一种数据治理方法、系统、设备和介质，通过获取业务系统对应的初始元数据集，将初始元数据集进行数据清洗，生成初始元数据集对应的问题数据集。按照预设的数据自纠规则将问题数据集进行数据比对，生成问题数据集对应的维护数据集，基于维护数据集对初始元数据集进行数据修正，生成业务系统对应的中间元数据集。将中间元数据集进行复核，生成业务系统对应的目标元数据集。通过基于python脚本的数据治理方法，对业务系统对应的初始元数据集进行数据治理，可以快速完成数据治理的自查自纠，无需人员参与的数据质量维护，准确率高，操作方便快捷。通过机器代替人工，释放员工手工，降低人工成本。降低人工成本。降低人工成本。

【技术实现步骤摘要】
一种数据治理方法、系统、设备和介质


[0001]本专利技术涉及数据治理
，尤其涉及一种数据治理方法、系统、设备和介质。

技术介绍

[0002]随着企业数字化转型的不断深入，数据不断流动、数据规模持续膨胀，数据交易、开放共享需求井喷，数据要素价值不断释放，对数据治理能力带来了更大的挑战，提出了更高的要求。
[0003]电网企业数据治理主要采用四种方式。方式一是构建数据认责机制，形成“良性有序、标本兼治”的数据管理体系。方式二是搭建数据“前、中、后”台，统一数据模型规范及信息编码规范等，实现跨业务协同场景共享服务对象数据质量达到企业要求。方式三是借助数据管理工具，披露各业务域的数据质量指数，“数据主人”根据问题数据清单进行事后的数据整改。方式四是利用移动作业app、AI识别、智能电表等自动采集模式代替人工录入，减少人为因素造成的数据质量问题。
[0004]通过以上四种方式，虽然能够减少数据在录入过程产生的错误，但是由于信息系统升级、信息系统切换、信息系统本身存在的缺陷和信息系统协同不成功等原因，容易导致已录入数据库的数据出现问题。
[0005]为此，现有的数据治理方式通常是通过人工根据问题数据清单，登录对应信息系统，查找对应功能菜单，修正问题数据，需要人工逐个进行校对和修正，工作效率低且容易造成二次错误。

技术实现思路

[0006]本专利技术提供了一种数据治理方法、系统、设备和介质，解决了现有的数据治理方式通常是通过人工根据问题数据清单，登录对应信息系统，查找对应功能菜单，修正问题数据，需要人工逐个进行校对和修正，工作效率低且容易造成二次错误的技术问题。
[0007]本专利技术提供的一种数据治理方法，包括：
[0008]获取业务系统对应的初始元数据集；
[0009]将所述初始元数据集进行数据清洗，生成所述初始元数据集对应的问题数据集；
[0010]按照预设的数据自纠规则将所述问题数据集进行数据比对，生成所述问题数据集对应的维护数据集；
[0011]根据所述维护数据集对所述初始元数据集进行数据修正，生成所述业务系统对应的中间元数据集；
[0012]将所述中间元数据集进行复核，生成所述业务系统对应的目标元数据集。
[0013]可选地，所述获取业务系统对应的初始元数据集的步骤，包括：
[0014]获取业务系统对应的数据源配置；
[0015]通过所述数据源配置，确定所述业务系统对应的数据源；
[0016]获取所述数据源中所述业务系统对应的初始元数据集。
[0017]可选地，所述将所述初始元数据集进行数据清洗，生成所述初始元数据集对应的问题数据集的步骤，包括：
[0018]按照所述业务系统对应的业务需求，构建所述业务系统对应的数据筛选规则；
[0019]按照所述数据筛选规则对所述初始元数据集进行数据清洗，生成所述初始元数据集对应的问题数据集。
[0020]可选地，所述按照预设的数据自纠规则将所述问题数据集进行数据比对，生成所述问题数据集对应的维护数据集的步骤，包括：
[0021]获取所述问题数据集中各问题数据对应的档案数据；
[0022]分别将所述问题数据与对应的档案数据进行比对，并结合预设的数据自纠规则，确定所述问题数据对应的处理方式；
[0023]采用所述处理方式更新所述问题数据，生成对应的维护数据；
[0024]采用全部所述维护数据，构建所述问题数据集对应的维护数据集。
[0025]可选地，所述根据所述维护数据集对所述初始元数据集进行数据修正，生成所述业务系统对应的中间元数据集的步骤，包括：
[0026]分别获取所述维护数据集中各所述维护数据对应的初始数据处理报文；
[0027]按照所述维护数据对应的处理方式对所述初始数据处理报文进行更新，生成对应的中间数据处理报文；
[0028]根据所述中间数据处理报文对应的接口信息和所述初始元数据集，生成所述业务系统对应的中间元数据集。
[0029]可选地，所述根据所述中间数据处理报文对应的接口信息和所述初始元数据集，生成所述业务系统对应的中间元数据集的步骤，包括：
[0030]分别将所述中间数据处理报文与对应的接口信息进行比对确认，生成对应的确认数据；
[0031]当所述确认数据满足预设的确认标准时，将所述中间数据处理报文作为目标数据处理报文；
[0032]采用全部所述目标数据处理报文对所述初始元数据集进行更新，生成所述业务系统对应的中间元数据集。
[0033]可选地，所述将所述中间元数据集进行复核，生成所述业务系统对应的目标元数据集的步骤，包括：
[0034]按照预设的抽取标准，抽取所述中间元数据集中的中间元数据作为复核数据；
[0035]当所述复核数据满足对应的核查标准时，将所述中间元数据集作为所述业务系统对应的目标元数据集。
[0036]本专利技术还提供了一种数据治理系统，包括：
[0037]初始元数据集获取模块，用于获取业务系统对应的初始元数据集；
[0038]问题数据集生成模块，用于将所述初始元数据集进行数据清洗，生成所述初始元数据集对应的问题数据集；
[0039]维护数据集生成模块，用于按照预设的数据自纠规则将所述问题数据集进行数据比对，生成所述问题数据集对应的维护数据集；
[0040]中间元数据集生成模块，用于根据所述维护数据集对所述初始元数据集进行数据
修正，生成所述业务系统对应的中间元数据集；
[0041]目标元数据集生成模块，用于将所述中间元数据集进行复核，生成所述业务系统对应的目标元数据集。
[0042]本专利技术还提供了一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行实现如上述任一项数据治理方法的步骤。
[0043]本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述任一项数据治理方法。
[0044]从以上技术方案可以看出，本专利技术具有以下优点：
[0045]本专利技术通过获取业务系统对应的初始元数据集，将初始元数据集进行数据清洗，生成初始元数据集对应的问题数据集。按照预设的数据自纠规则将问题数据集进行数据比对，生成问题数据集对应的维护数据集，基于维护数据集对初始元数据集进行数据修正，生成业务系统对应的中间元数据集。将中间元数据集进行复核，生成业务系统对应的目标元数据集。解决了现有的数据治理方式通常是通过人工根据问题数据清单，登录对应信息系统，查找对应功能菜单，修正问题数据，需要人工逐个进行校对和修正，工作效率低且容易造成二次错误的技术问题。通过基于python脚本的数据治理方法，对业务系统对应的初始元数据集进行数据治理，可以快速完成数据治理的自查自纠，无需人员参与的数据质量维护，准确率高，操作方便快捷。通过机器代替人工，释放员工手工，降低人工成本。...

【技术保护点】

【技术特征摘要】
1.一种数据治理方法，其特征在于，包括：获取业务系统对应的初始元数据集；将所述初始元数据集进行数据清洗，生成所述初始元数据集对应的问题数据集；按照预设的数据自纠规则将所述问题数据集进行数据比对，生成所述问题数据集对应的维护数据集；根据所述维护数据集对所述初始元数据集进行数据修正，生成所述业务系统对应的中间元数据集；将所述中间元数据集进行复核，生成所述业务系统对应的目标元数据集。2.根据权利要求1所述的数据治理方法，其特征在于，所述获取业务系统对应的初始元数据集的步骤，包括：获取业务系统对应的数据源配置；通过所述数据源配置，确定所述业务系统对应的数据源；获取所述数据源中所述业务系统对应的初始元数据集。3.根据权利要求1所述的数据治理方法，其特征在于，所述将所述初始元数据集进行数据清洗，生成所述初始元数据集对应的问题数据集的步骤，包括：按照所述业务系统对应的业务需求，构建所述业务系统对应的数据筛选规则；按照所述数据筛选规则对所述初始元数据集进行数据清洗，生成所述初始元数据集对应的问题数据集。4.根据权利要求1所述的数据治理方法，其特征在于，所述按照预设的数据自纠规则将所述问题数据集进行数据比对，生成所述问题数据集对应的维护数据集的步骤，包括：获取所述问题数据集中各问题数据对应的档案数据；分别将所述问题数据与对应的档案数据进行比对，并结合预设的数据自纠规则，确定所述问题数据对应的处理方式；采用所述处理方式更新所述问题数据，生成对应的维护数据；采用全部所述维护数据，构建所述问题数据集对应的维护数据集。5.根据权利要求4所述的数据治理方法，其特征在于，所述根据所述维护数据集对所述初始元数据集进行数据修正，生成所述业务系统对应的中间元数据集的步骤，包括：分别获取所述维护数据集中各所述维护数据对应的初始数据处理报文；按照所述维护数据对应的处理方式对所述初始数据处理报文进行更新，生成对应的中间数据处理报文；根据所述中间数据处理报文对应的接口信...

【专利技术属性】
技术研发人员：郑芒英，李昀，王奕，何晓爽，陈麒任，王业，张弛，林荣秋，黄子琪，肖畅，吴永翔，
申请(专利权)人：广东电网有限责任公司湛江供电局，
类型：发明
国别省市：