反馈式数据治理方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种反馈式数据治理方法、装置、设备及计算机可读存储介质，该反馈式数据治理方法包括：在收到用户反馈的异常数据时，确认所述异常数据的数据来源；若所述异常数据来源于数据中心，则向数据中台反馈所述异常数据；数据中台收到所述异常数据后确认数据偏差点；数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据；异常数据更正完成后，由数据治理平台进行数据再采集及数据更新。本方法具有问题发现更全面、成本低、处理效率高、权责明确等优点。权责明确等优点。权责明确等优点。

【技术实现步骤摘要】
反馈式数据治理方法、装置、设备及计算机可读存储介质


[0001]本专利技术涉及高校数据治理
，尤其涉及一种反馈式数据治理方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]传统的高校数据治理、质量分析、质量提升工作由信息中心(或网络信息中心)等相关部门依据业务规范、要求对数据质量进行检核、发现的质量问题反馈至业务部门，由业务部分负责核实、数据纠错等工作。最后进入下一个质量优化周期，如此迭代优化数据质量。
[0003]但是传统的数据治理流程存在以下问题：
[0004]1)、数据异常不易发现：在符合数据规范要求、业务要求的情况下的数据质量问题系统无法发现，导致数据不准，从而影响上层决策；
[0005]2)、过程繁杂、处理效率低下：引发数据质量问题的原因有多种，传统的处理方式基于数据处理流程逐步反推，排查成本，沟通成本较高，效率低下。
[0006]3)、多方协同处理、沟通成本较高：涉及多厂商建设的业务系统之间数据流转出现问题，需要拉通各厂商一同协助定位问题、纠正异常数据，厂商之间的联调沟通成本较高，处理故障效率低下。
[0007]因此，亟需提供一种数据治理方法，以解决传统数据治理流程存在的上述问题。

技术实现思路

[0008]本申请实施例通过提供一种反馈式数据治理方法，旨在解决传统数据治理流程存在的上述问题。
[0009]为实现上述目的，本申请实施例提供了一种反馈式数据治理方法，包括：
[0010]在收到用户反馈的异常数据时，确认所述异常数据的数据来源；
[0011]若所述异常数据来源于数据中心，则向数据中台反馈所述异常数据；
[0012]数据中台收到所述异常数据后确认数据偏差点；
[0013]数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据；
[0014]异常数据更正完成后，由数据治理平台进行数据再采集及数据更新。
[0015]在一实施例中，数据中台收到所述异常数据后确认数据偏差点，包括：
[0016]数据中台根据所述异常数据的血缘情况，获取所述异常数据的数据链路；
[0017]根据所述数据链路中的数据变化情况，确定所述数据偏差点。
[0018]在一实施例中，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，包括：
[0019]若根据所述处理偏差点判定为数据处理过程异常，则分析所述数据处理过程的异常原因；
[0020]根据所述异常原因纠正所述数据相应的数据处理机制；
[0021]基于纠正后的数据处理机制更正所述异常数据。
[0022]在一实施例中，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，还包括：
[0023]若根据所述处理偏差点判定为源数据异常，则分析所述异常数据的数据版本，以查询出现异常数据的目标数据版本；
[0024]根据所述目标数据版本确认数据处理的责任人；
[0025]向所述责任人发送异常数据的分析结果及修改建议；
[0026]根据所述责任人基于所述分析结果及修改建议反馈的信息更正所述异常数据。
[0027]在一实施例中，由数据治理平台进行数据再采集及数据更新，包括：
[0028]数据治理平台重新采集更正后的数据，并检测更正后的数据是否符合设定的数据规范；
[0029]若是，则数据治理平台进行历史数据备份，并基于更正后的数据对数据中心的数据进行更新。
[0030]在一实施例中，所述方法还包括：
[0031]若所述异常数据来源于用户终端本地，则在用户终端更正所述异常数据。
[0032]在一实施例中，所述方法还包括：
[0033]向用户反馈异常数据处理结果。
[0034]为实现上述目的，本申请实施例还提出一种反馈式数据治理装置，包括：
[0035]用户终端，用于在收到用户反馈的异常数据时，确认所述异常数据的数据来源，及在所述异常数据来源于数据中心时，向数据中台反馈所述异常数据；
[0036]数据中台，用于在收到所述异常数据后确认数据偏差点，及，所述数据偏差点采取对应的处理措施更正所述异常数据；
[0037]数据治理平台，用于在异常数据更正完成后，进行数据再采集及数据更新。
[0038]为实现上述目的，本申请实施例还提出一种反馈式数据治理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的反馈式数据治理程序，所述处理器执行所述反馈式数据治理程序时实现如上述任一项所述的反馈式数据治理方法。
[0039]为实现上述目的，本申请实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有反馈式数据治理程序，所述反馈式数据治理程序被处理器执行时实现如上述任一项所述的反馈式数据治理方法。
[0040]本申请的反馈式数据治理方法，相较于传统的数据治理流程具有以下优势：
[0041](1)、可以由数据所有者本人发现数据问题，进而可以解决通过数据质量检核规则和业务规范无法检测的异常数据，从而可以增加异常数据发现的全面性。
[0042](2)、结合数据治理平台半自动化分析异常原因，可压缩数据处理流程、降低人工成本，缩短数据处理时间，提升处理效率。
[0043](3)、系统(数据中台)与系统(数据治理平台)之间、用户与系统之间全链路拉通，数据处理过程全程记录可追踪，降低多方协同处理问题的沟通成本、解决权责不清的问题。
[0044](4)、处理过程可追溯，可审计，提升了数据安全性、数据处理效率。
附图说明
[0045]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0046]图1为本专利技术反馈式数据治理设备一实施例的模块结构图；
[0047]图2为本专利技术反馈式数据治理方法一实施例的流程示意图；
[0048]图3为本专利技术反馈式数据治理装置一实施例的模块结构图。
[0049]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0050]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0051]为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0052]应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。文中出现的“包含”不排除存在未列在权利要求中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种反馈式数据治理方法，其特征在于，包括：在收到用户反馈的异常数据时，确认所述异常数据的数据来源；若所述异常数据来源于数据中心，则向数据中台反馈所述异常数据；数据中台收到所述异常数据后确认数据偏差点；数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据；异常数据更正完成后，由数据治理平台进行数据再采集及数据更新。2.如权利要求1所述的反馈式数据治理方法，其特征在于，数据中台收到所述异常数据后确认数据偏差点，包括：数据中台根据所述异常数据的血缘情况，获取所述异常数据的数据链路；根据所述数据链路中的数据变化情况，确定所述数据偏差点。3.如权利要求1所述的反馈式数据治理方法，其特征在于，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，包括：若根据所述处理偏差点判定为数据处理过程异常，则分析所述数据处理过程的异常原因；根据所述异常原因纠正所述数据相应的数据处理机制；基于纠正后的数据处理机制更正所述异常数据。4.如权利要求3所述的反馈式数据治理方法，其特征在于，数据中台根据所述数据偏差点采取对应的处理措施更正所述异常数据，还包括：若根据所述处理偏差点判定为源数据异常，则分析所述异常数据的数据版本，以查询出现异常数据的目标数据版本；根据所述目标数据版本确认数据处理的责任人；向所述责任人发送异常数据的分析结果及修改建议；根据所述责任人基于所述分析结果及修改建议反馈的信息更正所述异常数据。5.如权利要求4所述的反馈式数据治理方法，其特征在于...

【专利技术属性】
技术研发人员：罗龙，刘栋梁，张健博，谈卫华，
申请(专利权)人：广东数源信息科技有限公司，
类型：发明
国别省市：