本发明专利技术提供了一种全链路配置化的数据治理方法、装置和电子设备，包括：获取用户根据数据治理需求配置的数据检核的基础配置；根据基础配置创建检核任务并调用生态技术组件执行检核任务，得到检核问题数据，其中，每个检核问题数据携带有对应的检核信息；根据预设映射关系和检核信息匹配与每个检核问题数据相对应的质量负责人，并分别发送检核问题数据至相对应的质量负责人，以使质量负责人对接收到的检核问题数据进行治理；重新执行检核任务，实现对质量负责人数据治理结果的复查。该方法可以根据需求配置数据检核的基础配置，并通过生态技术组件执行检核任务实现对检核问题数据的获取，在提高数据治理效率的同时降低了平台开发和维护的难度。发和维护的难度。发和维护的难度。
【技术实现步骤摘要】
全链路配置化数据处理方法、装置和电子设备
[0001]本专利技术涉及数据治理的
，尤其是涉及一种全链路配置化数据处理方法、装置和电子设备。
技术介绍
[0002]随着各大公司数字化建设推进和数据平台搭建技术的日渐成熟，数据治理几乎涵盖整个数字化进程的生命周期。但是，目前随着各公司业务数字化建设的深入，传统开发方式对数据质量监控相关的技术方案开发维护成本高、效率低下。
[0003]综上所述，现有的数据治理方法存在治理效率低和难以开发维护的技术问题。
技术实现思路
[0004]本专利技术的目的在于提供一种全链路配置化数据处理方法、装置和电子设备，以缓解现有的数据治理方法存在治理效率低和难以开发维护的技术问题。
[0005]第一方面，本专利技术提供了一种全链路配置化的数据治理方法，应用于数据治理平台，包括：
[0006]获取用户根据数据治理需求配置的数据检核的基础配置；
[0007]根据所述基础配置创建检核任务并调用生态技术组件执行所述检核任务，得到检核问题数据，其中，每个所述检核问题数据携带有对应的检核信息；
[0008]根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负责人，并分别发送所述检核问题数据至相对应的质量负责人，以使所述质量负责人对接收到的所述检核问题数据进行治理；
[0009]重新执行所述检核任务，实现对所述质量负责人数据治理结果的复查。
[0010]进一步的，所述基础配置包括：质量规则、质量负责人、检核规则脚本和检核规则集，其中，所述检核规则集内检核规则的数量为至少一条。
[0011]进一步的，调用生态技术组件执行所述检核任务，得到检核问题数据，包括：
[0012]在所述检核任务的检核规则脚本中输入目标关键字，从而确定与所述目标关键字对应的待检核的任务数据；
[0013]通过生态技术组件将所述检核规则集内的每条检核规则对应封装为消息对象，并发送所述消息对象至检核引擎监听的消息队列；
[0014]监听到所述消息队列，对每一所述消息对象采用一个线程调用所述检核规则脚本对所述待检核的任务数据进行检核，得到与每一所述消息对象的每一线程对应的所述待检核的任务数据内的检核问题数据。
[0015]进一步的，所述方法还包括：
[0016]通过生态技术组件创建包含多个分区的检核问题数据表，其中，每个所述分区携带对应的线程号；
[0017]根据所述检核问题数据对应的线程将所述检核问题数据插入与所述线程对应的
分区。
[0018]进一步的，所述检核信息包括：规则编码和业务字段。
[0019]进一步的，根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负责人，包括：
[0020]将每个所述检核问题数据携带的规则编码与所述预设映射关系中的待匹配规则编码进行匹配，根据匹配结果得到与所述规则编码对应的质量规则；
[0021]将每个所述检核问题数据携带的业务字段与所述质量规则中的业务字段进行匹配，根据匹配结果得到对应的业务负责人，进而得到与每个所述检核问题数据相对应的质量负责人。
[0022]进一步的，分别发送所述检核问题数据至相对应的质量负责人，包括：
[0023]根据所述质量负责人，将所述检核问题数据划分为与每个所述质量负责人相对应的检核问题数据组；
[0024]分别封装每个所述质量负责人及对应的检核问题数据组为一个集合，并根据所述集合生成对应的待办任务；
[0025]发送所述待办任务至相对应的所述集合内的质量负责人。
[0026]第一方面，本专利技术还提供了一种全链路配置化的数据治理装置，包括：
[0027]获取模块，用于获取用户根据数据治理需求配置的数据检核的基础配置；
[0028]创建和执行模块，用于根据所述基础配置创建检核任务并调用生态技术组件执行所述检核任务，得到检核问题数据，其中，每个所述检核问题数据携带有对应的检核信息；
[0029]匹配和发送模块，用于根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负责人，并分别发送所述检核问题数据至相对应的质量负责人，以使所述质量负责人对接收到的所述检核问题数据进行治理；
[0030]执行模块，用于重新执行所述检核任务，实现对所述质量负责人数据治理结果的复查。
[0031]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
[0032]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述机器可运行指令在被处理器调用和运行时，所述机器可运行指令促使所述处理器运行上述第一方面任一项所述的方法。
[0033]在本专利技术实施例中，提供了一种全链路配置化的数据治理方法，应用于数据治理平台，包括：获取用户根据数据治理需求配置的数据检核的基础配置；根据基础配置创建检核任务并调用生态技术组件执行检核任务，得到检核问题数据，其中，每个检核问题数据携带有对应的检核信息；根据预设映射关系和检核信息匹配与每个检核问题数据相对应的质量负责人，并分别发送检核问题数据至相对应的质量负责人，以使质量负责人对接收到的检核问题数据进行治理；重新执行检核任务，实现对质量负责人数据治理结果的复查。通过上述描述可知，本专利技术的全链路配置化的数据治理方法，可以根据需求配置数据检核的基础配置，并通过生态技术组件执行检核任务实现对检核问题数据的获取，在提高数据治理效率的同时降低了平台开发和维护的难度。此外，该方法达到数据治理的全流程闭环，从检
核问题数据提取、检核任务创建、检核问题数据处理以及后续平台对更正状态跟踪的一整套数据治理方案，有效缓解了现有的数据治理方法存在治理效率低和难以开发维护的技术问题。
附图说明
[0034]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1为本专利技术实施例提供的一种全链路配置化的数据治理方法的流程图；
[0036]图2为本专利技术实施例提供的一种配置基础配置的界面示意图；
[0037]图3为本专利技术实施例提供的一种配置质量规则的界面示意图；
[0038]图4为本专利技术实施例提供的一种配置质量负责人的界面示意图；
[0039]图5为本专利技术实施例提供的一种配置检核规则的界面示意图；
[0040]图6为本专利技术实施例提供的一种配置检核规则集的界面示意图；
[0041]图7为本专利技术实施例提供的一种执行检核任务的方法的流程图；
[0042]图8本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种全链路配置化的数据治理方法，其特征在于，应用于数据治理平台，包括：获取用户根据数据治理需求配置的数据检核的基础配置；根据所述基础配置创建检核任务并调用生态技术组件执行所述检核任务，得到检核问题数据，其中，每个所述检核问题数据携带有对应的检核信息；根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负责人，并分别发送所述检核问题数据至相对应的质量负责人，以使所述质量负责人对接收到的所述检核问题数据进行治理；重新执行所述检核任务，实现对所述质量负责人数据治理结果的复查。2.根据权利要求1所述的数据治理方法，其特征在于，所述基础配置包括：质量规则、质量负责人、检核规则脚本和检核规则集，其中，所述检核规则集内检核规则的数量为至少一条。3.根据权利要求2所述的数据治理方法，其特征在于，调用生态技术组件执行所述检核任务，得到检核问题数据，包括：在所述检核任务的检核规则脚本中输入目标关键字，从而确定与所述目标关键字对应的待检核的任务数据；通过生态技术组件将所述检核规则集内的每条检核规则对应封装为消息对象，并发送所述消息对象至检核引擎监听的消息队列；监听到所述消息队列，对每一所述消息对象采用一个线程调用所述检核规则脚本对所述待检核的任务数据进行检核，得到与每一所述消息对象的每一线程对应的所述待检核的任务数据内的检核问题数据。4.根据权利要求3所述的数据治理方法，其特征在于，所述方法还包括：通过生态技术组件创建包含多个分区的检核问题数据表，其中，每个所述分区携带对应的线程号；根据所述检核问题数据对应的线程将所述检核问题数据插入与所述线程对应的分区。5.根据权利要求2所述的数据治理方法，其特征在于，所述检核信息包括：规则编码和业务字段。6.根据权利要求5所述的数据治理方法，其特征在于，根据预设映射关系和所述检核信息匹配与每个所述检核问题数据相对应的质量负...
【专利技术属性】
技术研发人员：宋丽娟，兰中亮，王蓉，杨玲玲，乔佳娲，
申请(专利权)人：阳光人寿保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。