数据资源全生命周期管理方法、系统、终端及介质技术方案

本申请涉及一种数据资源全生命周期管理方法、系统、终端及介质，该方法包括采集目标数据；获取预先创建的质检规则；依据质检规则对目标数据进行质量检测，生成检测报告，检测报告中包含数据质量问题；获取针对目标数据的工作流信息；依据工作流信息分配目标数据的处理节点；调取对应目标数据的元数据；获取预先创建的数据标准；判断目标数据及其元数据是否通过质量检测且符合数据标准；若是，则将目标数据以数据服务的形式封装，并生成API；若否，则依据判断结果分配至对应处理节点。本申请具有方便管理数据，降低数据的出错率的效果。降低数据的出错率的效果。降低数据的出错率的效果。

【技术实现步骤摘要】
数据资源全生命周期管理方法、系统、终端及介质


[0001]本申请涉及数据管理的领域，尤其是涉及一种数据资源全生命周期管理方法、系统、终端及介质。

技术介绍

[0002]DCMM，即数据管理能力成熟度评估模型，是我国在数据管理领域首个正式发布的国家标准，旨在帮助企业利用先进的数据管理理念和方法，建立和评价自身数据管理能力，持续完善数据管理组织、程序和制度，充分发挥数据在促进企业向信息化、数字化、智能化发展方面的价值。
[0003]针对上述中的相关技术，专利技术人认为企业数据会随着人员、生产规模的扩大而增加，而数据的不断增长，使得数据管理平台需要进行管理的数据，即元数据也在不断递增，导致数据关系变得更加错综复杂，脉络关系难以理清，出错率变高。

技术实现思路

[0004]第一方面，为了方便管理数据，降低数据的出错率，本申请提供一种数据资源全生命周期管理方法。
[0005]本申请提供的一种数据资源全生命周期管理方法，采用如下的技术方案：一种数据资源全生命周期管理方法，包括：采集目标数据；获取预先创建的质检规则；依据质检规则对目标数据进行质量检测，生成检测报告，检测报告中包含数据质量问题；获取针对目标数据的工作流信息；依据工作流信息分配目标数据的处理节点，处理节点用于处理数据质量问题；调取对应目标数据的元数据；获取预先创建的数据标准；判断目标数据及其元数据是否通过质量检测且符合数据标准；若是，则将目标数据以数据服务的形式封装，并生成API；若否，则依据判断结果分配至对应处理节点。
[0006]通过采用上述技术方案，导入目标数据时通过预先设定的质检规则先对目标数据进行质量检测，查找出目标数据中存在的数据质量问题，再分配目标数据的工作流，推送检测报告至所需的处理节点，方便工作人员进行数据治理，解决数据质量问题；之后根据预先创建好的数据标准对目标数据与元数据进行检查，判断是否可通过质量检测且符合数据标准，以此减少数据、元数据中存在的错误，同时检查数据与元数据的匹配关系是否正确等，若通过质量检测且符合数据标准，则对目标数据及元数据进行存储、封装，并生成API以方便发布和访问，而未通过或不符合的则需要返回处理节点进行修整，从而方便管理数据，降
低出错率。
[0007]优选的，所述获取预先创建的数据标准的步骤中，还包括：获取预选标准；判断预选标准为现有标准或自定义标准，现有标准包括国标、行标及企标，自定义标准由人工设定并导入；若为自定义标准，则执行发布审批操作；若为现有标准，则依据现有标准生成数据标准；所述发布审批操作包括：获取发布指令，并基于发布指令发布自定义标准；获取对应自定义标准的审批结果；若审批通过，则依据自定义标准生成数据标准。
[0008]通过采用上述技术方案，部分类型的数据可能存在相应的国标、行标及企标，通过直接导入此类标准，方便检测数据是否符合这些标准，一方面方便用户了解需要调整的指标和维度，另一方面可检查数据中存在的问题，提升数据的可靠性；而有些数据没有现有的标准可参考，需要用户自行设定，因此通过自定义标准的发布和审批，提升数据标准的灵活性，同时通过审批的形式减少自定义标准的错误率。
[0009]优选的，所述依据质检规则对目标数据进行质量检测的步骤中，所述质量检测方式包括空值检测及重复值检测；所述空值检测用于检测任意字段下的数据的空值的个数是否超过所设定的个数，若是则发出提示；所述重复值检测用于检测任意字段下的数据的重复值的个数是否超过所设定的个数，若是则发出提示。
[0010]通过采用上述技术方案，通过空值检测与重复值检测方式检查数据中存在的基础问题，即字段中的空值和重复值，以此减少工作人员手动筛查的工作量，方便工作人员有针对性地进行数据修复。
[0011]优选的，所述依据工作流信息分配目标数据的处理节点的步骤中，还包括：获取检测报告中的数据质量问题；获取针对数据质量问题的优先级定义；依据数据质量问题的优先级定义分配数据质量问题的处理节点、处理周期。
[0012]通过采用上述技术方案，通过对数据质量问题的优先级定义，分出轻重缓急，针对不同的数据质量问题匹配不同的处理人、处理周期等，以此实现有限资源的优化配置，提升问题处理效率。
[0013]优选的，所述获取针对目标数据的工作流信息的步骤中，还包括：获取并显示多个对应不同节点类型的节点类型控件，节点类型包括SQL处理、数据同步及数据推送；获取用于触发对应节点类型控件的节点选择指令；当触发任一节点类型控件时，生成对应的节点控件；获取用于拖动节点控件的拖动指令；依据拖动指令调节处理节点的操作顺序；
依据操作顺序，生成工作流信息。
[0014]通过采用上述技术方案，通过选择不同类型的节点类型控件，可分配各个处理节点的基本操作方式，比如SQL处理、数据同步等，之后通过拖动各个节点控件形成具有排列顺序的工作流，以此方便用户快速设计数据的处理节点，提升管理效率。
[0015]优选的，所述依据操作顺序，生成工作流信息的步骤后，还包括：获取对应节点类型为SQL处理的节点控件的编辑指令；基于编辑指令，显示用于供SQL代码输入的编辑区域；于编辑区域所在界面显示调用控件，且当获取到对应调用控件的调用指令时，显示多个函数字符串；当获取到对应任一函数字符串的选择指令时，将该函数字符串录入编辑区域；获取对应编辑区域的确认指令；基于确认指令，确定该节点控件所对应的处理节点的操作命令。
[0016]通过采用上述技术方案，用户通过在编辑区域输入SQL代码，可设定该处理节点的处理方式，例如清空表内容等处理方式，且用户可通过调用控件选取已经预设好的函数字符串，以此减少编辑工作量，提升管理效率。
[0017]优选的，在所述判断目标数据及其元数据是否通过质量检测且符合数据标准的步骤中，若目标数据及其元数据通过质量检测且符合数据标准，则还包括：获取目标数据及其元数据的指标数量及维度数量；获取并显示多个可视化组件，每个可视化控件对应唯一的指标数量及维度数量；依据目标数据及其元数据的指标数量及维度数量匹配所适用的可视化组件；依据目标数据及其元数据调整可视化组件的显示内容。
[0018]通过采用上述技术方案，通过数据与元数据的指标数量及维度数量可自动匹配适合的可视化组件，可视化组件可采用图表等形式表示，例如折线图、饼图、Excel表等，在匹配完成后数据可直接导入图表中进行显示，方便用户直观得查看数据的分布规律等。
[0019]第二方面，为了方便管理数据，降低数据的出错率，本申请提供一种数据资源全生命周期管理系统，采用如下的技术方案：一种数据资源全生命周期管理系统，包括：数据采集模块，用于采集目标数据；质检模块，用于获取预先创建的质检规则，并依据质检规则对目标数据进行质量检测，生成检测报告，检测报告中包含数据质量问题；节点分配模块，用于获取针对目标数据的工作流信息，并依据工作流信息分配目标数据的处理节点，处理节点用于处理数据质量问题；元数据调取模块，用于调取对应目标数据的元数据；及检查模块，用于获取预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据资源全生命周期管理方法，其特征在于：包括：采集目标数据；获取预先创建的质检规则；依据质检规则对目标数据进行质量检测，生成检测报告，检测报告中包含数据质量问题；获取针对目标数据的工作流信息；依据工作流信息分配目标数据的处理节点，处理节点用于处理数据质量问题；调取对应目标数据的元数据；获取预先创建的数据标准；判断目标数据及其元数据是否通过质量检测且符合数据标准；若是，则将目标数据以数据服务的形式封装，并生成API；若否，则依据判断结果分配至对应处理节点。2.根据权利要求1所述的数据资源全生命周期管理方法，其特征在于：所述获取预先创建的数据标准的步骤中，还包括：获取预选标准；判断预选标准为现有标准或自定义标准，现有标准包括国标、行标及企标，自定义标准由人工设定并导入；若为自定义标准，则执行发布审批操作；若为现有标准，则依据现有标准生成数据标准；所述发布审批操作包括：获取发布指令，并基于发布指令发布自定义标准；获取对应自定义标准的审批结果；若审批通过，则依据自定义标准生成数据标准。3.根据权利要求1所述的数据资源全生命周期管理方法，其特征在于：所述依据质检规则对目标数据进行质量检测的步骤中，所述质量检测方式包括空值检测及重复值检测；所述空值检测用于检测任意字段下的数据的空值的个数是否超过所设定的个数，若是则发出提示；所述重复值检测用于检测任意字段下的数据的重复值的个数是否超过所设定的个数，若是则发出提示。4.根据权利要求1所述的数据资源全生命周期管理方法，其特征在于：所述依据工作流信息分配目标数据的处理节点的步骤中，还包括：获取检测报告中的数据质量问题；获取针对数据质量问题的优先级定义；依据数据质量问题的优先级定义分配数据质量问题的处理节点、处理周期。5.根据权利要求1所述的数据资源全生命周期管理方法，其特征在于：所述获取针对目标数据的工作流信息的步骤中，还包括：获取并显示多个对应不同节点类型的节点类型控件，节点类型包括SQL处理、数据同步及数据推送；获取用于触发对应节点类型控件的节点选择指令；
当触发任一节点类型控件时，生成对应的节点控件；获...

【专利技术属性】
技术研发人员：陈细平，兰蔚青，林玉，
申请(专利权)人：杭州半云科技有限公司，
类型：发明
国别省市：