【技术实现步骤摘要】
本专利技术涉及数据开发治理，具体涉及一种多源异构数据一站式开发治理的系统及方法。
技术介绍
1、近年来，中国大数据和商业数据分析市场规模增速是世界平均增速的2倍，特别是银行业、离散制造业、流程制造业和政府等行业需求尤其旺盛。然而，如此可观的增速背后却藏匿着较大隐患，1、数据割裂难互通：绝大多数的企业存在数据孤岛问题，数据分析人员80％的精力都花在了获取数据的工作上，获取数据的效率非常低下。
2、2、数据价值有待释放：大部分企业未建立有效管理和应用数据的模式，自身无法随着技术、市场、产业的变化不断迭代，更无法使数据资产管理成为持续和动态的过程，进而为数字化转型提供源源不断的动力。
3、3、资源成本需要降低：现有的数据开发的采集、加工过程停留在需要大量有经验的数据开发人员写脚本阶段，成本高，复用低、上手难，无法实现自动化数据任务的统一编排和调度。
技术实现思路
1、本专利技术的目的在于，提供一种多源异构数据一站式开发治理的系统，解决以上技术问题；
2、本专利技术的目的还在于，提供一种多源异构数据一站式开发治理的方法，解决以上技术问题。
3、本专利技术所解决的技术问题可以采用以下技术方案来实现：
4、一种多源异构数据一站式开发治理的系统，包括，
5、数据采集模块，适配连接外部多种异构的数据源，用于获取和集成所述数据源的数据获得数据集，并对所述数据源进行分类管理；
6、数据设计开发模块，连接所述数据采集模块
7、数据治理模块，连接所述数据设计开发模块，用于对所述加工后的数据集进行管理治理，并生成相对应的数据资产，以及用于对所述加工后的数据集进行指标核验，生成质量得分和核验报告。
8、优选的，所述数据采集模块包括，
9、数据源资源池单元，用于配置集成多种异构的所述数据源并与外部其他数据源可扩展连接，所述数据源资源池单元还用于管理所述数据源和对所述数据源进行链接测试；
10、数据源资源单元，连接所述数据源资源池单元，通过所述对数据源探查或与已有的所述数据源建立关联后引用所述数据源的数据库信息产生数据源资源，对所述数据源资源进行采集获得所述数据集；
11、数据源分类管理单元，连接所述数据源资源单元，基于使用场景对所述数据集的来源进行分类管理。
12、优选的，所述数据设计开发模块包括，
13、标签管理单元，用于管理标签任务，展示所有所述标签任务的信息，基于所述数据标签的规则对所述数据集进行标签打标，生成打标签后的数据；
14、指标管理单元，连接所述标签管理单元，用于管理指标任务，展示所有所述指标任务的信息，基于设定规则对所述数据集进行指标计算后固化到指定的表中，生成加工后的指标数据；
15、数据处理管理单元，连接所述指标管理单元，用于管理数据处理任务，所述数据处理任务为可自定义扩展的结构化任务，所述数据集导入至创建的所述数据处理任务后计算产生相对应的输出数据。
16、优选的，所述数据任务包括所述标签任务、所述指标任务和所述数据处理任务；所述加工后的数据包括所述打标签后的数据、所述加工后的指标数据和所述输出数据。
17、优选的，所述标签管理单元对所述标签任务的管理包括对所述数据标签的分类，所述数据标签的信息至少包括标签名称、标签说明、标签分类；所述指标管理单元对所述指标任务的管理包括对所述指标的分类分组，指标的信息包括指标名称、指标描述、数据类型、指标状态、测试状态、指标分组、对所述指标的操作。
18、优选的，所述数据治理模块包括，
19、数据资产单元，用于基于所述加工后的数据产生所述数据资产，以注册方式形成数据资源目录，将所述数据资产以设定标准的形式组织进行展示，所述数据资产单元还用于提供可视化的界面对所述数据资源目录进行管理；
20、数据质量单元，连接所述数据资产单元，用于核验所述加工后的数据中指定数据的质量，所述数据质量单元内设有包括多个核验质量指标的核验质量指标库，所述核验质量指标库基于应用需要可控制地对所述进行核验质量指标进行增删。
21、一种多源异构数据一站式开发治理的方法，应用于所述的多源异构数据一站式开发治理的系统，包括，
22、步骤s1，所述数据采集模块集成外部多种异构的所述数据源，采集所述数据源的数据获得所述数据集；
23、步骤s2，所述数据设计开发模块创建所述工作流和所述数据任务，基于所述工作流和所述数据任务对所述数据集进行加工处理，获得所述加工后的数据集；
24、步骤s3，所述数据治理模块对所述加工后的数据集进行管理治理，并生成相对应的所述数据资产，以及对所述加工后的数据集进行指标核验，生成质量得分和核验报告。
25、优选的，步骤s1包括，
26、步骤s11，数据源资源池单元对外部连接的所述数据源进行链接测试；
27、步骤s12，数据源资源单元对链接成功的所述数据源进行探查和/或关联编辑，对编辑完成的所述数据源进行数据采集获得所述数据集；
28、步骤s13，数据源分类管理单元基于使用场景对所述数据集的来源进行分类管理。
29、优选的，步骤s2包括，
30、步骤s21，标签管理单元创建标签任务，将所述数据集导入所述标签任务，对所述数据集中符合条件的数据进行打标签；
31、步骤s22，指标管理单元创建指标任务，将所述数据集导入所述指标任务，生成加工后的指标数据；
32、步骤s23，数据处理管理单元创建数据处理任务，将所述数据集导入所述数据处理任务，输入算子和待处理的所述数据集，产生输出数据。
33、优选的，步骤s3包括，
34、步骤s31，数据资产单元基于所述加工后的数据产生所述数据资产，以分层流转的形式展示，通过可视化的界面展示指定的所述数据集下指定字段的数据血缘；
35、步骤s32，数据质量单元对所述加工后的数据中指定数据设置核验指标，进行多种质量的计算核验，形成所述质量得分，并建立和执行数据质量核验任务完成对数据质量的核验过程，形成所述核验报告。
36、本专利技术的有益效果：由于采用以上技术方案，本专利技术支持多源异构数据源的数据采集，可进行各类数据处理任务的统一调度管理，灵活配置调度周期和任务编排执行，支持对全平台的数据资产盘点与展示、数据质量评估及保障，实现质量可靠、安全可控，可以快速完成数据集成、开发、治理等一站式数据研发工作，专注于数据价值的挖掘和探索。
本文档来自技高网...【技术保护点】
1.一种多源异构数据一站式开发治理的系统，其特征在于，包括，
2.根据权利要求1所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据采集模块包括，
3.根据权利要求1所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据设计开发模块包括，
4.根据权利要求3所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据任务包括所述标签任务、所述指标任务和所述数据处理任务；所述加工后的数据包括所述打标签后的数据、所述加工后的指标数据和所述输出数据。
5.根据权利要求3所述的多源异构数据一站式开发治理的系统，其特征在于，所述标签管理单元对所述标签任务的管理包括对所述数据标签的分类，所述数据标签的信息至少包括标签名称、标签说明、标签分类；所述指标管理单元对所述指标任务的管理包括对所述指标的分类分组，指标的信息包括指标名称、指标描述、数据类型、指标状态、测试状态、指标分组、对所述指标的操作。
6.根据权利要求1所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据治理模块包括，
7.一种多源异构数据
8.根据权利要求7所述的多源异构数据一站式开发治理的方法，其特征在于，步骤S1包括，
9.根据权利要求7所述的多源异构数据一站式开发治理的方法，其特征在于，步骤S2包括，
10.根据权利要求7所述的多源异构数据一站式开发治理的方法，其特征在于，步骤S3包括，
...【技术特征摘要】
1.一种多源异构数据一站式开发治理的系统，其特征在于，包括，
2.根据权利要求1所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据采集模块包括，
3.根据权利要求1所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据设计开发模块包括，
4.根据权利要求3所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据任务包括所述标签任务、所述指标任务和所述数据处理任务；所述加工后的数据包括所述打标签后的数据、所述加工后的指标数据和所述输出数据。
5.根据权利要求3所述的多源异构数据一站式开发治理的系统，其特征在于，所述标签管理单元对所述标签任务的管理包括对所述数据标签的分类，所述数据标签的信息至少包括标签名称、标签说明、标签分类；所...
【专利技术属性】
技术研发人员：吴晓晴，钱逸文，尹仁强，姚伟华，许峰，张扬頔，
申请(专利权)人：上海亿通国际股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。