一种多源异构数据一站式开发治理的系统及方法技术方案

本发明专利技术涉及数据开发治理技术领域，具体涉及一种多源异构数据一站式开发治理的系统及方法，系统包括数据采集模块，适配连接外部多种异构的数据源，用于获取和集成数据源的数据获得数据集，并对数据源进行分类管理；数据设计开发模块，连接数据采集模块，用于创建工作流和数据任务，基于工作流和数据任务对数据集进行加工处理；数据治理模块，连接数据设计开发模块，用于对加工后的数据集进行管理治理，并生成相对应的数据资产，以及用于对加工后的数据集进行指标核验，生成质量得分和核验报告。本发明专利技术可以快速完成数据集成、开发、治理等一站式数据研发工作，专注于数据价值的挖掘和探索。

【技术实现步骤摘要】

本专利技术涉及数据开发治理，具体涉及一种多源异构数据一站式开发治理的系统及方法。

技术介绍

1、近年来，中国大数据和商业数据分析市场规模增速是世界平均增速的2倍，特别是银行业、离散制造业、流程制造业和政府等行业需求尤其旺盛。然而，如此可观的增速背后却藏匿着较大隐患，1、数据割裂难互通：绝大多数的企业存在数据孤岛问题，数据分析人员80％的精力都花在了获取数据的工作上，获取数据的效率非常低下。

2、2、数据价值有待释放：大部分企业未建立有效管理和应用数据的模式，自身无法随着技术、市场、产业的变化不断迭代，更无法使数据资产管理成为持续和动态的过程，进而为数字化转型提供源源不断的动力。

3、3、资源成本需要降低：现有的数据开发的采集、加工过程停留在需要大量有经验的数据开发人员写脚本阶段，成本高，复用低、上手难，无法实现自动化数据任务的统一编排和调度。

技术实现思路

1、本专利技术的目的在于，提供一种多源异构数据一站式开发治理的系统，解决以上技术问题；

2、本专利技术的目的还在于，提本文档来自技高网...

【技术保护点】

1.一种多源异构数据一站式开发治理的系统，其特征在于，包括，

2.根据权利要求1所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据采集模块包括，

3.根据权利要求1所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据设计开发模块包括，

4.根据权利要求3所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据任务包括所述标签任务、所述指标任务和所述数据处理任务；所述加工后的数据包括所述打标签后的数据、所述加工后的指标数据和所述输出数据。

5.根据权利要求3所述的多源异构数据一站式开发治理的系统，其特征在于，所述标签管理...

【技术特征摘要】

1.一种多源异构数据一站式开发治理的系统，其特征在于，包括，

2.根据权利要求1所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据采集模块包括，

3.根据权利要求1所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据设计开发模块包括，

4.根据权利要求3所述的多源异构数据一站式开发治理的系统，其特征在于，所述数据任务包括所述标签任务、所述指标任务和所述数据处理任务；所述加工后的数据包括所述打标签后的数据、所述加工后的指标数据和所述输出数据。

5.根据权利要求3所述的多源异构数据一站式开发治理的系统，其特征在于，所述标签管理单元对所述标签任务的管理包括对所述数据标签的分类，所述数据标签的信息至少包括标签名称、标签说明、标签分类；所...

【专利技术属性】
技术研发人员：吴晓晴，钱逸文，尹仁强，姚伟华，许峰，张扬頔，
申请(专利权)人：上海亿通国际股份有限公司，
类型：发明
国别省市：