一种数据集成方法及系统技术方案

本申请公开了一种数据集成方法及系统。数据集成方法包括：统一步骤：统一多源通信协议的数据入口，并接入到数据处理流程中；数据处理步骤：将所述数据处理流程中的非标准原始数据清洗为标准原始数据；接口接入步骤：将所述数据处理流程中所有所述标准原始数据以任务为单位，通过接口接入到可视化管理页面中。本发明专利技术提出一种数据集成方法及系统，本发明专利技术针对多源通信协议，定义了统一规范，从而实现高效接入，并配置了统一监控，及时发现数据漏洞，同时数据结构剥离业务逻辑，解决了数据孤岛问题，并实现了可拖拽式通用模块，自由布局搭建处理流，支持元数据可配置，可一键式干涉任务处理，实现了数据处理流程的可视和可控。

【技术实现步骤摘要】
一种数据集成方法及系统
本申请涉及数据集成
，尤其涉及一种数据集成方法及系统。
技术介绍
在数据爆炸的时代，几乎每时每刻都在产生数据。对于数据工作者来说，在实际应用中，面对海量数据，数据集成的常规步骤分为数据抽取、数据转换和清洗、数据落地，然后才能从海量数据中提炼出有价值的东西，而数据集成要解决的首要问题是各个数据源之间的异构性，所以如何高效地将数据集成为高质量的数据资产，对实现数据的高价值回报有极其重要的意义。现有技术，针对各个不同数据源，配置一套独立的定制的数据处理流程，基于数据源独有的通信协议的异构、数据模式的异构、数据类型的异构、语义的异构、取值的异构来开发和搭建数据集成的流程，实现方案物理逻辑图如图2所示。现有技术的缺点为如下，数据标准和相关管理规范缺乏，造成数据缺、杂、乱、错现象发生概率大，无统一监控标准，发现问题不及时；数据附加过多业务逻辑，跨系统跨部门很难统一和打通，造成数据孤岛现象严重，无法实现数据的有效共享；接入流程分散不集中统一，需要多方协调，人力成本高，效率低；处理流程不可视，不可自由调整变更流程。因此，针对以上现状，本专利技术提出一种数据集成方法及系统，本专利技术本专利技术针对多源通信协议，开发了各自适用的通用数据入口，定义了统一规范，从而实现高效接入，配置统一监控，及时发现数据漏洞。同时将数据结构剥离业务逻辑，从而降低数据共享难度，解决数据孤岛问题，并将数据入口和后续流程通用化，定义了统一规范，配置入口直接接入，提高了接入效率，降低人力重复开发的成本。与此同时，本专利技术实现了可拖拽式通用模块，自由布局搭建处理流，支持元数据可配置，可一键式干涉任务处理，实现流程可视和可控。
技术实现思路
本申请实施例提供了一种数据集成方法及系统，以至少解决相关技术中主观因素影响的问题。本专利技术提供了一种数据集成方法，包括：统一步骤：统一多源通信协议的数据入口，并接入到数据处理流程中；数据处理步骤：将所述数据处理流程中的非标准原始数据清洗为标准原始数据；接口接入步骤：将所述数据处理流程中所有所述标准原始数据以任务为单位，通过接口接入到可视化管理页面中。上述的数据集成方法，所述统一步骤包括，抽象所述多源通信协议的所述数据入口后，统一所述数据入口，并接入到数据处理流程中。上述的数据集成方法，所述数据处理步骤包括，将所述数据处理流程中的所述非标准原始数据清洗为所述标准原始数据后，将所述标准原始数据落地到数据库中。上述的数据集成方法，所述接口接入步骤包括，监控所述数据处理流程，并将所述数据处理流程中所有所述标准原始数据以任务为单位，通过所述接口接入到所述可视化管理页面中。上述的数据集成方法，所述可视化管理页面包括，将所述数据处理流程分步骤抽象成的数据处理流程模块与任务管理模块。本专利技术还提供一种数据集成系统，其中，适用于上述所述的数据集成方法，所述数据集成系统包括：统一单元：统一多源通信协议的数据入口，并接入到数据处理流程中；数据处理单元：将所述数据处理流程中的非标准原始数据，清洗为标准原始数据；接口接入单元：将所述数据处理流程中所有所述标准原始数据以任务为单位，通过接口接入到可视化管理页面中。上述的数据集成系统，所述统一单元抽象所述多源通信协议的所述数据入口后，统一所述数据入口，并接入到数据处理流程中。上述的数据集成系统，所述数据处理单元将所述数据处理流程中的所述非标准原始数据，清洗为所述标准原始数据后，将所述标准原始数据落地到数据库中。上述的数据集成系统，所述接口接入单元监控所述数据处理流程，并将所述数据处理流程中所有所述标准原始数据以任务为单位，通过所述接口接入到所述可视化管理页面中。上述的数据集成系统，所述可视化管理页面包括，将所述数据处理流程分步骤抽象成的数据处理流程模块与任务管理模块。相比于相关技术，本专利技术提出一种数据集成方法及系统，本专利技术针对多源通信协议，开发了各自适用的通用数据入口，定义了统一规范，从而实现高效接入，配置统一监控，及时发现数据漏洞。同时将数据结构剥离业务逻辑，从而降低数据共享难度，解决数据孤岛问题，并将数据入口和后续流程通用化，定义了统一规范，配置入口直接接入，提高了接入效率，降低人力重复开发的成本。与此同时，本专利技术实现了可拖拽式通用模块，自由布局搭建处理流，支持元数据可配置，可一键式干涉任务处理，实现流程可视和可控。本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请实施例的数据集成方法流程图；图2是根据本申请实施例的现有技术实现方案框架图；图3是根据本申请实施例的实现方案框架图；图4为本专利技术的数据集成系统的结构示意图；图5是根据本申请实施例的电子设备的框架图。其中，附图标记为：统一单元：51；数据处理单元：52；接口接入单元：53；81：处理器；82：存储器；83：通信接口；80：总线。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开内容相关的本领域的普通技术人员而言，在本申请揭露的
技术实现思路
基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属
内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，本文档来自技高网...

【技术保护点】
1.一种数据集成方法，其特征在于，包括：/n统一步骤：统一多源通信协议的数据入口，并接入到数据处理流程中；/n数据处理步骤：将所述数据处理流程中的非标准原始数据清洗为标准原始数据；/n接口接入步骤：将所述数据处理流程中所有所述标准原始数据以任务为单位，通过接口接入到可视化管理页面中。/n

【技术特征摘要】
1.一种数据集成方法，其特征在于，包括：
统一步骤：统一多源通信协议的数据入口，并接入到数据处理流程中；
数据处理步骤：将所述数据处理流程中的非标准原始数据清洗为标准原始数据；
接口接入步骤：将所述数据处理流程中所有所述标准原始数据以任务为单位，通过接口接入到可视化管理页面中。


2.根据权利要求1所述的数据集成方法，其特征在于，所述统一步骤包括，抽象所述多源通信协议的所述数据入口后，统一所述数据入口，并接入到数据处理流程中。


3.根据权利要求1所述的数据集成方法，其特征在于，所述数据处理步骤包括，将所述数据处理流程中的所述非标准原始数据清洗为所述标准原始数据后，将所述标准原始数据落地到数据库中。


4.根据权利要求1所述的数据集成方法，其特征在于，所述接口接入步骤包括，监控所述数据处理流程，并将所述数据处理流程中所有所述标准原始数据以任务为单位，通过所述接口接入到所述可视化管理页面中。


5.根据权利要求1所述的数据集成方法，其特征在于，所述可视化管理页面包括，将所述数据处理流程分步骤抽象成的数据处理流程模块与任务管理模块。


6.一种数...

【专利技术属性】
技术研发人员：蔡丽园，
申请(专利权)人：北京秒针人工智能科技有限公司，
类型：发明
国别省市：北京;11