一种多源异构数据的集成和处理方法及装置制造方法及图纸

本申请提供了一种多源异构数据的集成和处理方法及装置，该集成和处理方法包括：接收用户设置的数据集成和处理流程，并基于所述数据处理流程生成对应的任务实例；利用数据集成组件对应的任务实例获取原始异构数据，并根据所述原始异构数据的数据形式确定对所述原始异构数据进行数据处理的数据处理流程；利用所述数据处理流程对应的任务实例对所述原始异构数据进行数据处理，以得到目标数据，并将所述目标数据发送至数据加载组件配置的数据源中进行存储。根据所述集成和处理方法及装置，实现了企业间多源异构数据源的一站式数据集成与处理。成与处理。成与处理。

【技术实现步骤摘要】
一种多源异构数据的集成和处理方法及装置


[0001]本申请涉及数据处理领域，具体而言，涉及一种多源异构数据的集成和处理方法及装置。

技术介绍

[0002]在企业信息化建设过程中，发现各部门由于业务及功能归属不同，所采用的计算机环境由不同平台构成，形成了大量的多源异构数据源，这些孤立的数据源也被称为“数据孤岛”。另由于对数据传输存储的安全性、规范性等多方面考虑，数据在传输前或者传输过程中通常伴随着二次加工处理的需求，比如对敏感数据的加解密、脱敏，半结构化数据的解析、数据的二次计算等。
[0003]当前，对这些多源异构数据源数据的统一采集、处理、存储等工作没有系统的、可扩展的数据集成方案。因此，如何实现企业间多源异构数据源的一站式数据集成与处理，成为了亟需解决的问题。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种多源异构数据的集成和处理方法及装置，通过接收用户设置的数据集成和处理流程生成对应的任务实例，根据获取到的原始异构数据以及原始异构数据的属性形式，确定对原始异构数据进行数据处理的数据处理流程，根据数据处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源异构数据的集成和处理方法，其特征在于，所述集成和处理方法包括：接收用户设置的数据集成和处理流程，并基于所述数据集成和处理流程生成对应的任务实例；其中，所述数据集成和处理流程中包括多个设置有组件连接关系的处理组件，每个不同的处理组件用于实现不同的功能逻辑，所述处理组件包括数据集成组件、数据处理组件和数据加载组件，所述数据集成和处理流程中包括数据处理流程，所述数据处理流程中包括至少一个数据处理组件；利用所述数据集成组件对应的任务实例获取原始异构数据，并根据所述原始异构数据的数据形式确定对所述原始异构数据进行数据处理的数据处理流程；利用所述数据处理流程对应的任务实例对所述原始异构数据进行数据处理，以得到目标数据，并将所述目标数据发送至所述数据加载组件配置的数据源中进行存储。2.根据权利要求1所述的集成和处理方法，其特征在于，通过以下步骤设置所述数据集成和处理流程：从组件模板库中，选取所述数据集成和处理流程所需的至少一个组件模板；针对于每个组件模板，展示该组件模板的组件配置界面，并在所述组件配置界面中对该组件模板的组件配置参数中进行编辑；响应于对该组件模板的组件配置参数的确定操作，生成所述处理组件；将生成的处理组件拖拽至所述组件连接关系对应的位置。3.根据权利要求2所述的集成和处理方法，其特征在于，当所述处理组件为自定义组件时，所述集成和处理方法还包括：从所述组件模板库中，选取自定义组件模板；展示所述自定义组件模板的自定义组件配置界面，并在所述自定义组件配置界面中对所述自定义组件模板的组件配置参数中进行编辑；响应于对所述自定义组件模板的组件配置参数的确定操作，生成所述自定义组件；利用所述自定义组件的组件配置参数，判断自定义函数缓存库中是否存在所述自定义组件的自定义对象实例；若是，则从所述自定义函数缓存库中调取所述自定义对象实例；若否，则基于所述自定义组件的组件配置参数进行代码反编译，以构建所述自定义组件的自定义对象实例，并将所述自定义对象实例添加到所述自定义函数缓存库中。4.根据权利要求1所述的集成和处理方法，其特征在于，当所述数据处理流程为流式处理流程时，所述利用所述数据处理流程对应的任务实例对所述原始异构数据进行数据处理，以得到目标数据，包括：对所述原始异构数据进行封装，得到事件数据流；将所述事件数据流发送至所述数据处理流程；利用所述数据处理流程对应的任务实例对所述事件数据流进行处理，以得到所述目标数据。5.根据权利要求1所述的集成和处理方法，其特征在于，当所述数据处理流程为批处理流程时，所述利用所述数据处理流程对应的任务实例对所述原始异构数据进行数据处理，以得到目标数据，包括：基于预设的抽取时间间隔或预设的数据抽取数量，从外部数据库中抽取至少一条原始<...

【专利技术属性】
技术研发人员：李小龙，洪挺，
申请(专利权)人：北京远舢智能科技有限公司，
类型：发明
国别省市：