一种基于分布式计算的多源异构数据集成系统技术方案

技术编号:42906790 阅读:20 留言:0更新日期:2024-09-30 15:23
本发明专利技术公开了一种基于分布式计算的多源异构数据集成系统,本发明专利技术涉及数据集成领域,包括数据集成平台,数据集成平台中包括数据采集模块、数据储存模块、数据预处理模块、数据分配模块以及数据集成模块;数据采集模块用于采集企业账号内的多源异构数据和负载数据;数据储存模块用于储存历史多源异构数据;数据预处理模块用于根据历史多源异构数据设置分布式格式化处理网络,并根据其负载数据选择分布式格式化处理节点对多源异构数据进行格式统一处理;数据分配模块设置分布式计算处理网络,并对其进行任务分配;数据集成模块根据任务分配结果完成数据处理,获取待集成数据,对其进行集成处理;本发明专利技术提高了数据集成的效率。

【技术实现步骤摘要】

本专利技术涉及数据集成领域,具体是一种基于分布式计算的多源异构数据集成系统


技术介绍

1、多源机构数据集成系统是指将来自不同来源、不同类型、不同结构的数据整合到统一的平台或系统中,包括数据提取、转换、加载等功能,以确保能够被有效地整合和管理,其通常用于企业中,帮助企业将分散在不同系统、数据库或文件中的数据进行整合,从而支持数据分析、报告、决策等业务需求;

2、公开号为cn116483840a的一种基于分布式计算的多源异构数据集成系统公开了一种基于分布式计算的多源异构数据集成系统,用于解决现有的多源异构数据集成系统无法合理的对多源异构数据进行储存,无法保证数据的储存稳定性与储存效率的问题;该多源异构数据集成系统按照数据源将数据源的数据进行整合,并将其进行分布式储存,使得储存的数据之间互不干扰,保证了数据的安全性,同时避免数据杂乱无章,使其易于被查找,之后将分布储存区进行补充,保证了数据储存空间的充足性,保证了数据储存的稳定性与安全性,保证了储存效率,之后将源数包进行转移,进一步保证了储存空间的充足性,且能够对更多的数据进行储存;

3本文档来自技高网...

【技术保护点】

1.一种基于分布式计算的多源异构数据集成系统,包括数据集成平台,其特征在于,所述数据集成平台通信链接有数据采集模块、数据储存模块、数据预处理模块、数据分配模块以及数据集成模块;

2.根据权利要求1所述的一种基于分布式计算的多源异构数据集成系统,其特征在于,所述数据采集模块采集企业账号内对应的多源异构数据以及分布式节点的负载数据的过程包括:

3.根据权利要求2所述的一种基于分布式计算的多源异构数据集成系统,其特征在于,所述数据储存模块根据企业账号中对应的多源异构数据的数据来源对其进行储存,获取其历史多源异构数据的过程包括:

4.根据权利要求3所述的一种基...

【技术特征摘要】

1.一种基于分布式计算的多源异构数据集成系统,包括数据集成平台,其特征在于,所述数据集成平台通信链接有数据采集模块、数据储存模块、数据预处理模块、数据分配模块以及数据集成模块;

2.根据权利要求1所述的一种基于分布式计算的多源异构数据集成系统,其特征在于,所述数据采集模块采集企业账号内对应的多源异构数据以及分布式节点的负载数据的过程包括:

3.根据权利要求2所述的一种基于分布式计算的多源异构数据集成系统,其特征在于,所述数据储存模块根据企业账号中对应的多源异构数据的数据来源对其进行储存,获取其历史多源异构数据的过程包括:

4.根据权利要求3所述的一种基于分布式计算的多源异构数据集成系统,其特征在于,所述数据预处理模块根据企业账号对应的历史多源异构数据设置分布式格式化处理网络的过程包括:

5.根...

【专利技术属性】
技术研发人员:杨振幅韩永亮韩亚玲杨增桃薛永张聪龙许亚男
申请(专利权)人:冠林科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1