【技术实现步骤摘要】
数据的汇聚方法及装置、存储介质和电子装置
本专利技术涉及计算机领域,具体而言,涉及一种数据的汇聚方法及装置、存储介质和电子装置。
技术介绍
在信息技术发达的今天,数据呈指数级增长。企业的各个业务系统在运行过程也产生了不同量级的数据资源,这些数据类型多样化,结构复杂化,分布分散化。数据汇聚就是将多源、异构并且分散的数据在物理上或者逻辑上有机聚集到大数据平台中集中存储和管理,同时也能够实现各个系统间的数据共享、各个应用间的有效流通。但如何有效的将这些来源不同、格式不一、结构各异的数据汇聚到一起变得非常重要。现有技术中的数据汇聚方法是针对某一种数据源或者单一结构的数据源,无法满足企业多源、异构的场景。针对相关技术中的上述问题,目前尚未存在有效的解决方案。
技术实现思路
本专利技术实施例提供了一种数据的汇聚方法及装置、存储介质和电子装置,以至少解决相关技术中数据汇聚方法是针对某一种数据源或者单一结构的数据源的问题。根据本专利技术的一个实施例,提供了一种数据的汇聚方法,包括:获取各个数据源的元信息, ...
【技术保护点】
1.一种数据的汇聚方法,其特征在于,包括:/n获取各个数据源的元信息,其中,所述元信息用于指示以下至少之一:数据源类型,数据源的位置,数据源的数据结构;/n根据所述元信息对各个所述数据源进行分类存储。/n
【技术特征摘要】
1.一种数据的汇聚方法,其特征在于,包括:
获取各个数据源的元信息,其中,所述元信息用于指示以下至少之一:数据源类型,数据源的位置,数据源的数据结构;
根据所述元信息对各个所述数据源进行分类存储。
2.根据权利要求1所述的方法,其特征在于,在获取各个数据源的元信息之后,所述方法还包括:
创建多个采集任务,其中,每一个采集任务对应一个数据类型;
根据所述元信息从所述各个数据源中选择与指定类型匹配的数据源,并根据所述采集任务执行选择出的数据源;
保存采集任务的执行结果。
3.根据权利要求2所述的方法,其特征在于,所述采集任务所包括的任务至少包括以下之一:创建任务、删除任务、运行任务、重运行、查看任务详情。
4.根据权利要求2所述的方法,其特征在于,所述执行结果至少包括以下之一:采集开始时间、结束时间、触发方式、采集量、目的存储位置。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
实时监控多个所述采集任务执行数据源的情况。
6.一种数据的汇聚装置,其特征在于,包括:
获取模块,用于获取各个数据源的元信息,其中,所述元信息用于指示以下至少之一:数据源类型,数据源的位置,数据源的数据结构;
分类模块,用于根据所述元信息对各个...
【专利技术属性】
技术研发人员:堵新政,张毅然,
申请(专利权)人:北京明略软件系统有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。