多源异构数据处理系统技术方案

技术编号:40471856 阅读:93 留言:0更新日期:2024-02-26 19:09
本公开的实施例公开了多源异构数据处理系统。该方法的一具体实施方式包括:获取到多源异构数据集;将数据待处理队列中的每个多源异构数据分配至数据融合处理器组中的数据融合处理器;对接收到的多源异构数据进行数据解析以生成解析后字段信息,得到解析后字段信息集;对解析后字段信息集中的各个解析后字段信息进行数据清洗,得到清洗后字段信息集,将清洗后字段信息集返回至数据分配处理引擎,将接收到的各个清洗后字段信息添加至预设的数据待发送队列;将数据待发送队列中的各个清洗后字段信息分配至数据融合分发器组中的数据融合分发器;将接收到的清洗后字段信息写入至数据存储组件的数据库,以供存储。该实施方式可以减少存储资源的占用。

【技术实现步骤摘要】

本公开的实施例涉及计算机,具体涉及多源异构数据处理系统


技术介绍

1、多源异构数据处理系统,是对多来源数据进行实时处理的系统。目前,在进行多源异构数据处理时,通常采用的方式为:对多来源数据进行分类,然后将同一类别的数据进行统一存储。同时,建立每个类型数据对应的数据标签,以用于数据查询。

2、然而,专利技术人发现,当采用上述方式进行多源异构数据处理时,经常会存在如下技术问题:

3、第一,多源异构数据结构复杂,数据量大,若进行实时的分类以及存储,不仅需要占用较多的数据处理时长,还由于建立了每个数据对应的数据标签,而占用更多的存储资源;

4、第二,对数据分类存储,难以去除不同种类数据之间的冗余数据,从而,需要占用更多的存储资源。

5、该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部本文档来自技高网...

【技术保护点】

1.一种多源异构数据处理系统,包括:多源数据采集器、数据分配处理引擎、数据融合处理器组、数据融合分发器组、数据存储组件,其中:

2.根据权利要求1所述的多源异构数据处理系统,其中,所述将数据待处理队列中的每个多源异构数据分配至所述数据融合处理器组中的数据融合处理器,包括:

3.根据权利要求1所述的多源异构数据处理系统,其中,所述对多源异构数据进行数据解析,以生成解析后字段信息,包括:

4.根据权利要求1所述的多源异构数据处理系统,其中,所述对所述解析后字段信息集中的各个解析后字段信息进行数据清洗,得到清洗后字段信息集,包括:

5.根据权利要...

【技术特征摘要】

1.一种多源异构数据处理系统,包括:多源数据采集器、数据分配处理引擎、数据融合处理器组、数据融合分发器组、数据存储组件,其中:

2.根据权利要求1所述的多源异构数据处理系统,其中,所述将数据待处理队列中的每个多源异构数据分配至所述数据融合处理器组中的数据融合处理器,包括:

3.根据权利要求1所述的多源异构数据处理系统,其中,所述对多源异构数据进行数据解析,以生成解析后字段信息,包括:

4.根据权利要求...

【专利技术属性】
技术研发人员:陈洋李淑明
申请(专利权)人:海南榕树家信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1