【技术实现步骤摘要】
本公开的实施例涉及计算机,具体涉及多源异构数据处理系统。
技术介绍
1、多源异构数据处理系统,是对多来源数据进行实时处理的系统。目前,在进行多源异构数据处理时,通常采用的方式为:对多来源数据进行分类,然后将同一类别的数据进行统一存储。同时,建立每个类型数据对应的数据标签,以用于数据查询。
2、然而,专利技术人发现,当采用上述方式进行多源异构数据处理时,经常会存在如下技术问题:
3、第一,多源异构数据结构复杂,数据量大,若进行实时的分类以及存储,不仅需要占用较多的数据处理时长,还由于建立了每个数据对应的数据标签,而占用更多的存储资源;
4、第二,对数据分类存储,难以去除不同种类数据之间的冗余数据,从而,需要占用更多的存储资源。
5、该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在
...【技术保护点】
1.一种多源异构数据处理系统,包括:多源数据采集器、数据分配处理引擎、数据融合处理器组、数据融合分发器组、数据存储组件,其中:
2.根据权利要求1所述的多源异构数据处理系统,其中,所述将数据待处理队列中的每个多源异构数据分配至所述数据融合处理器组中的数据融合处理器,包括:
3.根据权利要求1所述的多源异构数据处理系统,其中,所述对多源异构数据进行数据解析,以生成解析后字段信息,包括:
4.根据权利要求1所述的多源异构数据处理系统,其中,所述对所述解析后字段信息集中的各个解析后字段信息进行数据清洗,得到清洗后字段信息集,包括:
...【技术特征摘要】
1.一种多源异构数据处理系统,包括:多源数据采集器、数据分配处理引擎、数据融合处理器组、数据融合分发器组、数据存储组件,其中:
2.根据权利要求1所述的多源异构数据处理系统,其中,所述将数据待处理队列中的每个多源异构数据分配至所述数据融合处理器组中的数据融合处理器,包括:
3.根据权利要求1所述的多源异构数据处理系统,其中,所述对多源异构数据进行数据解析,以生成解析后字段信息,包括:
4.根据权利要求...
【专利技术属性】
技术研发人员:陈洋,李淑明,
申请(专利权)人:海南榕树家信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。