一种基于湖仓一体的工业大数据处理方法、设备及介质技术

技术编号:40277572 阅读:25 留言:0更新日期:2024-02-02 23:05
本说明书实施例公开了一种基于湖仓一体的工业大数据处理方法、设备及介质,涉及数据处理技术领域,方法包括:获取多个工业数据和每个工业数据的数据来源设备信息;基于数据来源设备信息进行分类,确定工业系统对应的多个业务存储区;通过数据存储分区信息,对多个业务工业数据进行分类,以将多个业务工业数据分别存储至对应的业务数据存储分区,业务数据存储分区包括热数据区、冷数据区和灾备数据区;获取至少一个当前业务需求信息,基于每个当前业务需求信息,在对应的至少一个业务数据存储分区中确定对应的多个指定业务工业数据;进行联合分析,生成当前业务需求信息的分析数据,存储至湖仓一体系统,以实现工业大数据处理。

【技术实现步骤摘要】

本说明书涉及数据处理,尤其涉及一种基于湖仓一体的工业大数据处理方法、设备及介质


技术介绍

1、在工业领域,工业大数据的数据量大,并且为多源异构的复杂数据,在对工业大数据的应用过程中对数据的实时性要求较高,导致在对工业数据进行处理时需要考虑多种因素。湖仓一体技术通常是指将数据湖和数据仓库两种数据存储和处理范式结合在一起的方法,以实现更灵活、综合性的数据处理和分析。数据湖通常用于存储原始、未经处理的工业数据,而数据仓库则用于存储经过清洗、转换和整理后的结构化数据,供分析和报表使用。

2、传统的湖仓一体技术中,使用数据湖存储原始数据,由数据仓进行数据分析,但是由于工业大数据的数据量大,且多源异构复杂度高,数据湖中的数据容易由于数据堆砌影响数据仓的数据分析以及后续的业务分析。因此,传统的湖仓一体技术,数据存储杂乱,与业务关联程度较低,无法满足工业大数据的业务分析需求。


技术实现思路

1、本说明书一个或多个实施例提供了一种基于湖仓一体的工业大数据处理方法、设备及介质,用于解决如下技术问题:传统的湖仓一体技本文档来自技高网...

【技术保护点】

1.一种基于湖仓一体的工业大数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,在预先构建的湖仓一体系统中,基于每个所述工业数据的数据来源设备信息,将所述多个工业数据进行分类,确定所述工业系统对应的多个业务存储区,具体包括:

3.根据权利要求1所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,通过预先获取的数据存储分区信息,对每个所述业务存储区中的多个业务工业数据进行分类,以将所述多个业务工业数据分别存储至对应的业务数据存储分区,具体包括:

4.根据权利要求3所述的一种基于湖仓一体的...

【技术特征摘要】

1.一种基于湖仓一体的工业大数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,在预先构建的湖仓一体系统中,基于每个所述工业数据的数据来源设备信息,将所述多个工业数据进行分类,确定所述工业系统对应的多个业务存储区,具体包括:

3.根据权利要求1所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,通过预先获取的数据存储分区信息,对每个所述业务存储区中的多个业务工业数据进行分类,以将所述多个业务工业数据分别存储至对应的业务数据存储分区,具体包括:

4.根据权利要求3所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,确定所述多个业务工业数据的数据使用频率信息和数据类型信息,具体包括:

5.根据权利要求4所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,基于所述数据来源设备信息,确定每个所述业务工业...

【专利技术属性】
技术研发人员:李科肖雪商广勇胡立军罗涛
申请(专利权)人:浪潮云洲工业互联网有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1