【技术实现步骤摘要】
本说明书涉及数据处理,尤其涉及一种基于湖仓一体的工业大数据处理方法、设备及介质。
技术介绍
1、在工业领域,工业大数据的数据量大,并且为多源异构的复杂数据,在对工业大数据的应用过程中对数据的实时性要求较高,导致在对工业数据进行处理时需要考虑多种因素。湖仓一体技术通常是指将数据湖和数据仓库两种数据存储和处理范式结合在一起的方法,以实现更灵活、综合性的数据处理和分析。数据湖通常用于存储原始、未经处理的工业数据,而数据仓库则用于存储经过清洗、转换和整理后的结构化数据,供分析和报表使用。
2、传统的湖仓一体技术中,使用数据湖存储原始数据,由数据仓进行数据分析,但是由于工业大数据的数据量大,且多源异构复杂度高,数据湖中的数据容易由于数据堆砌影响数据仓的数据分析以及后续的业务分析。因此,传统的湖仓一体技术,数据存储杂乱,与业务关联程度较低,无法满足工业大数据的业务分析需求。
技术实现思路
1、本说明书一个或多个实施例提供了一种基于湖仓一体的工业大数据处理方法、设备及介质,用于解决如下技术问
...【技术保护点】
1.一种基于湖仓一体的工业大数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,在预先构建的湖仓一体系统中,基于每个所述工业数据的数据来源设备信息,将所述多个工业数据进行分类,确定所述工业系统对应的多个业务存储区,具体包括:
3.根据权利要求1所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,通过预先获取的数据存储分区信息,对每个所述业务存储区中的多个业务工业数据进行分类,以将所述多个业务工业数据分别存储至对应的业务数据存储分区,具体包括:
4.根据权利要求3所述
...【技术特征摘要】
1.一种基于湖仓一体的工业大数据处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,在预先构建的湖仓一体系统中,基于每个所述工业数据的数据来源设备信息,将所述多个工业数据进行分类,确定所述工业系统对应的多个业务存储区,具体包括:
3.根据权利要求1所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,通过预先获取的数据存储分区信息,对每个所述业务存储区中的多个业务工业数据进行分类,以将所述多个业务工业数据分别存储至对应的业务数据存储分区,具体包括:
4.根据权利要求3所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,确定所述多个业务工业数据的数据使用频率信息和数据类型信息,具体包括:
5.根据权利要求4所述的一种基于湖仓一体的工业大数据处理方法,其特征在于,基于所述数据来源设备信息,确定每个所述业务工业...
【专利技术属性】
技术研发人员:李科,肖雪,商广勇,胡立军,罗涛,
申请(专利权)人:浪潮云洲工业互联网有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。