湖仓一体数据处理方法、系统、电子设备及存储介质技术方案

本申请提供了一种湖仓一体数据处理方法、系统、电子设备及存储介质，其中，该方法包括：获取至少一个采集作业的信息，按照采集周期并以数据接入方式从数据源获取目标数据，并基于预先训练的数据类型检测模型，将目标数据存储至数据湖仓中，其中，数据接入方式用于指示数据接入时的格式，数据接入方式包括：文件接入方式或消息队列接入方式，数据湖仓用于存储结构化数据、半结构化数据以及非结构化数据。本申请通过数据统一入湖，避免多路径接入的高成本和复杂性，并避免无效数据复制和传输，通过数据统一存储，避免数据不一致的问题，减轻系统运维成本，同时提高数据分析的准确性和灵活性。

【技术实现步骤摘要】

本申请涉及数据处理，具体而言，涉及一种湖仓一体数据处理方法、系统、电子设备及存储介质。

技术介绍

1、近年来，对数据存储、管理及分析需求较高的企业希望能够构建一个集数据存储、分析和应用于一体的数据管理解决方案，以提高数据的价值和使用效率。而将数据湖和数据仓库的优点结合起来，实现湖仓一体，打破两者之间的壁垒，可以满足企业不断变化的数据需求，实现企业生产过程的全流程数据整合、管理、分析和应用。

2、现有技术中，为将数据湖和数据仓库结合以实现湖仓一体，常依托云原生特性、计算存储分离架构、强事务特性、完整的数据库语言(structured query language，sql)标准支持及高性能并行执行能力等一些列底层技术变革，通过在数据仓库中创建外部表并映射到关系数据库中的表或者获取外部表中数据的结构信息，从而获取数据。

3、但是，现有技术的数据湖和数据仓库在物理上仍然相互独立，并未将二者融为一体，导致目前的湖仓一体方案存在灵活性不足以及时效性差的问题。

技术实现思路

1、本申请的目的在于，针本文档来自技高网...

【技术保护点】

1.一种湖仓一体数据处理方法，其特征在于，应用于湖仓一体系统中的服务器，所述湖仓一体系统中包括所述服务器以及客户端，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取用户指示的至少一个采集作业的信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述按照所述采集周期并以所述数据接入方式从所述数据源获取目标数据，并基于预先训练的数据类型检测模型，将所述目标数据存储至数据湖仓中，包括：

4.根据权利要求1所述的方法，其特征在于，所述按照所述采集周期并以所述数据接入方式从所述数据源获取目标数据，并基于预先训练的数据类型检测模型，将所述目标...

【技术特征摘要】

1.一种湖仓一体数据处理方法，其特征在于，应用于湖仓一体系统中的服务器，所述湖仓一体系统中包括所述服务器以及客户端，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取用户指示的至少一个采集作业的信息，包括：

3.根据权利要求1所述的方法，其特征在于，所述按照所述采集周期并以所述数据接入方式从所述数据源获取目标数据，并基于预先训练的数据类型检测模型，将所述目标数据存储至数据湖仓中，包括：

4.根据权利要求1所述的方法，其特征在于，所述按照所述采集周期并以所述数据接入方式从所述数据源获取目标数据，并基于预先训练的数据类型检测模型，将所述目标数据存储至数据湖仓中，包括：

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述按照所述计算调度周期，基于所述计算作业的类...

【专利技术属性】
技术研发人员：吴春辉，张晓宁，郭永刚，苏亚晶，
申请(专利权)人：安徽数智建材研究院有限公司，
类型：发明
国别省市：