【技术实现步骤摘要】
本公开涉及计算机，尤其涉及一种基于湖仓一体的数据处理方法、装置和电子设备。
技术介绍
1、随着信息技术的发展，数据湖的应用场景越来越多。实际上，对于用户查询数据来说，每天可能会存在大量的数据查询任务或者是需要查询响应快且数据量低的查询业务，以满足用户数据查询需求。然而，因一些数据查询方案存在缺陷，导致用户数据查询体验较差。
技术实现思路
1、提供该公开内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该公开内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
2、第一方面，本公开实施例提供了一种基于湖仓一体的数据处理方法，该方法包括：预先存储至少两种协议文件，其中，各个协议文件分别对应于不同的数据处理引擎，协议文件用于解析其对应的数据处理引擎发送的元数据获取请求以及从元数据存储空间获取元数据；接收数据处理引擎发送的第一元数据获取请求；根据发送所述第一元数据获取请求的数据处理引擎的引擎类型，从所述至少两种协议文件中，确定对所述第一元数据获取请求进行处理的目标协议文件；基于所述目标协议文件，解析所述第一元数据获取请求以及从元数据存储空间获取所述第一元数据获取请求对应的元数据。
3、第二方面，本公开实施例提供了一种基于湖仓一体的数据处理装置，包括：存储单元，用于预先存储至少两种协议文件，其中，各个协议文件分别对应于不同的数据处理引擎，协议文件用于解析其对应的数据处理引擎发送的元数据
4、第三方面，本公开实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于湖仓一体的数据处理方法。
5、第四方面，本公开实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的基于湖仓一体的数据处理方法的步骤。
6、本公开提供的基于湖仓一体的数据处理方法、装置和电子设备，，对两个数据处理引擎结合的场景，通过存储一套元数据，并且预先存储至少两种协议文件，其中，各个协议文件分别对应于不同的数据处理引擎，协议文件用于解析其对应的数据处理引擎发送的元数据获取请求以及从元数据存储空间获取元数据；接收数据处理引擎发送的第一元数据获取请求；根据发送所述第一元数据获取请求的数据处理引擎的引擎类型，从所述至少两种协议文件中，确定对所述第一元数据获取请求进行处理的目标协议文件；基于所述目标协议文件，解析所述第一元数据获取请求以及从元数据存储空间获取所述第一元数据获取请求对应的元数据；由此，可以实现一套元数据存储，至少两套对外的协议实现，减少数据存储量；并且，由于设置一份元数据，可以统一对元数据权限管理的入口，提高数据的安全性。
本文档来自技高网...【技术保护点】
1.一种基于湖仓一体的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一元数据获取请求与第一令牌绑定；以及
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求2所述的方法，其特征在于，所述第一电子设备端预置有认证插件，所述认证插件用于当接收到发送数据处理请求指令时，将预定义验证信息与所述数据处理请求关联并发送。
5.根据权利要求1所述的方法，其特征在于，所述元数据存储空间位于与数据库前端的外部。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
7.根据权利要求6所述的方法，其特征在于，所述目标处理引擎基于所获取的元数据，从数据库的事实表中查询与第一查询请求对应的目标数据。
8.一种基于湖仓一体的数据处理装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
【技术特征摘要】
1.一种基于湖仓一体的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述第一元数据获取请求与第一令牌绑定；以及
3.根据权利要求2所述的方法，其特征在于，
4.根据权利要求2所述的方法，其特征在于，所述第一电子设备端预置有认证插件，所述认证插件用于当接收到发送数据处理请求指令时，将预定义验证信息与所述数据处理请求关联并发送。
5.根据权利要求1所述的方法，其特征在于，所述元数据存储空间位于与数据库...
【专利技术属性】
技术研发人员：琚克俭，户蕾蕾，杜军令，
申请(专利权)人：北京火山引擎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。