Hive数据交互信息查询方法、装置、设备和存储介质制造方法及图纸

本申请涉及一种Hive数据交互信息查询方法、装置、计算机设备和可读存储介质。所述方法包括：通过Filebeat采集存储有Hive数据的数据库表对应的审计日志，并将审计日志通过kafka模块进行实时数据队列传输；审计日志中存储有针对数据库表的数据交互行为对应的日志记录；通过Flink模块从kafka模块的实时数据队列中获取审计日志，并从审计日志中提取数据交互行为对应的日志记录，以及日志记录关联的日志解析信息，将日志解析信息写入iceberg表；响应于针对数据交互行为的交互信息获取请求，从iceberg表中获取日志解析信息，并基于日志解析信息得到待展示的数据交互信息，将待展示的数据交互信息进行展示。采用本方法能够提高Hive数据交互信息查询的实时性。

【技术实现步骤摘要】

本申请涉及大数据，特别是涉及一种hive数据交互信息查询方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

技术介绍

1、随着大数据技术的发展，出现了一种存储在apache hive中的数据，即hive数据。apache hive是一个数据仓库基础设施，可用于存储、处理和分析大型数据集。hive提供了一种数据交互语言，可让用户能够方便地针对hive数据进行数据交互。

2、为了实现对hive数据的存储、管理和分析，通常需要迅速有效地统计hive数据交互信息，目前hive数据交互查询统计通常依赖于日志分析方法，然而传统的日志分析方法依赖于批量处理，导致数据分析和展示存在延迟，无法实时反映数据交互情况。因此，现有的hive数据交互信息查询方法的实时性较低。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高hive数据交互信息查询实时性的hive数据交互信息查询方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本申请提供了一种hive数据交本文档来自技高网...

【技术保护点】

1.一种Hive数据交互信息查询方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述数据交互行为包括第一数据交互行为以及第二数据交互行为；所述第一数据交互行为用于访问所述数据库表，所述第二数据交互行为用于更新所述数据库表；

3.根据权利要求2所述的方法，其特征在于，所述交互信息获取请求包括用于获取所述第一数据交互行为的交互信息的第一交互信息获取请求，以及用于获取所述第二数据交互行为的交互信息的第二交互信息获取请求；

4.根据权利要求1至3任一项所述的方法，其特征在于，所述从所述iceberg表中获取所述日志解析信息，并基于所...

【技术特征摘要】

1.一种hive数据交互信息查询方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述数据交互行为包括第一数据交互行为以及第二数据交互行为；所述第一数据交互行为用于访问所述数据库表，所述第二数据交互行为用于更新所述数据库表；

3.根据权利要求2所述的方法，其特征在于，所述交互信息获取请求包括用于获取所述第一数据交互行为的交互信息的第一交互信息获取请求，以及用于获取所述第二数据交互行为的交互信息的第二交互信息获取请求；

4.根据权利要求1至3任一项所述的方法，其特征在于，所述从所述iceberg表中获取所述日志解析信息，并基于所述日志解析信息得到待展示的数据交互信息，将所述待展示的数据交互信息进行展示，包括：

5.根据权利要求4所述的方法，其特征在于，所述日志解...

【专利技术属性】
技术研发人员：任宪收，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：