基于Hive数据仓库的元数据读取方法及装置制造方法及图纸

本发明专利技术公开了一种基于Hive数据仓库的元数据读取方法及装置，该方法包括：接收安全管控系统发送的携带关键字段的读取请求；确定本地缓存中是否存储所述关键字段对应的元数据；若确定所述本地缓存中存储所述关键字段对应的元数据，则向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应；若确定所述本地缓存中未存储所述关键字段对应的元数据，则以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据，向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应。该方案可以实现高效、便捷的元数据读取方式。

Metadata Reading Method and Device Based on Hive Data Warehouse

The invention discloses a metadata reading method and device based on Hive data warehouse. The method includes: receiving the reading request for carrying keyword segments sent by the security management and control system; determining whether the corresponding metadata of the keyword segments is stored in the local cache; and sending the metadata corresponding to the keyword segments to the security management and control system if it is determined that the corresponding metadata of the keyword segments is stored in the local cache. A read response carrying metadata corresponding to the keyword segment is sent; if it is determined that the metadata corresponding to the keyword segment is not stored in the local cache, the metadata corresponding to the keyword segment is read from the Hive data warehouse in the first reading mode in effect, and a read response carrying metadata corresponding to the keyword segment is sent to the security control system. This scheme can realize efficient and convenient metadata reading mode.

【技术实现步骤摘要】
基于Hive数据仓库的元数据读取方法及装置
本专利技术涉及数据读取
，尤指一种基于Hive数据仓库的元数据读取方法及装置。
技术介绍
随着大数据技术的日益完善，越来越多的企业开始使用Hadoop平台来管理自己数据资源。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的结构化查询语言(StructuredQueryLanguage，SQL)查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。同时Hive作为Hadoop生态的一员，其拥有管理海量数据的能力，能对海量数据进行统计分析计算，满足企业相关业务需要。通常Hadoop平台会作为一个基础设施在企业范围内使用，因此Hive的安全管控显的尤为重要，比如多个部门需要使用到Hive数据仓库，其中a部门需要分析涉密数据，那么如何对Hive数据仓库进行管控，使得这些数据其他部门是无权访问的呢？为解决上述问题，需要启用一个对用户操作进行监控的框架，使每个用户的操作都在设定的权限范围内，这个框架就是---ApacheSentry。ApacheSentry是运行在Hadoop平台上的基于细粒度的数据、元数据授权框架。ApacheSentry可以和Hive数据仓库紧密结合，使得Hive数据仓库上的安全管控可以做到非常的细粒度，且配合Hive数据仓库的thrift服务易于实现安全管控业务系统。ApacheSentry的出现基本解决了Hive数据仓库的安全管控问题，但它有一个缺点：对于需要管控Hive数据仓库操作安全的业务系统，维护一张角色到权限的数据表，每次用户需要操作Hive数据仓库时，Sentry会在操作前检验权限的合法性达到管控的目的。在更新角色的权限时，通常需要事先获取Hive数据仓库的元数据，以便业务系统的正确赋权。当权限粒度太细，比如说列级别权限，Sentry需要遍历数据库、数据表和数据列，使三级递归的性能消耗很大。对于此问题官方的两个解决思路是：第一个思路，读取元数据库，Hive数据仓库组件启动需要有元数据库的支持，默认是postgre，可选mysql。元数据库中保存所有Hive数据仓库的数据库、数据表、数据列的元数据。元数据库再通过一些自身的连接权限控制来保证基本的安全性。此方法就是让权限管控业务系统直接连接元数据库，再解析出整个Hive数据仓库中各数据表的元数据以供给业务系统使用。第二个思路，定时器更新，官方认为Hive数据仓库的元数据变动并不频繁，因此可以使用Linux系统的定时器任务，定时对元数据进行更新。对于读取元数据库的解决思路，由于不同环境下业务系统的元数据库配置不尽相同，且很多时候为了安全性元数据库的用户密码不会公开，故使用上还是不灵活。定时器更新，如果定时间隔过短则依然消耗大量集群算力，如果定时间隔过长则在更新间隔期内用户无法读取到最新元数据，安全管控系统便形同虚设。由上可见，Hive数据仓库的安全管控已经相对完善，但是在Hive数据仓库的元数据读取时还需要更加高效、便捷的方法。
技术实现思路
本专利技术实施例提供一种基于Hive数据仓库的元数据读取方法及装置，以实现更加高效、便捷的读取Hive数据仓库的元数据。根据本专利技术实施例，提供一种基于Hive数据仓库的元数据读取方法，所述方法包括：接收安全管控系统发送的携带关键字段的读取请求；确定本地缓存中是否存储所述关键字段对应的元数据；若确定所述本地缓存中存储所述关键字段对应的元数据，则向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应；若确定所述本地缓存中未存储所述关键字段对应的元数据，则以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据，向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应。具体的，确定本地缓存中是否存储所述关键字段对应的元数据，具体包括：在所述本地缓存中查找所述关键字段；若在所述本地缓存中查找到所述关键字段，则确定所述本地缓存中存储所述关键字段对应的元数据；若在所述本地缓存中未查找到所述关键字段，则确定所述本地缓存中未存储所述关键字段对应的元数据。具体的，以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据，具体包括：获取读取方式配置文件；从所述配置文件中确定携带生效标记的第一读取方式；使用所述第一读取方式将所述关键字段发送给所述Hive数据仓库；并接收所述Hive数据仓库返回的所述关键字段对应的元数据。可选的，还包括：接收携带第二读取方式的读取方式更改指令；删除所述第一读取方式的生效标记；以及，在所述第二读取方式添加所述生效标记。可选的，以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据之后，还包括：将所述关键字段对应的元数据存储到所述本地缓存中。根据本专利技术实施例，还提供一种基于Hive数据仓库的元数据读取装置，所述装置包括：接收模块，用于接收安全管控系统发送的携带关键字段的读取请求；确定模块，用于确定本地缓存中是否存储所述关键字段对应的元数据；读取模块，用于若确定所述本地缓存中存储所述关键字段对应的元数据，则向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应；若确定所述本地缓存中未存储所述关键字段对应的元数据，则以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据，向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应。具体的，所述确定模块，具体用于：在所述本地缓存中查找所述关键字段；若在所述本地缓存中查找到所述关键字段，则确定所述本地缓存中存储所述关键字段对应的元数据；若在所述本地缓存中未查找到所述关键字段，则确定所述本地缓存中未存储所述关键字段对应的元数据。具体的，所述读取模块，用于以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据，具体用于：获取读取方式配置文件；从所述配置文件中确定携带生效标记的第一读取方式；使用所述第一读取方式将所述关键字段发送给所述Hive数据仓库；并接收所述Hive数据仓库返回的所述关键字段对应的元数据。可选的，还包括添加模块和删除模块，其中：所述接收模块，还用于接收携带第二读取方式的读取方式更改指令；所述删除模块，用于删除所述第一读取方式的生效标记；以及，所述添加模块，用于在所述第二读取方式添加所述生效标记。可选的，还包括存储模块，用于：在所述读取模块以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据之后，将所述关键字段对应的元数据存储到所述本地缓存中。本专利技术有益效果如下：本专利技术实施例提供一种基于Hive数据仓库的元数据读取方法及装置，通过接收安全管控系统发送的携带关键字段的读取请求；确定本地缓存中是否存储所述关键字段对应的元数据；若确定所述本地缓存中存储所述关键字段对应的元数据，则向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应；若确定所述本地缓存中未存储所述关键字段对应的元数据，则以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对本文档来自技高网...

【技术保护点】
1.一种基于Hive数据仓库的元数据读取方法，其特征在于，所述方法包括：接收安全管控系统发送的携带关键字段的读取请求；确定本地缓存中是否存储所述关键字段对应的元数据；若确定所述本地缓存中存储所述关键字段对应的元数据，则向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应；若确定所述本地缓存中未存储所述关键字段对应的元数据，则以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据，向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应。

【技术特征摘要】
1.一种基于Hive数据仓库的元数据读取方法，其特征在于，所述方法包括：接收安全管控系统发送的携带关键字段的读取请求；确定本地缓存中是否存储所述关键字段对应的元数据；若确定所述本地缓存中存储所述关键字段对应的元数据，则向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应；若确定所述本地缓存中未存储所述关键字段对应的元数据，则以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据，向所述安全管控系统发送携带所述关键字段对应的元数据的读取响应。2.如权利要求1所述的方法，其特征在于，确定本地缓存中是否存储所述关键字段对应的元数据，具体包括：在所述本地缓存中查找所述关键字段；若在所述本地缓存中查找到所述关键字段，则确定所述本地缓存中存储所述关键字段对应的元数据；若在所述本地缓存中未查找到所述关键字段，则确定所述本地缓存中未存储所述关键字段对应的元数据。3.如权利要求1所述的方法，其特征在于，以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据，具体包括：获取读取方式配置文件；从所述配置文件中确定携带生效标记的第一读取方式；使用所述第一读取方式将所述关键字段发送给所述Hive数据仓库；并接收所述Hive数据仓库返回的所述关键字段对应的元数据。4.如权利要求3所述的方法，其特征在于，还包括：接收携带第二读取方式的读取方式更改指令；删除所述第一读取方式的生效标记；以及，在所述第二读取方式添加所述生效标记。5.如权利要求1-4任一所述的方法，其特征在于，以当前生效的第一读取方式从所述Hive数据仓库读取所述关键字段对应的元数据之后，还包括：将所述关键字段对应的元数据存储到所述本地缓存中。6.一种基于Hive数据仓库的元数据读取装置，其特征在于，所述装置包...

【专利技术属性】
技术研发人员：赖新明，林文辉，王杰斌，杨硕，邓应强，
申请(专利权)人：航天信息股份有限公司，
类型：发明
国别省市：北京,11