一种面向Hadoop的自适应权限控制方法及装置制造方法及图纸

本发明专利技术提供了一种面向Hadoop的自适应权限控制方法及装置，其中方法包括：获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息；根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；根据日志记录数据分析结果生成用户权限调整建议，利用用户权限调整建议调整待调整用户的权限；将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上。通过收集Hadoop各个组件的日志，采用对日志记录数据分析的方法对每一个用户贴标签，再针对用户的多个标签进行分析，得出用户权限的调整建议，并为用户授予最新权限，由此节省人力资源和管理员的业务培训费用，提高Hadoop组件的安全保护能力。

【技术实现步骤摘要】
一种面向Hadoop的自适应权限控制方法及装置
本专利技术涉及计算机领域，尤其涉及一种面向Hadoop的自适应权限控制方法及装置。
技术介绍
得益于政府鼓励，创新技术的研发与应用实践获得政策支持，近些年来企业对大数据技术的采用比例显著提升，越来越多的应用数据能够被企业收集到，这些数据具有大量、多样、实时的特点，在此大数据背景下，Hadoop分布式计算系统因其能够存储并快速处理大量数据在工业界和学术界得到了广泛应用。但由于Hadoop自身安全机制依赖Kerberos、非对称加密的Token认证机制、传输加密机制、基于Linux/Unix系统自带的访问控制机制，在认证、访问、授权等方面存在不足，而访问授权机制却是大数据平台的安全基石，用户来自于多种组织、机构或部门，单个用户又通常具有多种数据访问需求，如何合理设定角色并为每个用户动态分配角色的权限是Hadoop平台面对的新安全挑战。当前国内外关于大数据访问控制技术的研究主要是基于Hadoop开源平台进行研究的，权限控制产品的两大代表分别是Cloudera的Sentry和Hortonworks的Ranger：1)Sentry和Ranger均具备了大数据访问授权管理的基本功能。2)Sentry属于RBAC(基于角色访问控制)，Ranger是基于策略的授权访控制。然而，Sentry和Ranger都需要管理预先给用户设定权限，对管理员的业务的认知能力水平有较高的要求，才能为每一个用户收于合适的权限。Sentry和Ranger均无法满足基于用户行为操作的自适应态授权的需求。所以，需要建立一个能够实现根据用户行为授予不同用户对不同数据资源和信息的不同访问权限的Hadoop的访问控制方案。
技术实现思路
本专利技术旨在至少克服上述缺陷之一提供一种面向Hadoop的自适应权限控制方法及装置。为达到上述目的，本专利技术的技术方案具体是这样实现的：本专利技术的一个方面提供了一种面向Hadoop的自适应权限控制方法，包括：获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息；根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；根据日志记录数据分析结果生成用户权限调整建议，利用用户权限调整建议调整待调整用户的权限；将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上。其中，方法还包括：各个用户向Kerberos进行认证，并通过Kerberos的认证。其中，利用用户权限调整建议调整待调整用户的权限之后，方法还包括：获得权限调整文本信息，将权限调整文本信息写入审计日志信息中。其中，获取Hadoop各个组件上用户的日志信息，得到日志记录数据包括：通过ELK日志收集工具提取Hadoop平台中各个组件中的用户的平台日志信息和审计日志信息；利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取。其中，根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果包括：设定日志记录数据分析维度，通过以下方式得到日志记录数据分析结果：数据获取、数据统计和/或机器学习中的贝叶斯算法。本专利技术另一方面提供了一种面向Hadoop的自适应权限控制装置，包括：获取模块，用于获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息；分析模块，用于根据日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；调整模块，用于根据日志记录数据分析结果生成用户权限调整建议，利用用户权限调整建议调整待调整用户的权限；写入模块，用于将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上。其中，各个用户向Kerberos进行认证，并通过Kerberos的认证。其中，写入模块，还用于在调整模块利用用户权限调整建议调整待调整用户的权限之后，获得权限调整文本信息，将权限调整文本信息写入审计日志信息中。其中，获取模块，具体用于通过ELK日志收集工具提取Hadoop平台中各个组件中的用户的平台日志信息和审计日志信息；利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取。其中，分析模块，具体用于设定日志记录数据分析维度，通过以下方式得到日志记录数据分析结果：数据获取、数据统计和/或机器学习中的贝叶斯算法。由上述本专利技术提供的技术方案可以看出，通过本专利技术实施例提供的面向Hadoop的自适应权限控制方法及装置，可以实现对Hadoop平台中各个组件权限的自动调整，可以大大减少人工数量，并且不再需要对人工进行专业领域的业务培训；由于通过对Hadoop平台中各个组件日志的收集和分析，结合日志记录数据分析充分了解用户的行为轨迹，并以此为依据做出对用户的权限的准确调整，从而完成在满足用户最大需求的前提下实现最小细粒度授权；同时，可以通过以固定时间间隔的方式做日志记录数据分析，实时了解用户的最新需求，并做出实时的动态调整；进一步通过实时动态的权限调整，找出了满足用户最大需求和Hadoop平台安全之间的平衡点，降低了用户账户被盗用时所带来对平台的入侵和大量数据泄露的风险，从而提高了Hadoop平台的安全性。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的面向Hadoop的自适应权限控制方法的流程图；图2为本专利技术实施例提供的面向Hadoop的自适应权限控制系统的结构示意图；图3为本专利技术实施例提供的面向Hadoop的自适应权限控制方法的具体架构示意图；图4为图2中具体的自适应权限控制机制的结构示意图；图5为面向Hadoop的自适应权限控制方法的自适应权限控制机制的示意图；图6为本专利技术实施例提供的面向Hadoop的自适应权限控制装置的结构示意图。具体实施方式下面结合附图对本专利技术的实施方式进行详细说明。本专利技术的核心是：以Hadoop用户权限自适应调整为目标，以用户行为日志为主要数据支撑和日志记录数据分析为基础，构建动态标签机制及面向客体的弹性规则。结合Hadoop平台面临用户权限范围与用户行为不符、越权访问和用户过量使用Hadoop平台等主要问题，采用基于标签和属性的用户可疑状态评价与用户管理策略，根据日志记录数据所记录的用户历史行为数据分析实时对用户做出评价，在一定权限范围内，降低或者提升用户的访问权限，从而实现面向Hadoop的自适应权限控制。图1示出了本专利技术实施例提供的面向Hadoop的自适应权限控制方法的流程图，参见图1，本专利技术实施例提供的面向Hadoop的自适应权限控制方法，包括：S101，获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，日志记录数据包括：平台日志信息和审计日志信息。具体地，用户对Hadoop各个组件中的资源访问后，会在Hadoop平台日志和审计日志中留下访问记录，通过各个组件的插件收集用户的日志记录数据，并将上述数据存入数据库中，为后续日志记录数据分析的工程提供数据支撑。作为本专利技术实施例的一个可选实施方式，获取Hadoop各个组件上用户的日志本文档来自技高网...

【技术保护点】
1.一种面向Hadoop的自适应权限控制方法，其特征在于，包括：获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，所述日志记录数据包括：平台日志信息和审计日志信息；根据所述日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；根据所述日志记录数据分析结果生成用户权限调整建议，利用所述用户权限调整建议调整待调整用户的权限；将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上。

【技术特征摘要】
1.一种面向Hadoop的自适应权限控制方法，其特征在于，包括：获取Hadoop各个组件上用户的日志信息，得到日志记录数据，其中，所述日志记录数据包括：平台日志信息和审计日志信息；根据所述日志记录数据进行日志记录数据分析，得到日志记录数据分析结果；根据所述日志记录数据分析结果生成用户权限调整建议，利用所述用户权限调整建议调整待调整用户的权限；将所述待调整用户的最新的权限写入到所述Hadoop的各个相应组件上。2.根据权利要求1所述的方法，其特征在于，还包括：各个用户向Kerberos进行认证，并通过所述Kerberos的认证。3.根据权利要求1所述的方法，其特征在于，所述利用所述用户权限调整建议调整待调整用户的权限之后，所述方法还包括：获得权限调整文本信息，将所述权限调整文本信息写入所述审计日志信息中。4.根据权利要求1所述的方法，其特征在于，所述获取Hadoop各个组件上用户的日志信息，得到日志记录数据包括：通过ELK日志收集工具提取Hadoop平台中各个组件中的用户的平台日志信息和审计日志信息；利用SHELL脚本对Hadoop各个组件中用户权限进行批量提取。5.根据权利要求1所述的方法，其特征在于，所述根据所述日志记录数据进行日志记录数据分析，得到日志记录数据分析结果包括：设定日志记录数据分析维度，通过以下方式得到日志记录数据分析结果：数据获取、数据统计和/或机器学...

【专利技术属性】
技术研发人员：王帅，赵刚，李佳慧，
申请(专利权)人：北京信息科技大学，
类型：发明
国别省市：北京,11