一种云环境下分布式存储的访问控制方法技术

本发明专利技术涉及一种云环境下分布式存储的访问控制方法。该方法以Hadoop集群的HDFS分布式文件系统为基础的云存储，在该基本云存储系统基础上，增加安全访问控制功能。通过Ranger突破云存储系统中的访问控制技术，构建基于角色的细粒度的访问控制授权体系，使该云存储系统可以可靠地支持多用户的不同级别或类型的信息进行有效隔离与完整性保护，实现云端数据隔离。通过Kerberos突破云存储系统中具体数据节点的访问控制，解决Hadoop集群内部、client与管理节点、管理节点与数据节点及数据节点间的访问控制问题。

A distributed access control method for distributed storage in a cloud environment

The present invention relates to an access control method for distributed storage in a cloud environment. This method is based on the HDFS distributed file system of Hadoop cluster, and on the basis of the basic cloud storage system, the security access control function is added. Break through a Ranger cloud storage system access control technology, the role of the construction of fine-grained access control and authorization system based on the cloud storage system of different levels or types of information can be reliably supports effective isolation and integrity protection, implementation of cloud data isolation. Through Kerberos, we break through the access control of specific data nodes in cloud storage system, and solve the problem of access control between Hadoop cluster, client and management nodes, management nodes, data nodes and data nodes.

【技术实现步骤摘要】
一种云环境下分布式存储的访问控制方法
本专利技术涉及一种云环境下分布式存储的访问控制方法，属于云环境下安全访问的

技术介绍
云计算(CloudComputing)是基于互联网的相关服务增加、使用和交付模式，它是在并行处理、分布式计算、网格计算等技术基础上逐步融合发展起来的网络计算技术。云计算最初于2008年由谷歌正式提出。对云计算的定义说法多样，美国国家标准与技术研究院(NIST)定义：云计算是一种为随时随地、方便、请求即响应(on-demand)地访问可配置计算的共享资源池(如：网络、服务、存储、应用)的一种计算模式，这种模式可以减少用户在快速获得和释放资源时与服务提供者的交互和管理开销。在云计算模式下，用户终端设备将会变得非常简单，因为用户只需要发送请求便可以由云服务提供商提供“按需收费”的计算资源、存储空间和其他的应用软件等。云计算已经广泛应用到各个领域，包括：云物联、云安全、云存储、移动通信等。分布式存储是将大量的普通的PC服务器通过互联网互联,对外作为一个整体提供服务。当前云计算、大数据环境下，分布式存储系统以其扩展性好、成本低、性能高、易用性等特点得到了大规模的应用。分布式文件系统就是部署在分布式存储资源上的架构。分布式文件系统(DistributedFileSystem，DFS)主要指将分布式的思想应用到文件存储上，这里，所有资源都以文件的形式存放在一些具体的物理机器的存储设备上，而这些物理机器或许是物理位置不同的物理设备。同时，这种分布式的存储机制和流程，对于用户而言是透明的。常见的分布式文件系统包括：Lustre、HDFS、FastDFS、MogileFS、GoogleFS、MooseFS、Ceph以及Gluster等。随着大数据环境下海量数据安全存储的需求，研究基于分布式架构，重点突破分布式架构下的访问控制、身份认证、数据隔离存储等关键技术，研制云计算及大数据环境下具有高可用性、高安全性、高稳定性和高性能的存储系统，显得异常重要。一方面，高可用性的分布式存储系统满足云计算、大数据环境下的有效存储需求；另一方面，实现海量数据按用户、应用、安全等级别进行保护的功能，防止数据被非法访问。Hadoop的分布式文件系统中实现了一种与POSIX系统类似的文件和目录的权限模型。即每个文件和目录都有一个所有者(owner)和一个组(group)。文件或者目录对所有者、同组的其他用户以及所有其他组的用户分别有着不同的权限，从而实现对不同用户访问HDFS目录的权限控制。但是，该访问控制方法单一，只是针对一个传统文件和目录的权限设置；单纯地依靠这一种访问控制，并不能很好地满足安全需求。
技术实现思路
针对现有技术的不足，本专利技术提供一种云环境下分布式存储的访问控制方法。专利技术概述：本专利技术的核心是以Hadoop集群的HDFS分布式文件系统为基础的云存储，在该基本云存储系统基础上，增加安全访问控制功能。通过Ranger突破云存储系统中的访问控制技术，构建基于角色的细粒度的访问控制授权体系，使该云存储系统可以可靠地支持多用户的不同级别或类型的信息进行有效隔离与完整性保护，实现云端数据隔离。通过Kerberos突破云存储系统中具体数据节点的访问控制，解决Hadoop集群内部、client与管理节点、管理节点与数据节点及数据节点间的访问控制问题。术语说明：1、基于角色访问控制，所谓访问控制是指对用户的身份认证后，需要按用户的身份及用户归属的某定义组来限制用户对某些资源信息的访问，或者限制用户控制功能的使用。在基于角色的访问控制(RBAC)中，权限与角色相关联，用户根据它的角色而获得相应的权限，同时用户也可以依据新的需求和系统的合并而获得新的权限。2、Ranger，是一种实现、监控并管理Hadoop平台综合数据安全的集中式框架，它提供了一个集中式的管理平台，通过制定策略(policies)实现对不同的用户赋予对特定路径的访问权限。3、Kerberos，是一种安全的网络认证协议，它采用通过对称加密算法生成的、时间敏感的票据，实现客户端和服务器端不需要在网络上传输密码就可以进行认证，从而提供了一种新的安全认证和访问控制的方法。4、KDC，密钥分发中心(KeyDistributionCenter)。5、票据授权票据,(TicketGrantTicket,TGT)在kerberos认证系统中，向用户发放TGT，该TGT用于获取服务票据。本专利技术的技术方案为：一种云环境下分布式存储的访问控制方法，基于Ranger框架和Kerberos实现；Ranger框架包括RangerAdmin组件、Rangerplugin组件和RangerUsersync组件；Kerberos的组件包括KDC和协助工具ks_tool；具体的功能实现步骤如下：A、基于用户的访问控制A1、部署Hadoop集群；Hadoop集群包括至少一个Master节点和多个slave节点；Hadoop集群实现对HDFS的上传、下载与访问；基于Ranger的访问控制的实现，为云存储的安全增加了第一道“认证门槛”，在Hadoop集群内部，包括client与管理节点、管理节点与数据节点、数据节点之间的身份认证问题，则由Kerberos实现。分布式存储访问控制的实现，主要包含两个方面：一方面是用户对HDFS存储的访问权限的控制；另一方面是Hadoop集群内部各个节点之间的身份认证与访问控制。A2、部署Ranger框架的组件；其中Rangeradmin组件部署在slave节点上，RangerPlugin组件和UserSync组件部署在Master节点上；将系统用户更新到Rangeradmin组件中，并以mysql数据库作为Ranger框架的策略与审计日志的存储载体；其中，将系统用户更新到admin中的实现，根据具体需求具体实现。A3、在Rangeradmin组件中，对HDFS定义local_hdfs服务；Rangeradmin组件为local_hdfs服务定制访问策略，实现对策略访问路径、策略发生作用的User/Group及User/Group应被赋予的权限的设置；A4、local_hdfs服务的访问策略通过RangerPlugin组件更新到HDFS中，实现系统用户对策略访问路径的特定访问权限；同时，RangerPlugin组件将系统用户对HDFS的访问日志同步到Rangeradmin组件中，形成审计日志，用于检测用户访问的足迹；B、Hadoop集群内部认证控制B1、当系统用户访问DataNode或NameNode服务器时，首先向AS发出请求，表明自己的身份，请求TGT；所述请求包括系统用户的name/ID、系统用户IP地址和TGT的有效时间；其中，TGT是ticketgrantticket，票证授权票证；Hadoop集群主要包括两种服务器：NameNode所在的服务器(一般为一个)和DataNode所在的服务器(一般为多个)；分布式存储时，数据具体存储在DataNode中，不过，client访问该存储目录时，需要通过NameNode提供相关DataNode信息才能访问DataNode。B2、AS收到请求后，首先去mysql数据库中验证该系统用户是否存在；如果系统用户存本文档来自技高网...

【技术保护点】
一种云环境下分布式存储的访问控制方法，其特征在于，基于Ranger框架和Kerberos实现；Ranger框架包括Ranger Admin组件、Ranger plugin组件和Ranger Usersync组件；Kerberos的组件包括KDC和协助工具ks_tool；具体的功能实现步骤如下：A、基于用户的访问控制A1、部署Hadoop集群；Hadoop集群包括至少一个Master节点和多个slave节点；A2、部署Ranger框架的组件；其中Ranger admin组件部署在slave节点上，Ranger Plugin组件和UserSync组件部署在Master节点上；将系统用户更新到Ranger admin组件中，并以mysql数据库作为Ranger框架的策略与审计日志的存储载体；A3、在Ranger admin组件中，对HDFS定义local_hdfs服务；Ranger admin组件为local_hdfs服务定制访问策略，实现对策略访问路径、策略发生作用的User/Group及User/Group应被赋予的权限的设置；A4、local_hdfs服务的访问策略通过Ranger Plugin组件更新到HDFS中，实现系统用户对策略访问路径的特定访问权限；同时，Ranger Plugin组件将系统用户对HDFS的访问日志同步到Ranger admin组件中，形成审计日志，用于检测用户访问的足迹；B、Hadoop集群内部认证控制B1、当系统用户访问DataNode或NameNode服务器时，首先向AS发出请求，表明自己的身份，请求TGT；所述请求包括系统用户的name/ID、系统用户IP地址和TGT的有效时间；B2、AS收到请求后，首先去mysql数据库中验证该系统用户是否存在；如果系统用户存在，则返回两部分信息给系统用户：一部分信息为TGT，该信息通过KDC自身的密码进行加密；另一部分信息为经系统用户的密钥加密的信息，包括TGS的name/ID、时间戳、TGT的生命周期和TGS session key；B3、系统用户向TGS发送请求，请求获得ST；请求包括，使用TGS session key加密的认证器、明文传输的特定服务的请求和TGT；B4、TGS对请求进行验证；验证包括，对比TGT中的用户名和认证器中的用户名；比较时间戳，检查时间戳是否过期，检查IP地址是否一致；检查认证器是否已经在TGS缓存中；验证通过后，向系统用户发送回答信息；所述回答信息包括，加密的服务票据ST、通过TGS session key加密的信息；B5、用户收到回答信息后，通过TGS session key解密，获得对应服务的Service Session Key及加密的ST；至此系统用户获得请求服务的服务票据，并以服务票据为依据向指定的服务器发送访问请求；B6、服务器对ST进行解密后验证，检测系统用户的用户名、系统用户IP地址和时间戳；如果验证通过，则允许该系统用户的访问。...

【技术特征摘要】
1.一种云环境下分布式存储的访问控制方法，其特征在于，基于Ranger框架和Kerberos实现；Ranger框架包括RangerAdmin组件、Rangerplugin组件和RangerUsersync组件；Kerberos的组件包括KDC和协助工具ks_tool；具体的功能实现步骤如下：A、基于用户的访问控制A1、部署Hadoop集群；Hadoop集群包括至少一个Master节点和多个slave节点；A2、部署Ranger框架的组件；其中Rangeradmin组件部署在slave节点上，RangerPlugin组件和UserSync组件部署在Master节点上；将系统用户更新到Rangeradmin组件中，并以mysql数据库作为Ranger框架的策略与审计日志的存储载体；A3、在Rangeradmin组件中，对HDFS定义local_hdfs服务；Rangeradmin组件为local_hdfs服务定制访问策略，实现对策略访问路径、策略发生作用的User/Group及User/Group应被赋予的权限的设置；A4、local_hdfs服务的访问策略通过RangerPlugin组件更新到HDFS中，实现系统用户对策略访问路径的特定访问权限；同时，RangerPlugin组件将系统用户对HDFS的访问日志同步到Rangeradmin组件中，形成审计日志，用于检测用户访问的足迹；B、Hadoop集群内部认证控制B1、当系统用户访问DataNode或NameNode服务器时，首先向AS发出请求，表明自己的身份，请求TGT；所述请求包括系统用户的name/ID、系统用户IP地址和TGT的有效时间；B2、AS收到请求后，首先去mysql数据库中验证该系统用户是否存在；如果系统用户存在，则返回两部分信息给系统用户：一部分信息为TGT，该信息通过KDC自身的密码进行加密；另一部分信息为经系统用户的密钥加密的信息，包括TGS的name/ID、时间戳、TGT的生命周期和TGSsessionkey；B3、系统用户向TGS发送请求，请求获得ST；请求包括，使用TGSsessionkey加密的认证器、明文传输的特定服务的请求和TGT；B4、TGS对请求进行验证；验证包括，对比TGT中的用户名和认证器中的用户名；比较时间戳，检查时间戳是否过期，检查IP地址是否一致；检查认证器是否已经在TGS缓存中；验证通过后，向系统用户发送...

【专利技术属性】
技术研发人员：张卫品，戴鸿君，崔立真，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37