面向大数据的混合云安全存储管理系统技术方案

本发明专利技术公开了一种面向大数据的混合云安全存储管理系统，该系统包括：私有云模块、公共云模块、管理层模块以及客户端模块；其中，所述客户端模块与所述私有云模块及所述管理层模块之间通过标准S3接口进行数据通信，任务发布；所述私有云模块负责对用户数据进行加密存储；所述公共云模块负责弥补私有云的空间不足问题，随时接收所述私有云模块中加密数据的迁移；所述管理层模块用于协调其余模块之间的关系并提供相关的管理功能。本发明专利技术方案使用私有云和公共云的混合式云架构，存储加密采用流式加密算法，云间迁移对用户透明，且在迁移过程中保持加密状态不被破坏，应对了大数据的发展趋势，更好地满足了用户数据安全存储的需求。

Large Data Oriented Hybrid Cloud Security Storage Management System

The invention discloses a hybrid cloud security storage management system for large data, which includes: private cloud module, public cloud module, management layer module and client module; in which the client module communicates with the private cloud module and the management layer module through standard S3 interface for data communication and task publication; and the private cloud module is responsible for users. Data is encrypted and stored; the public cloud module is responsible for remedying the space shortage of private cloud and receiving the migration of encrypted data in the private cloud module at any time; the management module is used to coordinate the relationship between the other modules and provide relevant management functions. The scheme of the invention uses a hybrid Cloud Architecture of private cloud and public cloud, adopts stream encryption algorithm for storage encryption, Transparents the migration between clouds to users, and keeps the encryption state unchanged in the migration process, which meets the development trend of large data and better meets the requirement of secure storage of user data.

【技术实现步骤摘要】
面向大数据的混合云安全存储管理系统
本专利技术属于大数据存储管理
，涉及一种面向大数据的混合云安全存储管理系统。
技术介绍
当今社会信息化和网络化的发展导致产生的数据爆炸式的增长。据统计，平均每一秒有200万用户在使用Google搜索；每一分钟，微博推特上新发的数据量超过10万；各种监测、感应设备也在源源不断地产生数据。互联网数据中心(IDC)曾在2012年的报告中指出：全球数据量每两年翻一番，至2020年将增至40ZB。显然，大数据时代已经到来。数据从简单的处理对象开始转变为一种基础性资源，如何更好的存储和利用大数据已经成为普遍关注的话题。与其他信息一样，大数据在存储、处理、传输、使用等过程中，都存在安全问题。保护对象不仅包括大数据本身，也包括对大数据进行处理和分析后得到的知识。在大数据时代，淘宝知道我们的购物习惯，腾讯知道我们的好友联络情况，亚马逊知道我们的阅读习惯，Google、百度知道我们的检索习惯。即使无害的数据被大量收集以后，也会暴漏个人隐私。在大数据时代，数据的生产者，也是数据的存储、管理和使用者，因此原有的技术手段已经无法限制对用户信息的非法使用。
技术实现思路
本专利技术目的在于提供一种面向大数据的混合云安全存储管理系统，针对现有技术手段已无法限制对用户信息非法使用的问题，在充分考虑用户安全需求的前提下，使用私有云和公共云的混合式云架构，存储加密采用流式加密算法，云间迁移对用户透明，且在迁移过程中保持加密状态不被破坏，有效地应对了大数据的发展趋势，更好地满足了用户数据安全存储的需求。为解决上述技术问题，本专利技术采用如下的技术方案：一种面向大数据的混合云安全存储管理系统，该系统包括：私有云模块、公共云模块、管理层模块以及客户端模块；其中，所述客户端模块与所述私有云模块及所述管理层模块之间通过标准S3接口进行数据通信，任务发布；所述私有云模块负责对用户数据进行加密存储；所述公共云模块负责弥补私有云的空间不足问题，随时接收所述私有云模块中加密数据的迁移；所述管理层模块用于协调其余模块之间的关系并提供相关的管理功能。进一步地，所述客户端模块通过标准S3接口获得所述私有云模块提供的存储服务，并通过消息队列与所述管理层模块、所述私有云模块的管理程序migrate_manager_onSwift进行通信。进一步地，所述私有云模块由加密IP-SAN子模块、私有云分布式对象存储子模块以及migrate_manager_onSwift子模块组成；其中，所述加密IP-SAN子模块是具有加解密功能的磁盘阵列，通过标准iSCSI接口与所述私有云分布式对象存储子模块对接，作为私有云存储的硬件资源；所述私有云分布式对象存储子模块为开源软件OpenstackSwift，认证模块基于Swift的插件Swauth；所述migrate_manager_onSwift子模块即驻守在Swift的代理服务器上的管理程序，负责处理所述客户端模块、所述管理层模块与Swift、Swauth之间的消息交互。进一步地，所述公共云模块包括百度云，腾讯云，阿里云等商业云存储服务提供商提供的公共云服务平台。进一步地，所述管理层模块提供私有云存储空间管理、数据迁移管理以及用户管理等相关管理功能。本专利技术与现有技术相比具有以下的有益效果：本专利技术方案针对现有技术手段已无法限制对用户信息非法使用的问题，在充分考虑用户安全需求的前提下，使用私有云和公共云的混合式云架构，存储加密采用流式加密算法，云间迁移对用户透明，且在迁移过程中保持加密状态不被破坏，应对了大数据的发展趋势，更好地满足了用户数据安全存储的需求。附图说明图1是面向大数据的混合云安全存储管理系统的整体框架图。具体实施方式下面结合附图及具体实施例对本专利技术进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。参照图1，本专利技术的一种面向大数据的混合云安全存储管理系统，该系统包括：私有云模块、公共云模块、管理层模块以及客户端模块。其中，所述客户端模块与所述私有云模块及所述管理层模块之间的数据通道为标准S3接口。所述客户端模块通过标准S3接口获得所述私有云模块提供的存储服务，包括上传，下载，删除，更新，文件夹同步等操作。所述客户端模块通过消息队列与所述管理层模块、所述私有云模块的管理程序migrate_manager_onSwift进行通信，完成新用户注册、用户密码修改、用户数据迁移等相关操作。所述私有云模块包含三个子模块：加密IP-SAN子模块、私有云分布式对象存储子模块OpenstackSwift、私有云管理程序migrate_manager_onSwift。其中，加密IP-SAN是具有加解密功能的磁盘阵列，通过标准iSCSI接口与分布式对象存储系统Swift对接，作为私有云存储的硬件资源。加密IP-SAN保证存储的安全性，即使存储磁盘被盗取，用户数据也不会被识别和窃取，从而防止硬件失窃导致的数据泄露事件，避免数据丢失给用户造成巨大损失。私有云分布式对象存储子模块为开源软件OpenstackSwift，认证模块基于Swift的插件Swauth。Swift是一种可伸缩的对象存储系统，采用标准化的服务器存储PB级可用数据。内建冗余和数据恢复机制，没有主控节点，因而具有极好的性能以及可扩展性。Swift不能像传统文件系统那样进行挂载和访问，只能通过ReSTAPI接口访问数据，并且这些API与亚马逊的S3服务API是兼容的。migrate_manager_onSwift为驻守在Swift的代理服务器上的管理程序，负责处理客户端、管理层与Swift、Swauth之间的消息交互。并直接调用Swauth和Swift的接口。Swift系统主要组件包括ProxyServer，StorageServer，ConsistencyServers和Ring。ProxyServer是提供SwiftAPI的服务器进程，负责Swift其余组件间的相互通信。对于每个客户端的请求，它将在Ring中查询Account、Container或Object的位置，并且相应地转发请求。Proxy提供Rest-fullAPI，并且符合标准的HTTP协议规范，使得开发者可以快捷构建定制的Client与Swift交互。StorageServer提供磁盘设备上的存储服务。在Swift中有三类存储服务器：Account、Container和Object。其中Container服务器负责处理Object的列表，Container服务器并不知道对象存放位置，只知道指定Contain-er里存储的Object。Object信息以sqlite数据库文件的形式存储。Container服务器也做一些跟踪统计，例如Object的总数、Container的使用情况。在磁盘上存储数据并向外提供Rest-fullAPI并不是难以解决的问题，最主要的问题在于故障处理。Swift的ConsistencyServers的目的是查找并解决由数据损坏和硬件故障引起的错误。主要存在三个Server：Auditor、Updater和Replicator。Auditor运行在每个Swift服务器的后台，持续地扫描磁盘检测对象、Contai本文档来自技高网...

【技术保护点】
1.面向大数据的混合云安全存储管理系统，其特征在于，所述系统包括：私有云模块、公共云模块、管理层模块以及客户端模块；其中，所述客户端模块与所述私有云模块及所述管理层模块之间通过标准S3接口进行数据通信，任务发布；所述私有云模块负责对用户数据进行加密存储；所述公共云模块负责弥补私有云的空间不足问题，随时接收所述私有云模块中加密数据的迁移；所述管理层模块用于协调其余模块之间的关系并提供相关的管理功能。

【技术特征摘要】
1.面向大数据的混合云安全存储管理系统，其特征在于，所述系统包括：私有云模块、公共云模块、管理层模块以及客户端模块；其中，所述客户端模块与所述私有云模块及所述管理层模块之间通过标准S3接口进行数据通信，任务发布；所述私有云模块负责对用户数据进行加密存储；所述公共云模块负责弥补私有云的空间不足问题，随时接收所述私有云模块中加密数据的迁移；所述管理层模块用于协调其余模块之间的关系并提供相关的管理功能。2.根据权利要求1所述的面向大数据的混合云安全存储管理系统，其特征在于，所述客户端模块通过标准S3接口获得所述私有云模块提供的存储服务，并通过消息队列与所述管理层模块、所述私有云模块的管理程序migrate_manager_onSwift进行通信。3.根据权利要求1所述的面向大数据的混合云安全存储管理系统，其特征在于，所述私有云模块由加密IP-SAN子模块、私有云分布式对象存储子模块以及mig...

【专利技术属性】
技术研发人员：徐继峰，祁建明，周峻松，陈墩金，
申请(专利权)人：广州明领基因科技有限公司，
类型：发明
国别省市：广东,44