基于异构多副本的分布式存储动态防御系统及方法技术方案

本发明专利技术提供了一种基于异构多副本的分布式存储动态防御系统，包括用户应用层、异构多副本存储系统控制调度器、控制通道、数据通道、多元异构分布式存储系统以及异构构件池，用户应用层用于对异构多副本存储系统控制调度器发送指令；异构多副本存储系统控制调度器用于接收用户应用层的指令、并统一调度控制；控制通道用于向多元异构分布式存储系统下发控制命令、实现接口调用；数据通道用于与多元异构分布式存储系统数据传输；多元异构分布式存储系统用于接收控制命令，实现分布式系统的多元存储；异构构件池用于存储数据资源。本发明专利技术实现了分布式存储，提升了防御机制，且解决了异构多副本分布式存储系统的计算压力和磁盘写入瓶颈。

【技术实现步骤摘要】
基于异构多副本的分布式存储动态防御系统及方法
本专利技术涉及分布式存储领域，具体地，涉及一种基于异构多副本的分布式存储动态防御系统及方法。
技术介绍
现有的GlusterFS、Ceph、MooseFS等分布式存储系统主要是侧重于数据跨多节点的融合共享存储介质的存储方式。存储系统软件自身对被存储数据的多个副本或者多个备份有数据一致性保障机制，但是被存储数据的安全性却没有足够的保障机制。因此当单一技术来源的单一分布式存储系统被黑客攻击并进行了RootKit隐匿后门的HookAPI注入攻击后就可以对用户的读写数据进行拦截、写入嵌套木马程序等，达到篡改和窃取用户数据的目的。此外，单一分布式存储系统在元数据管理、数据一致性管理、大文件写IO存储效率、小文件写IO效率以及数据冗余机制设计等方面总是存在某些方面的优势和某些方面劣势，因而在安全性、存储性能和存储利用率等方面总是存在短板，现有系统不能很好的满足用户的高标准使用场景需求。申请号为201410206795.1的专利技术专利公开了一种分布式存储系统中管理异构副本的方法及装置，其中方法包括：获取用于存储文件的副本的写请求参数；根据写请求参数从元数据服务器获取分布式存储系统中每个存储服务器的位置信息；根据写请求参数将文件的副本按照预先指定的格式转换得到多个不同格式的文件的异构副本；根据从元数据服务器获取的存储服务器的位置信息，将转换得到的多个不同格式的文件的异构副本分别存储在指定的存储服务器上。通过本专利技术的实施例可以将一个文件在多个存储服务器中分别存储多个不同的异构副本，在读取文件的异构副本时，可以根据需要读取对应的异构副本，能够有效提高用户处理数据的工作效率。对比专利主要是通过对元数据服务器进行管理，从元数据服务器中获取分布式存储系统中每个存储服务器的位置信息，根据请求参数将文件的副本按照预先指定的格式转换得到多个不同格式的文件的异构副本。本专利主要是通过对现有常用的典型分布式存储系统，基于每一种分布式存储系统的优势特点作为基础，保留原有分布式存储系统的架构方式不受改变，构建基于动态异构冗余带有安全防御策略的异构分布式存储系统。对比专利主要是通过写请求参数将文件的副本按照预先指定的格式转换得到多个不同格式的文件的异构副本，从元数据服务器获取的存储服务器的位置信息，将转换得到的多个不同格式的文件的异构副本分别存储在指定的存储服务器上。本专利是通过对用户业务数据的具体冗余数量需求，选择最优化的异构存储执行体构建满足业务需求，数据的读写由各个分布式存储系统的自身进行维护，数据一致性校验值以及数据所在某一个分布式存储系统上，则由异构多副本分布式存储系统进行管理，遵循不重复造轮子的原则。申请号为201510893938.5的专利技术专利公开了一种异构分布式存储系统的数据迁移方法该方法采用MVC模式，具体包括以下步骤：1)View模块发起迁移任务；2)Controller模块接收迁移命令；3)Controller模块开始数据迁移；4)View模块每隔设定时间自动向Controller模块查询迁移进度。与现有技术相比，本专利技术具有实现了迁移可视化，迁移过程可管理，不中断服务的在线迁移，而且使用简单，无须专业人员即可完成迁移过程，保证数据不丢失等优点。对比专利中侧重于采用MVC模式，基于View模块发起迁移任务，基于Controller模块接收迁移命令，Controller模块开始数据迁移，View模块每隔设定时间自动向Controller模块查询迁移进度服务器中原始日志数据进行压缩处理。而本专利侧重对已经存储数据基于副本的方式进行管理，充分应用分布式存储系统自身的一致性管理方式、可用性管理方式、容错性管理方式。而并不是独立进行MVC模式自己开发程序进行数据的压缩和备份。对比专利出发点主要在于实现了迁移可视化，迁移过程可管理，不中断服务的在线迁移，而且使用简单，无须专业人员即可完成迁移过程，保证数据不丢失。而本专利主要是通过典型应用的副本冗余技术、纠删码冗余技术、stripe条带化冗余技术等进行数据的一致性检查，以及在后面模式进行定时和实时的各个异构体中副本数据的校验，目的是达到能够对被恶意篡改攻击的数据进行自动化的治愈恢复处理。科学出版社公开了《网络空间拟态防御导论》，公知技术中没有详细描述如何通过构建异构分布式存储系统实现对存储系统本身和被存储数据的动态防御安全保护机制，没有考虑对被篡改数据进行多维度的检测、校验和自动恢复，更多的是注重跳变过程中进行网络防御的裁决，注重的是如何选择异构执行体。公知技术中主要采用了多模判决决策模型，以及基于多模裁决和负反馈控制器的裁决参数和控制参数的输入，去影响裁决控制本身。本专利不但考虑了判决策略技术基于参数的控制方式，还引入了基于机器学习的自学习机制，是一种全新的更加动态和活跃策略模式，通过动态防御安全知识库的不断学习更新，达到提前预防对未知攻击产生的数据安全性破坏。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于异构多副本的分布式存储动态防御系统及方法。根据本专利技术提供的一种基于异构多副本的分布式存储动态防御系统，包括用户应用层、异构多副本存储系统控制调度器、控制通道、数据通道、多元异构分布式存储系统以及异构构件池，其中：用户应用层用于对异构多副本存储系统控制调度器发送指令；异构多副本存储系统控制调度器用于接收用户应用层的指令、对多元异构分布式存储系统进行统一调度控制；控制通道用于向多元异构分布式存储系统下发控制命令、向用户应用层提供控制命令的接口调用；数据通道用于与多元异构分布式存储系统数据传输；多元异构分布式存储系统用于接收控制命令，实现分布式系统的多元存储；异构构件池用于存储数据资源。优选地，所述控制命令包括调度命令、裁决命令、清洗命令或者同步命令，其中：调度命令包括：当有任务需要执行时，根据预先定义的方法选取异构构件池中合适的执行体执行任务；裁决命令包括：当执行体执行完任务之后，根据预定义的裁决策略判断执行结果；清洗命令包括：执行体会定期或不定期地执行不同级别的预清洗或初始化，或者重构与重组操作；同步命令包括：等待执行体与在线执行体的状态或场景是同步的。优选地，所述多元异构分布式存储系统包括多个分布式存储系统，所述多个分布式存储系统之间同步自愈。优选地，所述多元异构分布式存储系统向外提供统一调度接口。优选地，所述异构构件池包括多个执行体，每个执行体对应一个分布式存储系统。优选地，所述执行体包括GlusterFS执行体、CephFS执行体或者MooseFS执行体。本专利技术还提供一种基于异构多副本的分布式存储动态防御方法，包括如下步骤：信息获取步骤：用户应用层与异构多副本存储系统控制调度器提供的接口进行交互，获得多元异构分布式存储系统的功能；指令控制步骤：异构多副本存储系统控制调度器根据用户应用层需求，接收控制通道控制命令的下发；通过数据通道实现对异构构件池存储文件的读写；数据存本文档来自技高网...

【技术保护点】
1.一种基于异构多副本的分布式存储动态防御系统，其特征在于，包括用户应用层、异构多副本存储系统控制调度器、控制通道、数据通道、多元异构分布式存储系统以及异构构件池，其中：/n用户应用层用于对异构多副本存储系统控制调度器发送指令；/n异构多副本存储系统控制调度器用于接收用户应用层的指令、对多元异构分布式存储系统进行统一调度控制；/n控制通道用于向多元异构分布式存储系统下发控制命令、向用户应用层提供控制命令的接口调用；/n数据通道用于与多元异构分布式存储系统数据传输；/n多元异构分布式存储系统用于接收控制命令，实现分布式系统的多元存储；/n异构构件池用于存储数据资源。/n

【技术特征摘要】
1.一种基于异构多副本的分布式存储动态防御系统，其特征在于，包括用户应用层、异构多副本存储系统控制调度器、控制通道、数据通道、多元异构分布式存储系统以及异构构件池，其中：
用户应用层用于对异构多副本存储系统控制调度器发送指令；
异构多副本存储系统控制调度器用于接收用户应用层的指令、对多元异构分布式存储系统进行统一调度控制；
控制通道用于向多元异构分布式存储系统下发控制命令、向用户应用层提供控制命令的接口调用；
数据通道用于与多元异构分布式存储系统数据传输；
多元异构分布式存储系统用于接收控制命令，实现分布式系统的多元存储；
异构构件池用于存储数据资源。


2.根据权利要求1所述的基于异构多副本的分布式存储动态防御系统，其特征在于，所述控制命令包括调度命令、裁决命令、清洗命令或者同步命令，其中：
调度命令包括：当有任务需要执行时，根据预先定义的方法选取异构构件池中合适的执行体执行任务；
裁决命令包括：当执行体执行完任务之后，根据预定义的裁决策略判断执行结果；
清洗命令包括：执行体会定期或不定期地执行不同级别的预清洗或初始化，或者重构与重组操作；
同步命令包括：等待执行体与在线执行体的状态或场景是同步的。


3.根据权利要求1所述的基于异构多副本的分布式存储动态防御系统，其特征在于，所述多元异构分布式存储系统包括多个分布式存储系统，所述多个分布式存储系统之间同步自愈。


4.根据权利要求1所述的基于异构多副本的分布式存储动态防御系统，其特征在于，所述多元异构分布式存储系统向外提供统一调度接口。


5.根据权利要求3所述的基于异构多副本的分布式存储动态防御系统，其特征在于，所述异构构件池包括多个执行体，每个执行体对应一个分布式存储系统。

<...

【专利技术属性】
技术研发人员：余秦勇，刘银平，何忠琼，
申请(专利权)人：华东计算技术研究所中国电子科技集团公司第三十二研究所，
类型：发明
国别省市：上海;31