分布式存储系统技术方案

本发明专利技术公开了一种分布式存储系统，包括：多个存储层用于对不同安全级别的数据进行分级存储；主控制器用于接收客户端向其发送的数据存储请求，并建立存储日志；以及存储监控器用于根据主控制器请求存储入的数据的安全级别查找具有等同安全级别的存储层进行数据存储，并将存储路径以链接的形式存储在区块链内，且链接与主控制器上建立的存储日志相关联。本发明专利技术能够实现对数据的分级别安全存储，且由于多个存储层内的存储设备之间的数据交互和备份机制，能够实现对数据的自动更新和备份存储，即便其中一个存储设备出现故障，仍然能够保证该存储设备内的数据始终保留有两份备份，实现对存储数据的永久存储，但又不会占用过多存储资源。

【技术实现步骤摘要】
分布式存储系统
本专利技术涉及分布式存储
，特别涉及一种分布式存储系统。
技术介绍
随着信息化的深入开展，各行各业的业务系统所产生的数据越来越多，由于传统的集中式存储方案(集中式存储是指为待存储的数据制定一个特定的存储区域，如数据中心主机，将所有都存储在该区域中)将所有的数据均存储在数据中心主机上，若数据中心主机出故障，则整个系统无法存储和提取数据，即集中式存储方案相较于分布式数据存储，数据稳定性较低，故而分布式数据存储应运而生。现行的分布式数据存储方式一般是将待存储数据写入未充分使用的存储设备中；但是，由于数据写入存储设备之后很少被移动，且随着存储设备的扩展和更新，大部分的数据都写入到新增、数据较少的新存储设备中，从而导致新增存储设备存储资源占用过多、旧存储设备存储资源利用不足，不能充分利用分布式系统中的存储资源，也不能在分布式系统的存储资源有限时进行合理扩展和存储资源的合理分配。
技术实现思路
本专利技术的一个目的是解决至少上述问题，并提供至少后面将说明的优点。本专利技术还有一个目的是提供一种分布式存储系统，其能够实现对数据的分级别安全存储，且由于多个存储层内的存储设备之间的数据交互和备份机制，能够实现对数据的自动更新和备份存储，即便其中一个存储设备出现故障，仍然能够保证该存储设备内的数据始终保留有两份备份，实现对存储数据的永久存储，但又不会占用过多存储资源。为了实现根据本专利技术的这些目的和其它优点，提供了一种分布式存储系统，包括：多个存储层，其用于对不同安全级别的数据进行分级存储，多个存储层根据所述安全级别由高到低进行顺序编号，其中，任一个存储层设置有若干存储设备并顺序编号，且所述若干存储设备根据其顺序编号进行相邻存储设备间的两两信息交互和两两数据备份，并进行实时数据检测和数据同步；主控制器，其用于接收客户端向其发送的数据存储请求，并建立存储日志，所述存储日志中包含有存储数据的元数据；以及，存储监控器，其用于根据主控制器请求存储入的数据的所述安全级别查找具有等同所述安全级别的存储层进行数据存储，并将存储路径以链接的形式返回并存储在存储监控器内的区块链内，所述链接内包含有存储层的编码和该存储层内存储设备编码，且所述链接以时间为轴与主控制器上建立的存储日志相关联；当用户通过客户端向主控制器发出数据访问指令时，主控制器根据数据访问指令查找对应的所述存储日志，之后通过所述存储日志关联所述存储监控器内的所述链接，以调取存储在与所述链接对应的某一存储设备n内的存储数据，若该对应的存储设备n正常运转，则返回调取结果，若该对应的存储设备n出现故障，系统默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据，以此类推。优选的是，任一个存储层的若干存储设备中，编号最小的存储设备默认为序列编码器，其用于根据剩余若干存储设备的当前存储剩余空间生成当前存储序列，该存储层按照所述当前存储序列依次进行当前数据存储；若存储设备n故障持续超过指定时间，则默认存储设备n退出所述当前存储序列，同时将存储设备n+1上的存储设备n的备份数据默认为存储设备n+1的更新数据，并将所述更新数据备份至与其存储设备编号相邻的存储设备n+2中，当前存储序列由总数m个变为m-1个，但若干存储设备编号保持不变。优选的是，若任一存储层的当前剩余总存储空间小于其原始最大存储空间的指定阈值时，自动启动备用存储设备，将下一时刻存储空间扩充至所述当前剩余总存储空间的冗余备份，并对被启动的备用存储设备在原有编号基础上顺序编号。优选的是，退出当前存储序列的所述存储设备n恢复工作时，默认为备用存储设备，但其存储设备编号仍为n。优选的是，主控制器还包括：验证模块，其用于验证当前接收到的待存储数据的合法性。优选的是，主控制器还包括：指纹数据库，其用于预存储用户指纹；监控模块，其用于对所述数据访问指令中包含的用户指纹与所述指纹数据库中预存储的所述用户指纹进行匹配验证，若匹配结果为“1”，则返回调取数据结果；若匹配结果为“0”，则返回结果为“0”。优选的是，所述若干存储设备各设置有一与其编号相同的备用子存储设备，当若干存储设备的存储空间剩余10％时，自动启动其子存储设备进行存储空间扩充，且启动的所述子存储设备的存储空间大小自动更新至所述序列编码器，用于更新所述当前存储序列。优选的是，还包括：数据检测模块，用于定时检测对所述若干存储设备中的存储数据进行数据检测，将更新的数据进行记录；数据同步模块，根据所述数据检测模块的更新的数据记录，定时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。优选的是，数据同步模块每隔6小时将数据更新同步至与其按顺序编号的相邻的两个存储设备上。优选的是，所述存储监控器还包括：层分配模块，用于对多个存储层进行顺序编号，并按由低到高的顺序设置所述安全级别；解析模块，其用于在存储待存储数据前，解析所述待存储数据，获取所述待存储数据的所述安全级别；以及层获取模块，用于获取所述安全级别并与相同所述安全级别的一个存储层的编号进行匹配。本专利技术至少包括以下有益效果：应用多个存储层对不同的安全级别要求的数据进行分层存储，便于数据的存储管理和存储资源的合理利用，比如：图2中，第一存储层包括若干存储设备为存储设备101、存储设备102和存储设备103；存储设备101内的数据在存储设备102和存储设备103中各有一个备份，即便存储设备101出现故障，系统可以自动默认去存储设备102中读取存储数据；同理，存储设备102内的数据在存储设备101和存储设备103中各有一个备份，即便存储设备102出现故障，系统可以自动默认去存储设备103中读取存储数据，不会造成数据丢失，同时，由于形成的是自动数据备份循环，这样的数据备份功能又不会对存储资源造成过多的占用；第二存储层包括若干存储设备为存储设备201、存储设备202和存储设备203；另外，由于多个存储层内的存储设备之间的数据交互和备份机制，能够实现对数据的自动更新和备份存储，即便其中一个存储设备出现故障，仍然能够保证该存储设备内的数据始终保留有两份备份，实现对存储数据的永久存储，但又不会占用过多存储资源，适用于NAES架构下的不同的用户存储的安全级别要求；主控制器对用户需要存储的请求进行分析和筛选，并且给能够进行存储的数据建立存储日志，记录其存储的时间以及存储的数据的元数据，便于后期用户访问调取相应数据；存储监控器用于生成多个存储层的编码以及多个存储层内部若干存储设备的编码，并且将这些编码与数据的安全级别进行关联，当有需要存储的数据时，存储控制器就可以根据数据的安全级别要求对应将其存储入其中一个存储层的存储设备内，并且通过链接的形式保存存储路径，用于保存链接的区块链，具有加密保护作用，保证链接的存储安全。综上所述，本专利技术提供的分布式存储系统提高了系统的可靠性、可用性和存取效率，还易于扩展存储资源。本专利技术的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本专利技术的研究和实践而为本领域的技术人员所理解。附图说明图1为本专利技术的一个实施例中所述分布式存储系统的结构示意图；图2为本专利技术的一个实施例中所述分布式存储系统的网络拓扑结构示意图；图3为本专利技术的另一个实施例中所述分布式存储系统的结构示意图。具体实施方式下面结合附图对本本文档来自技高网...

【技术保护点】
一种分布式存储系统，其特征在于，包括：多个存储层，其用于对不同安全级别的数据进行分级存储，多个存储层根据所述安全级别由高到低进行顺序编号，其中，任一个存储层设置有若干存储设备并顺序编号，且所述若干存储设备根据其顺序编号进行相邻存储设备间的两两信息交互和两两数据备份，并进行实时数据检测和数据同步；主控制器，其用于接收客户端向其发送的数据存储请求，并建立存储日志，所述存储日志中包含有存储数据的元数据；以及，存储监控器，其用于根据主控制器请求存储入的数据的所述安全级别查找具有等同所述安全级别的存储层进行数据存储，并将存储路径以链接的形式返回并存储在存储监控器内的区块链内，所述链接内包含有存储层的编码和该存储层内存储设备编码，且所述链接以时间为轴与主控制器上建立的存储日志相关联；当用户通过客户端向主控制器发出数据访问指令时，主控制器根据数据访问指令查找对应的所述存储日志，之后通过所述存储日志关联所述存储监控器内的所述链接，以调取存储在与所述链接对应的某一存储设备n内的存储数据，若该对应的存储设备n正常运转，则返回调取结果，若该对应的存储设备n出现故障，系统默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据，以此类推。...

【技术特征摘要】
1.一种分布式存储系统，其特征在于，包括：多个存储层，其用于对不同安全级别的数据进行分级存储，多个存储层根据所述安全级别由高到低进行顺序编号，其中，任一个存储层设置有若干存储设备并顺序编号，且所述若干存储设备根据其顺序编号进行相邻存储设备间的两两信息交互和两两数据备份，并进行实时数据检测和数据同步；主控制器，其用于接收客户端向其发送的数据存储请求，并建立存储日志，所述存储日志中包含有存储数据的元数据；以及，存储监控器，其用于根据主控制器请求存储入的数据的所述安全级别查找具有等同所述安全级别的存储层进行数据存储，并将存储路径以链接的形式返回并存储在存储监控器内的区块链内，所述链接内包含有存储层的编码和该存储层内存储设备编码，且所述链接以时间为轴与主控制器上建立的存储日志相关联；当用户通过客户端向主控制器发出数据访问指令时，主控制器根据数据访问指令查找对应的所述存储日志，之后通过所述存储日志关联所述存储监控器内的所述链接，以调取存储在与所述链接对应的某一存储设备n内的存储数据，若该对应的存储设备n正常运转，则返回调取结果，若该对应的存储设备n出现故障，系统默认跳转至编号为n+1的存储设备上调取存储设备n的备份数据，以此类推。2.如权利要求1所述的分布式存储系统，其特征在于，任一个存储层的若干存储设备中，编号最小的存储设备默认为序列编码器，其用于根据剩余若干存储设备的当前存储剩余空间生成当前存储序列，该存储层按照所述当前存储序列依次进行当前数据存储；若存储设备n故障持续超过指定时间，则默认存储设备n退出所述当前存储序列，同时将存储设备n+1上的存储设备n的备份数据默认为存储设备n+1的更新数据，并将所述更新数据备份至与其存储设备编号相邻的存储设备n+2中，当前存储序列由总数m个变为m-1个，但若干存储设备编号保持不变。3.如权利要求1所述的分布式存储系统，其特征在于，若任一存储层的当前剩余总存储空间小于其原始最大存储空间的指定阈值...

【专利技术属性】
技术研发人员：黄瑞，唐玉国，袁艳明，黄淼，
申请(专利权)人：中国科学院苏州生物医学工程技术研究所，
类型：发明
国别省市：江苏,32