存储系统和存储装置制造方法及图纸

本发明专利技术提供了存储系统包括：接收模块，用于接收客户端发送的存储数据；建立模块，用于基于分布式文件系统建立与客户端一一对应的存储块来存储存储数据，且每个存储块一一对应设置有元数据服务器；元数据服务器，用于缓存和同步分布元数据，并建立元数据与对应的存储数据的关联关系；集群服务器，用于接收客户端发送的访问请求，并将访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群；集群服务器，还用于根据建立的关联关系，对存储块中的存储数据进行分域存储，并依据合格访问集群，实现有效数据分配。通过基于分布式文件系统和建立的关联关系、合格访问集群，实现存储块对存储数据的有效存储，且保证对应存储数据的安全可靠性。

【技术实现步骤摘要】
存储系统和存储装置
本专利技术涉及数据存储
，特别涉及存储系统和存储装置。
技术介绍
分布式文件系统由元数据服务器、数据服务器和客户端组成。一般来说，一个文件的操作首先进行元数据操作，其后是文件数据操作，且Ceph是开源的统一分布式存储系统，是目前最主流的开源存储项目之一。Ceph具备突出的优势，例如可以提供对象/块/文件系统三种存储访问方式，满足多种应用需求；支持PB级及以上的数据存储、多备份、无中心结构、无单点故障、有良好的可扩展性等，但是在使用该分布式文件系统，且基于存储块进行数据存储的过程中，可能会导致存储块存储存储数据时出现杂乱现象，如重叠存储、存储数据安全可靠性低等。
技术实现思路
本专利技术提供存储系统，用以通过基于分布式文件系统和建立的关联关系、合格访问集群，实现存储块对存储数据的有效存储，且保证对应存储数据的安全可靠性。本专利技术实施例提供一种存储系统，包括：接收模块，用于接收客户端发送的需要存储的存储数据；建立模块，用于基于分布式文件系统建立与所述客户端一一对应的存储块来存储所述存储数据，且每个所述存储块一一对应设置有元数据服务器；所述元数据服务器，用于缓存和同步分布元数据，并建立所述元数据与对应的存储数据的关联关系；集群服务器，用于接收所述客户端发送的访问请求，并将所述访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群；所述集群服务器，还用于根据建立的关联关系，对所述存储块中的存储数据进行分域存储，并依据所述合格访问集群，实现有效数据分配。在一种可能实现的方式中，还包括：第一记录模块，用于记录所述元数据服务器缓存和同步分布元数据的元时间以及与元时间对应的元文件大小，并获得元速度；第二记录模块，用于记录所述集群服务器的写入与所述元数据对应的数据流的写入时间和写入文件大小，获得写入速度；判断模块，用于当所述第一记录模块记录的元速度大于所述第二记录模块记录的写入速度，且两者差值绝对值大于预设差值时，发送第一报警警示；当所述第一记录模块记录的元速度小于所述第二记录模块记录的写入速度，且两者差值绝对值小于预设差值时，发送第二报警警示。在一种可能实现的方式中，所述集群服务器，还用于将所述存储数据存储到存储块之前，对所述存储数据进行正误归类处理，根据所述存储数据的数据属性，对正误归类处理后的所述存储数据进行属性归类处理；所述集群服务器，还用于将属性归类处理后的存储数据暂存到基于分布式文件系统的存储节点中，同时，根据所述存储节点的节点属性，向对应的存储块发送目标请求指令，来将所述存储数据存储到对应的存储块中。在一种可能实现的方式中，所述集群服务器，还用于基于设定的时间轴且对所述存储数据进行正误归类处理之前，获取传输所述存储数据对应的目标网络的网络数据；所述集群服务器，还用于将所述存储数据标志在标志轴的第一位置，同时将获取的所述网络数据标志在所述标志轴的第二位置，并基于预先建立的标志集合，确定所述第一位置与第二位置是否存在重叠区域，若不存在，确定所述第一位置是否在所述标志轴的目标区域；若在，保持所述第一位置不变；否则，将所述第一位置及第一位置对应的存储数据，移动到所述目标区域的空闲子区域；同时，确定所述所述第二位置是否在所述标志轴的网络区域；若在，保持所述第二位置不变；否则，将所述第二位置及第二位置对应的网络数据移动到所述网络区域的空闲子区域；所述集群服务器，还用于当所述第一位置与第二位置存在第一重叠区域时，且所述第一重叠区域是在所述目标区域时，对所述第一重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，并确定数据分离处理后的重叠网络数据的所有第一网络属性；通过对所有第一网络属性进行优先级排序，获取第二网络属性，并将所述第二网络属性对应的重叠网络数据标志在所述标志轴的网络区域中的空闲子区域；所述集群服务器，还用于当所述第一位置与第二位置存在第二重叠区域时，且所述第二重叠区域是在所述网络区域时，对所述第二重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，并确定数据分离处理后的重叠存储数据的所有第一目标属性；通过对所有第一目标属性进行优先级排序，获取第二目标属性，并将所述第二目标属性对应的重叠网络数据标志在所述标志轴的网络区域中的空闲子区域，获得最终标志轴。在一种可能实现的方式中，还包括：第一诊断模块，用于对所述分布式文件系统中的暂存节点进行预诊断；所述集群服务器，用于根据所述第一诊断模块的诊断处理结果判断所述暂存节点是否合格；若是，对所述暂存节点进行保留，并继续存储使用；否则，将所述暂存节点对应的存储映射区域进行预设切割处理，并对切割处理后的每个子切割区域进行存储性能的验证；若所述子切割区域的存储性能符合预设标准，则将所述子切割区域保留，并进行第一标注；若所述子切割区域的存储性能不符合预设标准，则将所述子切割区域进行第二标注；所述集群服务器，还用于确定所述暂存节点中进行第一标注的所有子区域的总存储容量，并判断所述总存储容量是否小于对应的待存储的存储数据的目标容量；若是，在所述分布式文件系统中的剩余存储节点中，寻找与所述暂存节点相关值大于预设值，且容量值大于对应的待存储的存储数据的目标容量的第一存储节点；若存在所述第一存储节点，则建立所述第一存储节点与对应的待存储的存储数据的存储关系，并进行存储；否则，寻找与所述暂存节点相关值大于预设值的第二存储节点，并将对应的待存储的存储数据存储到所述暂存节点和第二存储节点中。在一种可能实现的方式中，还包括：第二诊断模块，用于诊断所述接收模块接收的所述存储数据中的病毒数据；所述集群服务器，还用于当所述第二诊断模块诊断出存在病毒数据时，确定所述病毒数据的病毒种类，同时，基于预先存储的病毒清理数据库，并根据所述病毒种类，将对应的病毒数据进行清除处理，并对病毒清除处理后的存储数据进行后续操作；当所述第二诊断模块未诊断出病毒数据时，对存储数据进行后续操作。在一种可能实现的方式中，还包括：定位模块，用于当所述集群服务器根据病毒种类，将对应的病毒数据进行清除处理时，定位所述病毒数据的存储位置；处理模块，用于对所述定位模块定位的所述存储位置的病毒数据进行病毒种类分类，并将同种类的病毒数据进行显著性标注；并根据预先存储的病毒属性值，选择显著性标注的同种类的病毒数据进行病毒清理，且当病毒清理完毕后，选择下一显著性标注的同种类病毒数据进行病毒清理，直到清除完毕。在一种可能实现的方式中，所述集群服务器接收所述客户端发送的访问请求，并将所述访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群的过程中，为了保证建立的合格访问集群的安全性，需要对存储块同步接收所述访问请求的安全性进行验证，其验证步骤包括：步骤1：确定所述访问本文档来自技高网...

【技术保护点】
1.存储系统，其特征在于，包括：/n接收模块，用于接收客户端发送的需要存储的存储数据；/n建立模块，用于基于分布式文件系统建立与所述客户端一一对应的存储块来存储所述存储数据，且每个所述存储块一一对应设置有元数据服务器；/n所述元数据服务器，用于缓存和同步分布元数据，并建立所述元数据与对应的存储数据的关联关系；/n集群服务器，用于接收所述客户端发送的访问请求，并将所述访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群；/n所述集群服务器，还用于根据建立的关联关系，对所述存储块中的存储数据进行分域存储，并依据所述合格访问集群，实现有效数据分配。/n

【技术特征摘要】
1.存储系统，其特征在于，包括：
接收模块，用于接收客户端发送的需要存储的存储数据；
建立模块，用于基于分布式文件系统建立与所述客户端一一对应的存储块来存储所述存储数据，且每个所述存储块一一对应设置有元数据服务器；
所述元数据服务器，用于缓存和同步分布元数据，并建立所述元数据与对应的存储数据的关联关系；
集群服务器，用于接收所述客户端发送的访问请求，并将所述访问请求同步到每个存储块，同时，建立每个存储块的合格访问集群；
所述集群服务器，还用于根据建立的关联关系，对所述存储块中的存储数据进行分域存储，并依据所述合格访问集群，实现有效数据分配。


2.如权利要求1所述的存储系统，其特征在于，还包括：
第一记录模块，用于记录所述元数据服务器缓存和同步分布元数据的元时间以及与元时间对应的元文件大小，并获得元速度；
第二记录模块，用于记录所述集群服务器的写入与所述元数据对应的数据流的写入时间和写入文件大小，获得写入速度；
判断模块，用于当所述第一记录模块记录的元速度大于所述第二记录模块记录的写入速度，且两者差值绝对值大于预设差值时，发送第一报警警示；
当所述第一记录模块记录的元速度小于所述第二记录模块记录的写入速度，且两者差值绝对值小于预设差值时，发送第二报警警示。


3.如权利要求1所述的存储系统，其特征在于，
所述集群服务器，还用于将所述存储数据存储到存储块之前，对所述存储数据进行正误归类处理，根据所述存储数据的数据属性，对正误归类处理后的所述存储数据进行属性归类处理；
所述集群服务器，还用于将属性归类处理后的存储数据暂存到基于分布式文件系统的存储节点中，同时，根据所述存储节点的节点属性，向对应的存储块发送目标请求指令，来将所述存储数据存储到对应的存储块中。


4.如权利要求3所述的存储系统，其特征在于，
所述集群服务器，还用于基于设定的时间轴且对所述存储数据进行正误归类处理之前，获取传输所述存储数据对应的目标网络的网络数据；
所述集群服务器，还用于将所述存储数据标志在标志轴的第一位置，同时将获取的所述网络数据标志在所述标志轴的第二位置，并基于预先建立的标志集合，确定所述第一位置与第二位置是否存在重叠区域，若不存在，确定所述第一位置是否在所述标志轴的目标区域；
若在，保持所述第一位置不变；
否则，将所述第一位置及第一位置对应的存储数据，移动到所述目标区域的空闲子区域；
同时，确定所述所述第二位置是否在所述标志轴的网络区域；
若在，保持所述第二位置不变；
否则，将所述第二位置及第二位置对应的网络数据移动到所述网络区域的空闲子区域；
所述集群服务器，还用于当所述第一位置与第二位置存在第一重叠区域时，且所述第一重叠区域是在所述目标区域时，对所述第一重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，并确定数据分离处理后的重叠网络数据的所有第一网络属性；
通过对所有第一网络属性进行优先级排序，获取第二网络属性，并将所述第二网络属性对应的重叠网络数据标志在所述标志轴的网络区域中的空闲子区域；
所述集群服务器，还用于当所述第一位置与第二位置存在第二重叠区域时，且所述第二重叠区域是在所述网络区域时，对所述第二重叠区域的重叠存储数据和重叠网络数据进行数据分离处理，并确定数据分离处理后的重叠存储数据的所有第一目标属性；
通过对所有第一目标属性进行优先级排序，获取第二目标属性，并将所述第二目标属性对应的重叠网络数据标志在所述标志轴的网络区域中的空闲子区域，获得最终标志轴。


5.如权利要求3所述的存储系统，其特征在于，还包括：
第一诊断模块，用于对所述分布式文件系统中的暂存节点进行预诊断；
所述集群服务器，用于根据所述第一诊断模块的诊断处理结果判断所述暂存节点是否合格；

【专利技术属性】
技术研发人员：高进福，陈恭祥，
申请(专利权)人：深圳市中盛瑞达科技有限公司，
类型：发明
国别省市：广东;44