一种分布式存储系统技术方案

本发明专利技术涉及数据存储管理领域，具体涉及一种分布式存储系统，包括：接入模块用于对访问接入模块进行负载均衡；数据模块用于存储数据，数据模块包括多个存储单元，每个存储单元由一个写进程处理；配置运维中心模块用于负责整个仓库的配置维护和下发、资源的配额管理及用于自动或手动下发运维命令；备份模块用于负责整个系统所有业务的数据备份、回档及恢复；监控系统用于对系统的关键信息和运行状况进行上报及分析，对异常情况进行监控和告警。通过把数据分散存储在多个存储单元上，为大规模的存储应用提供大容量、高性能、高可用、扩展性好的存储服务。好的存储服务。好的存储服务。

【技术实现步骤摘要】
一种分布式存储系统


[0001]本专利技术涉及数据存储管理领域，具体而言，涉及一种分布式存储系统。

技术介绍

[0002]随着科技的发展，现代设备为人们的日常生活提供了极大便利，但越高科技的产品越需要大量数据的支撑，数据量越大则越需要更大的存储容量对数据进行存储；对于一些单机设备的存储仍存在这容量小、性能底扩展性差的问题；因此需要一种解决单机存储容量、性能，以及可用性、扩展性等方面问题的系统。

技术实现思路

[0003]本专利技术实施例提供了一种分布式存储系统，为大规模的存储应用提供大容量、高性能、高可用及扩展性好的存储服务。
[0004]根据本专利技术的一实施例，提供了一种分布式存储系统，包括：
[0005]接入模块，用于对访问接入模块进行负载均衡及把访问数据的请求转发数据所在的数据模块；
[0006]数据模块，用于存储数据，数据模块包括多个存储单元，每个存储单元由一个写进程处理；
[0007]配置运维中心模块，用于负责整个仓库的配置维护和下发、资源的配额管理及用于自动或手动下发运维命令；
[0008]备份模块，用于负责整个系统所有业务的数据备份、回档及恢复；
[0009]监控系统，用于对系统的关键信息和运行状况进行上报及分析，对异常情况进行监控和告警。
[0010]进一步地，数据模块通过存储介质进行数据存储，存储介质可以为SSD硬盘。
[0011]进一步地，配置运维中中心模块包括：
[0012]配置中心单元，用于负责整个仓库的配置维护和下发；
[0013]配额中心单元，用于负责资源的配额管理；
[0014]运维中心单元，用于自动或手动下发运维命令。
[0015]进一步地，备份模块包括：
[0016]流水中心单元，用于记录所有写操作的流水；
[0017]任务中心单元，用于管理和调度所有数据备份、回档和恢复任务的执行。
[0018]进一步地，系统还包括：
[0019]数据校验模块，用于对数据中记录的校验值进行校验，当读取数据的时，对数据进行校验，当校验失败时，则需要进行重试。
[0020]进一步地，数据模块包括用于存储数据的多个副本，多个副本用于数据备份；
[0021]数据的备份方式包括热备和冷备，热备为直接提供服务的备副本，或者在主副本失效时能立即提供服务的备副本；
[0022]冷备为用于恢复数据的副本。
[0023]进一步地，热备方式包括：
[0024]同构系统，同构系统为把存储节点分成若干组，每组节点存储相同的数据，其中一个主节点，主节点以外的为备节点。
[0025]进一步地，热备方式还包括：
[0026]异构系统，异构系统为把数据划分成若干分片，每个分片的多个副本分布在不同的存储节点。
[0027]进一步地，数据模块采用Key
‑
Value的数据类型进行存储。
[0028]进一步地，系统还包括主控台，接入模块、数据模块、配置运维中心模块、备份模块及监控系统通过主控台连接。
[0029]本专利技术实施例中的分布式存储系统，包括：接入模块用于对访问接入模块进行负载均衡；数据模块用于存储数据，数据模块包括多个存储单元，每个存储单元由一个写进程处理；配置运维中心模块用于负责整个仓库的配置维护和下发、资源的配额管理及用于自动或手动下发运维命令；备份模块用于负责整个系统所有业务的数据备份、回档及恢复；监控系统用于对系统的关键信息和运行状况进行上报及分析，对异常情况进行监控和告警。通过把数据分散存储在多个存储单元上，为大规模的存储应用提供大容量、高性能、高可用、扩展性好的存储服务。
附图说明
[0030]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0031]图1为本专利技术分布式存储系统的原理图；
[0032]图2为本专利技术Key
‑
Value数据类型图；
[0033]图3为本专利技术Key
‑
Fields数据类型图；
[0034]图4为本专利技术Key
‑
Rows数据类型图；
[0035]图5为本专利技术数据备份示例图；
[0036]图6为本专利技术同步机制示例图；
[0037]图7为本专利技术另一同步机制示例图；
[0038]图8为本专利技术容灾机制示例图。
具体实施方式
[0039]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0040]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0041]参见图1，根据本专利技术一实施例，提供了一种基于深度学习的腹部体影像肝脏分割方法，包括：
[0042]接入模块100，用于对访问接入模块进行负载均衡及把访问数据的请求转发数据所在的数据模块；
[0043]数据模块200，用于存储数据，数据模块100包括多个存储单元，每个存储单元由一个写进程处理；
[0044]配置运维中心模块300，用于负责整个仓库的配置维护和下发、资源的配额管理及用于自动或手动下发运维命令；
[0045]备份模块400，用于负责整个系统所有业务的数据备份、回档及恢复；
[0046]监控系统500，用于对系统的关键信息和运行状况进行上报及分析，对异常情况进行监控和告警。通过把数据分散存储在多个存储单元上，为大规模的存储应用提供大容量、高性能、高可用、扩展性好的存储服务。
[0047]分布式存储系统是为了解决单机存储所存在的容量、性能等瓶颈，以及可用性、扩展性等方面的问题，通过把数据分散存储在多台存储设备上，为大规模的存储应用提供大容量、高性能、高可用、扩展性好的存储服务。
[0048]下面对各模块的主要功能进行详细说明：
[0049]接入模块100，主要是提供两个功能，一是对逻辑层访问接入层进行负载均衡；二是实现数据分片，即把访问数据的请求转发数据所在的数据层设备。
[0050]数据模块20本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式存储系统，其特征在于，包括：接入模块，用于对访问所述接入模块进行负载均衡及把访问数据的请求转发数据所在的数据模块；所述数据模块，用于存储数据，所述数据模块包括多个存储单元，每个所述存储单元由一个写进程处理；配置运维中心模块，用于负责整个仓库的配置维护和下发、资源的配额管理及用于自动或手动下发运维命令；备份模块，用于负责整个系统所有业务的数据备份、回档及恢复；监控系统，用于对系统的关键信息和运行状况进行上报及分析，对异常情况进行监控和告警。2.根据权利要求1所述的分布式存储系统，其特征在于，所述数据模块通过存储介质进行数据存储，所述存储介质可以为SSD硬盘。3.根据权利要求1所述的分布式存储系统，其特征在于，所述配置运维中中心模块包括：配置中心单元，用于负责整个仓库的配置维护和下发；配额中心单元，用于负责资源的配额管理；运维中心单元，用于自动或手动下发运维命令。4.根据权利要求1所述的分布式存储系统，其特征在于，所述备份模块包括：流水中心单元，用于记录所有写操作的流水；任务中心单元，用于管理和调度所有数据备份、回档和恢复任务的执行。5.根据权利要求1所述的分布式存储系统，其特征在于，所述...

【专利技术属性】
技术研发人员：徐育帅，
申请(专利权)人：苏州中科先进技术研究院有限公司，
类型：发明
国别省市：