一种分布式存储系统技术方案

本发明专利技术实施例公开了一种分布式存储系统，该系统包括：至少一个数据服务器、至少一个存储服务器以及中心交换机，所述至少一个数据服务器，通过所述中心交换机与所述至少一个存储服务器相连；所述至少一个数据服务器获取海量数据以及对所述海量数据进行过滤处理得到目标数据，将所述目标数据通过中心交换机发送至所述至少一个存储服务器；所述至少一个存储服务器接收并存储所述目标数据。利用该分布式存储系统，能够通过分布式的数据服务器独立的实现海量数据的过滤处理，有效地节省了数据的处理时间，同时也提高了数据的处理精度，并且避免了因数据处理的处理量过大而出现死机、宕机的风险，由此提高了分布式存储系统的用户体验。

A distributed storage system

The embodiment of the invention discloses a distributed storage system, the system includes at least one data server, at least one storage server and the center switch, the at least one data server is connected with the at least one storage server through the center switch; the at least one data server to obtain massive data and the massive data filtering processing target data and the target data is sent to the switch through the center of the at least one storage server; the at least one storage server receives and stores the target data. The distributed storage system, can realize the processing of massive data filtering through distributed data server independently, effectively saves the data processing time, but also improve the accuracy of data processing, and avoid the processing of large quantities of data processing and the risk of this crash, crash, thereby improving distributed storage the user experience.

【技术实现步骤摘要】
一种分布式存储系统
本专利技术实施例涉及计算机
，尤其涉及一种分布式存储系统。
技术介绍
随着计算机技术的飞速发展，各行各领域的数据呈几何级快速增长，传统的集中式存储系统已不能满足对海量数据的存储及处理，由此出现了分布式的存储系统。图1给出了一种现有的分布式存储系统的架构图，如图1所示，现有的分布式存储系统可包括：核心运算器11，与核心运算器11相连的多个粗糙数据存储节点12，其中，上述多个粗糙数据存储节点12均可用于存储所获取的原始数据或粗糙数据；同样，该分布式存储系统还包括一个与核心运算器11相连的精细数据存储节点13，该精细数据存储节点13用于存放对原始数据或粗糙数据进行优化处理后的数据。此外，分布式存储系统还包括一个与核心运算器11与相连的Web服务器10相连，用户可通过Web服务器10查询所需的数据信息。一般地，存储在粗糙数据存储节点12中的数据往往具有数据来源繁杂、数据类型复杂以及数据信息冗余等特点，因此在将数据展示给用户前，需要对粗糙数据存储节点12中的数据进行优化处理，以提取用户需要的数据信息。其对数据的优化处理过程往往是核心运算器11获取每台粗糙数据存储节点12中的数据并依次进行处理，然后将处理后数据发送给精细数据存储节点13。上述数据处理的方法，主要在核心运算器上进行，而核心运算器只能串行的获取每台粗糙数据存储节点中的数据并处理，由此耗费了较多的处理时间，此外，上述方式处理所得数据的精准度较低，而且也容易出现核心运算器因超负载而造成死机、宕机的风险，进而影响分布式存储系统的用户体验。
技术实现思路
本专利技术实施例提供了一种分布式存储系统，能够有效提高所存储的海量数据的处理效率，同时也提高了分布式存储系统对数据处理的精准度。本专利技术实施例提供的一种分布式存储系统，包括：至少一个数据服务器、至少一个存储服务器以及中心交换机，所述至少一个数据服务器，通过所述中心交换机与所述至少一个存储服务器相连；所述至少一个数据服务器获取海量数据以及对所述海量数据进行过滤处理得到目标数据，将所述目标数据通过中心交换机发送至所述至少一个存储服务器；所述至少一个存储服务器接收并存储所述目标数据。本专利技术实施例中提供的一种分布式存储系统，在该分布式存储系统中，基于至少一个数据服务器可获取使用者产生的海量数据，可对海量数据进行过滤处理得到目标数据，还可将目标数据通过中心交换机发送至至少一个存储服务器；基于至少一个存储服务器可以接收并存储目标数据。利用该分布式存储系统，能够通过分布式的数据服务器独立的实现海量数据的过滤处理，与现有的分布式存储系统相比，有效地节省了数据的处理时间，同时也提高了数据的处理精度，并且避免了因数据处理的处理量过大而出现死机、宕机的风险，由此提高了分布式存储系统的用户体验。附图说明图1给出了一种现有的分布式存储系统的结构示意图；图2为本专利技术实施例一提供的一种分布式存储系统的结构示意图；图3为本专利技术实施例二提供的一种分布式存储系统的结构示意图；图4为本专利技术实施例三提供的一种分布式存储系统的结构示意图；图5为本专利技术实施例四提供的一种分布式存储系统的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图2为本专利技术实施例一提供的一种分布式存储系统的结构示意图，该分布式存储系统适用于对存放于分布式存储系统中海量的原始数据或一手数据进行过滤处理的情况，该分布式存储系统一般可以由软件和/或硬件实现。如图2所示，该分布式存储系统包括：至少一个数据服务器21、至少一个存储服务器22以及中心交换机23，至少一个数据服务器21通过中心交换机23与至少一个存储服务器22相连；至少一个数据服务器21获取海量数据以及对海量数据进行过滤处理得到目标数据，将目标数据通过中心交换机23发送至至少一个存储服务器22；至少一个存储服务器22接收并存储所述目标数据。在本实施例中，各数据服务器21以及各存储服务器22具体可看做独立的具有存储、处理计算以及信息交互功能的硬件主机；中心交换机23具体可看做一个具有电(光)信号转发功能的网络设备，分布式系统中的至少一个数据服务器21以及至少一个存储服务器22均与中心交互机23通过数据总线相连。具体地，分布式存储系统中各数据服务器21可用于存储从第三方获取的海量数据，其中，海量数据一般为来自第三方的原始数据、一手数据或者粗糙数据等，一般需要进行过滤处理；各数据服务器21还可用于对所存储的各条海量数据进行过滤处理，以获得符合规则条件的目标数据，并最终将目标数据通过中心交换机23发送给对应的存储服务器22。此外，本实施例中的至少一个存储服务器22可用于接收通过中心交换机23发送的目标数据。可以理解的是，通过本实施例的分布式存储系统，可以将从第三方获取的海量数据分布式存放到各数据服务器21上，并可对各数据服务器21上的海量数据并行进行过滤处理，最终在存储服务器上分布式存储过滤处理后的目标数据。进一步地，至少一个数据服务器21根据至少一个存储服务器22的位置信息，将所述目标数据通过中心交换机23发送给对应的存储服务器22；或者，至少一个数据服务器21根据至少一个存储服务器22的剩余容量信息，确定剩余容量符合存储条件的存储服务器22，并将所述目标数据通过中心交换机23发送给对应的存储服务器22。在本实施例中，经数据服务器21过滤处理后的目标数据可通过中心交换机23发送到符合要求的存储服务器22上。具体地，数据服务器21可通过确定各存储服务器22的位置信息来选取对应的存储服务器；也可通过确定各存储服务器22的剩余用量信息来选取对应的存储服务器。在本实施例中，其通过确定各存储服务器22的位置信息来选取对应的存储服务器的实现过程可描述为：首先可将各存储服务器22的位置信息记录在分布式存储系统的各数据服务器21上，在各数据服务器21对其上的海量数据进行过滤处理得到目标数据后，可从所记录的多个存储服务器的位置信息中选取一个位置信息，最终将该位置信息对应的存储服务器22作为存储目标数据的存储服务器22。需要说明的是，数据服务器可以优选地根据历史选取信息从多个存储服务器的位置信息中确定选取次数最少的一个位置信息。示例性地，假设数据服务器中记录了10个存储服务器的位置信息，则当数据服务器通过保存的历史选取信息确定出有1个存储服务器的位置信息未被选取过，或者被选取的次数小于其余9个存储服务器的位置信息的选取次数时，可选取上述所确定的1个存储服务器的位置信息，并将该存储服务器作为存储目标数据的存储服务器。此外，当数据服务器中记录的多个位置信息均未被选取过时，可从多个位置信息中任一选取一个位置信息。在本实施例中，其通过确定各存储服务器22的剩余用量信息来选取对应的存储服务器的实现过程可描述为：首先可将各存储服务器22的位置信息及剩余容量信息记录在分布式存储系统的各数据服务器中，在各数据服务器21对其上的海量数据进行过滤处理得到目标数据后，可确定所获得目标数据的数据量大小，然后从多个存储服务器22中选取剩余容量大于上述数据量大小的一个存本文档来自技高网...

【技术保护点】
一种分布式存储系统，其特征在于，包括：至少一个数据服务器、至少一个存储服务器以及中心交换机，所述至少一个数据服务器，通过所述中心交换机与所述至少一个存储服务器相连；所述至少一个数据服务器获取海量数据以及对所述海量数据进行过滤处理得到目标数据，将所述目标数据通过中心交换机发送至所述至少一个存储服务器；所述至少一个存储服务器接收并存储所述目标数据。

【技术特征摘要】
1.一种分布式存储系统，其特征在于，包括：至少一个数据服务器、至少一个存储服务器以及中心交换机，所述至少一个数据服务器，通过所述中心交换机与所述至少一个存储服务器相连；所述至少一个数据服务器获取海量数据以及对所述海量数据进行过滤处理得到目标数据，将所述目标数据通过中心交换机发送至所述至少一个存储服务器；所述至少一个存储服务器接收并存储所述目标数据。2.根据权利要求1所述的分布式存储系统，其特征在于，所述至少一个数据服务器根据所述至少一个存储服务器的位置信息，将所述目标数据通过所述中心交换机发送给对应的存储服务器；或者，所述至少一个数据服务器根据所述至少一个存储服务器的剩余容量信息，确定剩余容量符合存储条件的存储服务器，并将所述目标数据通过所述中心交换机发送给对应的存储服务器。3.根据权利要求2所述的分布式存储系统，其特征在于，所述至少一个数据服务器包括数据处理器和监控器，所述数据处理器与所述监控器相连；所述数据处理器对获取的海量数据进行过滤处理得到目标数据；所述监控器对所述数据处理器的处理状态进行监控，并在处理状态为数据处理异常时进行预警处理。4.根据权利要求3所述的方法，其特征在于，所述数据处理器包括：待处理确定模块，用于在满足设定的处理条件时，确定所在数据服务器中待处理的海量数据；数据处理模块，与所述待处理确定模块和监控器相连，用于根据设定的处理规则处理所述海量数据，获得所述海量数据的目标数据。5.根据权利要求4所述的分布式存储系统，其特征在于，所述数据处理器，还包括：处理标记模块，与所述数据处理模块相连，用于在获得所述海量数据的目标数据后，将所述海量数据对应处理标记位的标记值确定为设定标记值，以标记所述海量数据为已处理数据。6.根据权利要求5所述的分布式存储系统，其特征在于，所述待处理确定模块具体用于在满足设定的处理条件时，确定所在数据服务器中每条海量数据对应处理标记位的标记值；如果存在处理标记位的标记值不为所述设定标记值，则将所述处理标记位对应的海量数据确定为待处理的海量数据。7.根据权利要求3所述的分布式存储系统，其特征在于，所述至少一个数据服务器还包括第一存储器、第一控制器和第一收发器，所述数据处理器与所述第一控制器以及第一存储器相连，所述第一控制器和第一存储器分别与所述第一收发器相连，所述第一收发...

【专利技术属性】
技术研发人员：万志宏，陈海峰，王建德，朱林，史岩，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：北京,11