一种分布式数据库集群系统数据分流方法技术方案

本发明专利技术公开了一种分布式数据库集群系统数据分流方法，包括如下步骤：设置主控服务器并设置所管理的数据对象；设置数据对象的标识，关联主控服务器；设置工作服务器；设置存储服务器；主控服务器分别连接工作服务器与存储服务器；客户端连通工作服务器；工作服务器接收请求信息流，处理后转化为控制信息流；识别控制信息流，将该控制信息流与数据对象进行匹配；生成处理后的控制信息流并将其输出至存储服务器；调取与元数据对应的数据并转化为数据信息流；工作服务器获取数据信息流，处理后生成处理结果集，输出至客户端。本发明专利技术极大的降低了网络流量，减轻了主控服务器的工作负载。

【技术实现步骤摘要】
一种分布式数据库集群系统数据分流方法
本专利技术属于分布式数据库
，具体涉及一种分布式数据库集群系统数据分流方法。
技术介绍
分布式数据库系统通常使用较小的计算机系统，每台计算机中都可能有DBMS的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。分布式数据库的数据处理一般是由主控服务器、工作服务器和存储服务器完成。目前，市面上常规的数据处理方式是采用MPP系统进行处理。这样的处理方式大多是由主控服务器接受用户请求，然后进行任务分配。这样的方式，主控服务器的数据流过大，主控服务器的工作负载过大，时间一长主控服务器就会成为整个系统中的一个性能瓶颈。因此，要如何保证整个数据处理过程中的安全稳定，是亟待解决的问题。
技术实现思路
本专利技术所要解决的技术问题便是针对上述现有技术的不足，提供一种分布式数据库集群系统数据分流方法，工作服务器和主控服务器之间只有控制信息流和元数据流，而无直接的数据信息流，这样的设计，极大的降低了网络流量，减轻了主控服务器的工作负载。本专利技术所采用的技术方案是：一种分布式数据库集群系统数据分流方法，包括如下步骤：步骤10、设置数个主控服务器并设置每个主控服务器所管理的数据对象；步骤20、设置每个数据对象的标识，关联该标识与主控服务器；步骤30、设置数个工作节点，依次连接每个工作节点，形成工作服务器；步骤40、设置数个存储节点，依次连接每个存储节点，形成存储服务器；步骤50、主控服务器分别连接工作服务器与存储服务器；步骤60、客户端连通工作服务器，发送查询请求并生成对应的请求信息流，传输至工作服务器；步骤70、工作服务器接收请求信息流，处理后转化为控制信息流；步骤80、工作服务器识别控制信息流，将该控制信息流与数据对象进行匹配，将完成匹配的控制信息流输出至与之关联的主控服务器；步骤90、主控服务器接收并处理该控制信息流，获取该控制信息流对应的存储于主控服务器中的元数据，生成处理后的控制信息流并将其输出至存储服务器；步骤100、存储服务器接收处理后的控制信息流，调取与元数据对应的数据并转化为数据信息流，输出至工作服务器；步骤110、工作服务器获取数据信息流，处理后生成处理结果集，输出至客户端。其中一个实施例中，步骤10中，每个所述的主控服务器均包括一个主控节点和至少一个备用节点，依次连接主控节点和每个备用节点，构成主控服务器。其中一个实施例中，所述的主控节点死亡后，依次启动备用节点。其中一个实施例中，步骤20中，数据对象的标识与主控服务器通过HASH关联。其中一个实施例中，步骤20中，需控制每个数据对象的标识在合理的范围内，具体如下：每个主控服务器分配其管理的每个数据对象的标识且通过该主控服务器自身的唯一性算法为每个数据对象设置唯一的标识，并按每个数据对象的分配顺序由小到大分配标识。其中一个实施例中，步骤60中，客户端通过网络负载均衡器与工作服务器连通。其中一个实施例中，步骤60中，客户端连通工作服务器中的任意一工作节点，即可与工作服务器连通。本专利技术的有益效果在于：客户端的请求信息流经工作服务器处理后传输至主控服务器，主控服务器处理后，直接通过存储服务器调取数据至工作服务器，因此，工作服务器和主控服务器之间只有控制信息流和存储于主控服务器中的元数据流，而无直接的数据信息流，这样的设计，极大的降低了网络流量，减轻了主控服务器的工作负载。附图说明图1为本专利技术结构框图。具体实施方式下面将结合附图及具体实施例对本专利技术作进一步详细说明。如图1所示，本专利技术公开了一种分布式数据库集群系统数据分流方法，包括如下步骤：步骤10、设置数个主控服务器并设置每个主控服务器所管理的数据对象；本步骤中，由主控服务器对数据对象的存放位置进行管理。主控服务器包括主控节点和备用节点。其中，主控节点为主节点，负责对外提供数据对象信息的访问；备份节点用于提供高可用服务。所述的数据对象为数据库管理数据时的最小单位，一个数据对象可以包含多条数据。步骤20、设置每个数据对象的标识，关联该标识与主控服务器；本步骤中，对每一个数据对象都分配一个全局唯一的标识符，用于标识数据对象的全局唯一性，避免数据对象出现重复的情况。所述的数据对象标识为能够唯一标识数据对象在整个集群中的编号。步骤30、设置数个工作节点，依次连接每个工作节点，形成工作服务器；本步骤中，可形成工作服务器，以用于处理用户的访问请求。工作服务器由多个工作节点组成，可以提高客户端的访问能力，增强数据的计算能力，并且可以对工作服务器的节点进行扩展。步骤40、设置数个存储节点，依次连接每个存储节点，形成存储服务器；本步骤中，通过形成的存储服务器来进行数据对象的实际存储和读取。存储服务器由多个存储节点组成，提供更多的存储容量，实现数据的分散存储，提高数据的访问能力，并且可以对存储服务器的节点进行扩展。步骤50、主控服务器分别连接工作服务器与存储服务器；本步骤中，工作服务器的每个节点与主控服务器进行连接，可以访问主控服务器上的数据对象的标识。存储服务器与主控服务器进行连接，使主控服务器在分配存储对象存放位置时可以根据实际存储服务器的情况进行分配。步骤60、客户端连通工作服务器，发送查询请求并生成对应的请求信息流，传输至工作服务器；本步骤中，客户端发送的请求会由对应的工作节点进行接收，并由该工作节点进行处理生成请求信息流。请求信息流包含用户的请求信息、数据结构信息等信息。步骤70、工作服务器接收请求信息流，处理后转化为控制信息流；本步骤中，将请求信息流转化为控制信息流，控制信息流包含数据对象的标识、数据对象存放的存储节点等信息。步骤80、工作服务器识别控制信息流，将该控制信息流与数据对象进行匹配，将完成匹配的控制信息流输出至与之关联的主控服务器；本步骤中，与主控服务器进行交互，获取数据对象的控制信息，形成独立的访问流。由于数据对象的控制信息流并不是持续变化的或控制信息流只是进行增量的变化，因此可以在工作服务器缓存数据对象的控制信息流，从而减少对主控服务器的访问。步骤90、主控服务器接收并处理该控制信息流，获取该控制信息流对应的存储于主控服务器中的元数据，生成处理后的控制信息流并将其输出至存储服务器；本步骤中，产生的控制信息流将直接下放至存储服务器，减少返回给工作服务器的中间访问次数。因此，可让控制信息流实现顺序流转，减少交互，避免冲突访问。本步骤中，可以在工作服务器缓存数据对象的元数据信息，从而减少对主控服务器的访问。所述的元数据为数据对象存储信息的基本单位信息，包含存储节点的编号、存放的文件地址、所属的数据对象等数据。步骤100、存储服务器接收处理后的控制信息流，调取与元数据对应的数据并转化为数据信息流本文档来自技高网...

【技术保护点】
1.一种分布式数据库集群系统数据分流方法，其特征在于，包括如下步骤：/n步骤10、设置数个主控服务器并设置每个主控服务器所管理的数据对象；/n步骤20、设置每个数据对象的标识，关联该标识与主控服务器；/n步骤30、设置数个工作节点，依次连接每个工作节点，形成工作服务器；/n步骤40、设置数个存储节点，依次连接每个存储节点，形成存储服务器；/n步骤50、主控服务器分别连接工作服务器与存储服务器；/n步骤60、客户端连通工作服务器，发送查询请求并生成对应的请求信息流，传输至工作服务器；/n步骤70、工作服务器接收请求信息流，处理后转化为控制信息流；/n步骤80、工作服务器识别控制信息流，将该控制信息流与数据对象进行匹配，将完成匹配的控制信息流输出至与之关联的主控服务器；/n步骤90、主控服务器接收并处理该控制信息流，获取该控制信息流对应的存储于主控服务器中的元数据，生成处理后的控制信息流并将其输出至存储服务器；/n步骤100、存储服务器接收处理后的控制信息流，调取与元数据对应的数据并转化为数据信息流，输出至工作服务器；/n步骤110、工作服务器获取数据信息流，处理后生成处理结果集，输出至客户端。/n...

【技术特征摘要】
1.一种分布式数据库集群系统数据分流方法，其特征在于，包括如下步骤：
步骤10、设置数个主控服务器并设置每个主控服务器所管理的数据对象；
步骤20、设置每个数据对象的标识，关联该标识与主控服务器；
步骤30、设置数个工作节点，依次连接每个工作节点，形成工作服务器；
步骤40、设置数个存储节点，依次连接每个存储节点，形成存储服务器；
步骤50、主控服务器分别连接工作服务器与存储服务器；
步骤60、客户端连通工作服务器，发送查询请求并生成对应的请求信息流，传输至工作服务器；
步骤70、工作服务器接收请求信息流，处理后转化为控制信息流；
步骤80、工作服务器识别控制信息流，将该控制信息流与数据对象进行匹配，将完成匹配的控制信息流输出至与之关联的主控服务器；
步骤90、主控服务器接收并处理该控制信息流，获取该控制信息流对应的存储于主控服务器中的元数据，生成处理后的控制信息流并将其输出至存储服务器；
步骤100、存储服务器接收处理后的控制信息流，调取与元数据对应的数据并转化为数据信息流，输出至工作服务器；
步骤110、工作服务器获取数据信息流，处理后生成处理结果集，输出至客户端。


2.根据权利要求1所述的一...

【专利技术属性】
技术研发人员：况忠强，王汉瑛，吴生勇，谢旭东，苏德财，李尤兵，曹茜，冯治龙，明玉琢，李文彬，许雄基，
申请(专利权)人：成都虚谷伟业科技有限公司，
类型：发明
国别省市：四川;51