分布式海量数据处理方法及装置制造方法及图纸

本发明专利技术提供一种分布式海量数据处理方法及装置，包括：向元数据服务器发送索引请求；接收元数据服务器返回的可用服务器列表；对待索引的原始数据进行拆分，以获得拆分后的分块数据，并为分块数据分配数字编号；以分块数据的分块信息为键值，将分块数据的存储位置映射到可用服务器标识列表中；将与第二数据索引服务器标识对应的分块数据发送给第二数据索引服务器，以对分块数据进行存储；接收元数据服务器返回的索引完成信息。采用上述方法及装置，多个第二数据索引服务器可同时对接收到的分块数据进行存储，极大的提高了存储效率，并且通过索引完成信息即可完成在对存储的原始数据的查找，极大的提高了检索的效率。

【技术实现步骤摘要】
分布式海量数据处理方法及装置
本专利技术涉及分布式存储
，尤其涉及一种分布式海量数据处理方法及装置。
技术介绍
B+树索引结构是多级索引结构中的一种，因其较快的查询速度，在文件系统中广泛用作建立索引。现有的B+及其变种索引结构在分布式环境下，为了维持索引结构本身的平衡性，每编辑一条索引都需要对结构进行左旋或者右旋操作，当数据量很大时候，这些操作方式就会导致数据在节点之间来回移动，带来了巨大的网络通信成本。基于现有技术中的压缩算法、位图索引结构和分布式计算，以期寻求一种方法来解决上述问题。其中，压缩算法是减少数据大小的一种有效方式，可以分为有损压缩和无损压缩两种，在索引过程中一般使用无损压缩，常用的算法主要有gzip，bzip2和lzop几种，这些算法用在数据索引过程中会存在索引信息需要解压缩才能使用索引信息的问题，同样这个解压缩的操作会带来时间和空间成本开销，而且在压缩比比较高的时候，压缩产生的文件会比未压缩的数据大。位图索引结构使用位图来对数据进行索引，可以利用计算机高效的按位逻辑操作来快速处理组合查询，充分发挥了位图的计算优势，目前位图索引的压缩方式有按行程编码、字节编码、本文档来自技高网...

【技术保护点】
1.一种分布式海量数据处理方法，其特征在于，包括：客户端向元数据服务器发送索引请求；客户端接收所述元数据服务器返回的可用服务器列表；可用服务器列表包括一个或多个第一数据索引服务器标识，所述第一数据索引服务器标识与所述第一数据索引服务器一一对应；客户端对待索引的原始数据进行拆分，以获得拆分后的分块数据，并为所述分块数据分配数字编号；所述分块数据包括分块信息，所述分块信息包括所述分块数据所属的原始数据的文件名称、当前时间戳、数字编号和通用唯一识别码UUID；客户端根据分布式一致性哈希算法，以所述分块数据的所述分块信息为键值，将所述分块数据的存储位置映射到所述可用服务器标识列表中，以获得与所述分块数...

【技术特征摘要】
1.一种分布式海量数据处理方法，其特征在于，包括：客户端向元数据服务器发送索引请求；客户端接收所述元数据服务器返回的可用服务器列表；可用服务器列表包括一个或多个第一数据索引服务器标识，所述第一数据索引服务器标识与所述第一数据索引服务器一一对应；客户端对待索引的原始数据进行拆分，以获得拆分后的分块数据，并为所述分块数据分配数字编号；所述分块数据包括分块信息，所述分块信息包括所述分块数据所属的原始数据的文件名称、当前时间戳、数字编号和通用唯一识别码UUID；客户端根据分布式一致性哈希算法，以所述分块数据的所述分块信息为键值，将所述分块数据的存储位置映射到所述可用服务器标识列表中，以获得与所述分块数据对应的第二数据索引服务器标识，其中，第一数据索引服务器标识包括第二数据索引服务器标识；客户端将与第二数据索引服务器标识对应的所述分块数据发送给第二数据索引服务器，以使得所述第二数据索引服务器对所述分块数据进行存储；客户端接收元数据服务器返回的索引完成信息，其中，所述索引完成信息包括索引存储目录，所述索引存储目录为所述第二数据索引服务器对所述分块数据进行存储后生成的用于查找所述分块数据的目录，所述索引存储目录由所述第二数据索引服务器发送给所述元数据服务器。2.根据权利要求1所述的方法，其特征在于，客户端对待索引的原始数据进行拆分，以获得拆分后的分块数据，并为所述分块数据分配数字编号，具体包括：根据表达式计算获得一个所述分块数据所包括的记录的数量；其中，每条记录由N个列组成，第j列数据类型的大小为sj，j∈[0,N-1]，b表示分块数据的存储容量，m表示一个所述分块数据所能存储的记录的数量；根据将原始数据拆分为k段，每段存储于一个分块数据上，并依次为每个分块数据分配数字编号，t为原始数据所包括的记录的数量。3.根据权利要求1所述的方法，其特征在于，还包括：客户端向所述元数据服务器发送查询请求，以使得所述元数据服务器将查询请求发送给配置表中与所述索引存储目录相对应的第三数据索引服务器，所述查询请求包括查询语句和索引存储目录，所述配置表包括所述索引存储目录和对应的第三数据索引服务器；客户端接收所述元数据服务器返回的查询结果，所述查询结果由所述第三数据索引服务器根据所述查询请求进行查找后获得。4.一种分布式海量数据处理方法，其特征在于，包括：元数据服务器接收客户端发送的索引请求；所述索引请求包括待索引的原始数据所包括的记录的数量、每条记录包括的列数及每列数据类型的大小；元数据服务器向客户端发送可用服务器列表，可用服务器列表包括一个或多个第一数据索引服务器标识，所述第一数据索引服务器标识与所述第一数据索引服务器一一对应；第二数据索引服务器接收客户端发送的分块数据；第二数据索引服务器为可用服务器列表中接收分块数据的第一数据索引服务器；当元数据服务器判断所述分块数据的数量等于实际数量时，元数据服务器向第二数据索引服务器发送存储指令，以使得所述第二数据索引服务器对接收到的所述分块数据进行存储，并向所述元数据服务器发送索引完成子信息，其中，实际数量根据所述索引请求和所述分块数据所包括的记录的数量计算获得；索引完成子信息包括索引存储目录；所述索引存储目录为所述第二数据索引服务器对所述分块数据进行存储后生成的用于查找所述分块数据的目录；所述元数据服务器根据接收到的索引完成子信息判断各分块数据是否存储完成，若是，元数据服务器向所述客户端发送索引完成信息，其中，所述索引完成信息包括所有索引完成子信息。5.根据权利要求4所述的方法，其特征在于，所述第二数据索引服务器对接收到的所述分块数据进行存储，并向所述元数据服务器发送索引完成子信息，具体包括：获取所述分块数据的列集合{Col1,Col2,Col3,...,Coln}，其中，Coli表示所述分块数据中存储的各条记录第i列的集合，i∈[1,n]；遍历每一列Coli以构建位图索引，构建位图索引具体包括：获取Coli包括的所有子数据Dataori；对子数据Dataori进行排序去重获得数据集Datanew；构建二维表T2d，二维表的宽度为数据集Datanew中元素的总数，高度为子数据Dataori中元素的总数；遍历T2d，判断T2d中的第u行和第v列的值是否相等，若相等，则把T2d中该位置赋值为1，否则赋值为0，以获得位图Tb；利用压缩字对齐位图算法对Tb中的每一列进行压缩编码后存储至第二数据索引服务器的本地目录下，并向所述元数据服务器发送索引完成子信息。6.根据权利要求4所述的方法，其特征在于，还包括：元数据服务器接收所述客户端的查询请求，并根据查询请求中的索引存储目录在配置表中进行查找，以获得与所述索引存储目录对应的第三数据索引服务器；所述查询请求包括查询语句和索引存储目录，所述配置表包...

【专利技术属性】
技术研发人员：王锋，刘应波，邓辉，
申请(专利权)人：广州大学，云南省科学技术情报研究院，
类型：发明
国别省市：广东,44