一种在分布式存储系统中统计数据的方法、装置及系统制造方法及图纸

本发明专利技术公开了一种在分布式存储系统中统计数据的方法、装置及系统，属于通信领域。所述方法包括：接收查询请求消息，所述查询请求消息携带数据条件；向分布式存储系统中的数据服务器发送所述查询请求消息，使所述数据服务器分别从自身存储的数据中找出满足所述数据条件的数据，统计所述找出的数据得到统计结果；接收所述分布式存储系统中的数据服务器返回的统计结果，对接收的统计结果进行汇总得到最终统计结果。所述装置包括：接收模块、发送模块和汇总模块。所述系统包括：交互服务器和数据服务器。本发明专利技术能够减少网络IO开销以及提高统计效率。

【技术实现步骤摘要】

本专利技术涉及通信领域，特别涉及一种在分布式存储系统中统计数据的方法、装置及系统。
技术介绍
HBase数据存储系统是一种分布式存储系统，具有高可靠性、高性能、面向列、可伸缩等特性，利用HBase数据存储系统可以在廉价的PC Server上搭建起大规模结构化存储集群。目前HBase数据存储系统常常用作网站的存储系统，用于存储网站与用户交互中产生的各类网络数据。网站的技术人员为了把握市场需求需要常常对网站中产生的各类网络数据进行统计，根据各类网络数据的统计结果分析市场需求。目前技术人员可以在自己的终端上向网站的HBase数据存储系统发送查询请求消息；HBaes数据存储系统中的各服务器将自身存储的网络数据发送给终端；然后终端接收每个服务器发送的网络数据，从接收的网络数据中找出所需要统计的数据，对找出的数据进行统计得到统计结果。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：目前HBase数据存储系统中的每服务器将自身存储的网络数据发送给终端，导致网络IO(Input Output，输入输出)开销大，另外，由终端对所有数据进行统计，统计效率低下。专利
技术实现思路
为了减少网络本文档来自技高网...

【技术保护点】
一种在分布式存储系统中统计数据的方法，其特征在于，所述方法包括：接收查询请求消息，所述查询请求消息携带数据条件；向分布式存储系统中的数据服务器发送所述查询请求消息，使所述数据服务器分别从自身存储的数据中找出满足所述数据条件的数据，统计所述找出的数据得到统计结果；接收所述分布式存储系统中的数据服务器返回的统计结果，对接收的统计结果进行汇总得到最终统计结果。

【技术特征摘要】
1.一种在分布式存储系统中统计数据的方法，其特征在于，所述方法包括：接收查询请求消息，所述查询请求消息携带数据条件；向分布式存储系统中的数据服务器发送所述查询请求消息，使所述数据服务器分别从自身存储的数据中找出满足所述数据条件的数据，统计所述找出的数据得到统计结果；接收所述分布式存储系统中的数据服务器返回的统计结果，对接收的统计结果进行汇总得到最终统计结果。2.如权利要求1所述的方法，其特征在于，所述向分布式存储系统中的各数据服务器发送所述查询请求消息之前，还包括：获取服务器列表，所述服务器列表中的数据服务器用于存储所述分布存储系统中的各数据文件且一个数据文件存储在一个数据服务器中；所述向分布式存储系统中的各数据服务器发送所述查询请求消息，包括：向所述服务器列表中的各数据服务器发送所述查询请求消息。3.如权利要求1所述的方法，其特征在于，所述获取服务器列表，包括：将所述分布式存储系统中属于同一分区的各数据文件合并为一个数据文件；配置一个服务器集合，所述服务器集合中包括所述分布式存储系统中的一个或多个数据服务器；将所述合并的数据文件分别存储在所述服务器集合中的各数据服务器中；从所述服务集合中选择一数据服务器，将所述选择的数据服务器的标识添加到服务器列表中。4.如权利要求1至3任一项权利要求所述的方法，其特征在于，所述分布式存储系统为Hbase分布式存储系统。5.一种在分布式存储系统中统计数据的装置，其特征在于，所述装置包括：接收模块，用于接收查询请求消息，所述查询请求消息携带数据条件；发送模块，用于向分布式存储系统中的数据服务器发送所述查询请求消息，使所述数据服务器分别从自身存储的数据中找出满足所述数据条件的数据，统计所述找出的数据得到统计结果；汇总模块，用于接收所述分布式存储系统中的数据服务器返回的统计结果，对接收的统计结果进行汇总得到最终统计结果。6.如权利要求6所述的装置，其特征在于，所述装置还包括：获取模块，用于获取服务器列表，所述服务器列表中的数据服务器用于存储所述分布存储系统中的各数据文件且一个数据文件存储在一个数据服务器中；所述发送模块，用于向所...

【专利技术属性】
技术研发人员：沈健，王周，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44