面向Storm连续范围查询全局负载均衡的分组方法及查询方法技术

本发明专利技术公开了一种面向Storm连续范围查询全局负载均衡的分组方法及查询方法，对网格索引下的连续范围查询，结合范围查询语义，利用Redis存储并负责更新网格内移动对象数量，将查询范围内的移动对象数量作为评估代价，按照查询代价将范围查询任务分到相应的组，同一个组内的范围查询任务轮询地分发到下游worker，轮询计数器由Redis维护，实现全局分组轮询的分组策略，能够根据分组策略有效地提高了系统负载均衡度，从而提高了系统的资源利用率。

Grouping method and query method for global load balancing in Storm continuous range query

The invention discloses a method for grouping query global load balancing for Storm continuous range query and query method of continuous range under the grid index, combined with the range query semantics, the use of Redis storage and update the grid moving object number, the number of queries of moving objects within the scope as the assessment of price, the query cost will range query the task assigned to the corresponding group in accordance with the scope of the same group within the polling query task distribution to the downstream worker, polling counter maintained by Redis, realize the grouping strategy for global packet polling, according to the grouping strategy can effectively improve the system load balancing, so as to improve the system resource utilization.

【技术实现步骤摘要】
面向Storm连续范围查询全局负载均衡的分组方法及查询方法
本专利技术涉及通信网络
，尤其涉及一种面向Storm连续范围查询全局负载均衡的分组方法及查询方法。
技术介绍
随着定位手段的多样化、移动终端的普及与通讯基础设施的完备，以基于位置服务(LocationBasedService，LBS)为代表的移动应用已经步入移动大数据时代。移动大数据环境下，数据规模更大、传播速度更快、多样性更加广泛，呈现出鲜明的流式特征，传统LBS技术面临多种新的挑战。基于位置服务的连续范围查询，具有高并发、低延迟特点，因此需要更高效的针对具有流式特征的移动大数据的处理能力。移动大数据时代的数据处理不仅需要存储与处理能力更强更灵活的计算平台，还需依托于计算平台的处理和优化技术。然而，在分布式系统中普遍存在着著名的“短板理论”，一个系统如果出现了负载不均衡问题，那么负载最大的节点往往将成为影响系统整体表现的瓶颈和短板。由于经济发展，地理位置等因素，人口密度在不同区域是不相同的，相应的，和LBS应用相对应的移动对象在地理分布上也是不均匀的。ApacheStorm本身作为一个分布式流处理系统，系统内部并没有本文档来自技高网...

【技术保护点】
一种面向Storm连续范围查询全局负载均衡的分组方法，其特征在于，包括：1)、获取范围查询信息，所述范围查询信息包括查询范围和网格重叠量；2)、根据查询范围和网格重叠量，将范围查询分为多个子查询，每个子查询的查询范围只和一个网格重叠；3)、读取Redis中存储的与子查询查询范围重叠网格中移动对象的密度，并根据子查询的查询范围以及网格中移动对象的密度，计算子查询的代价；4)、根据查询代价，将子查询映射到相应的组，然后从轮询计数器表中获取该组计数器的值；5)、根据计数器的值对下游worker的数量取模，得到目标worker id，并将目标worker id下发到下游。

【技术特征摘要】
1.一种面向Storm连续范围查询全局负载均衡的分组方法，其特征在于，包括：1)、获取范围查询信息，所述范围查询信息包括查询范围和网格重叠量；2)、根据查询范围和网格重叠量，将范围查询分为多个子查询，每个子查询的查询范围只和一个网格重叠；3)、读取Redis中存储的与子查询查询范围重叠网格中移动对象的密度，并根据子查询的查询范围以及网格中移动对象的密度，计算子查询的代价；4)、根据查询代价，将子查询映射到相应的组，然后从轮询计数器表中获取该组计数器的值；5)、根据计数器的值对下游worker的数量取模，得到目标workerid，并将目标workerid下发到下游。2.根据权利要求1所述的面向Storm连续范围按照全局分组轮询的分组策略查询全局负载均衡的分组方法，其特征在于，所述步骤2)中根据查询范围和网格重叠量，将范围查询分为多个子查询具体包括：2.1、设定分组数量，根据分组数量计算第一次分组粒度；2.2、设定二次分组数量，根据第一次分组粒度和二次分组数量计算二次分组的粒度，计算公式为：minGrain＝grain/minGroup其中，所述minGrain为二次分组粒度，grain为第一次分组粒度，minGroup为二次分组数量。3.根据权利要求1所述的面向Storm连续范围查询全局负载均衡的分组方法，其特征在于，所述子查询的代价公式为：C(q)＝r×d其中，所述r为子查询的查询范围大小，d为网格中移动对象的密度。4.根据权利要求1所述的面向Storm连续范围查询全局负载均衡的分组方法，其特征在于，所述根据查询代价，将子查询映射到相应的组的具体步骤为：4.1、设定查询代价阈值范围，判断查询代价与查询代价阈值范围的大小，若查询代价大于或小于查询代价阈值范围，则直接根据查询代价和第一次分组粒度计算所在组；4.2、对于其他的范...

【专利技术属性】
技术研发人员：王波涛，王国仁，周建鹏，张玉圻，王助，钟汉辉，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21