基于负载均衡技术的多维地理空间实体分布方法及系统技术方案

本发明专利技术公开了一种基于负载均衡技术的多维地理空间实体分布方法及系统，该方法包括：响应于接收到任务请求命令以根据所述任务请求命令得到该任务所需资源数据，其中资源数据包括任务标识、任务平均占用资源、任务峰值占用资源以及峰值时间占比；当判断当前节点第一空闲资源大于任务峰值占用资源时，当前节点接收并处理该任务；当判断当前节点第一空闲资源大于任务峰值占用资源与峰值时间占比之积且小于任务平均占用资源时，进行数据迁移；或者当判断当前节点第一空闲资源小于任务峰值占用资源与峰值时间占比之积时，则切换节点。本发明专利技术通过获取资源数据，并根据不同条件选择不同的任务处理方式，从而实现资源的合理分配，提高了资源利用率。提高了资源利用率。提高了资源利用率。

【技术实现步骤摘要】
基于负载均衡技术的多维地理空间实体分布方法及系统


[0001]本专利技术属于地理信息领域，具体涉及一种基于负载均衡技术的多维地理空间实体分布方法及系统。

技术介绍

[0002]身处在数字时代的我们，早已不满足于将真实的世界仅仅记录在二维的数字影像上，我们更希望在眼前看到更真实、更立体的场景。随着各地城市化进程的高速发展，城市模型作为城市空间数据框架的重要内容，传统的测绘技术已经不能满足当前发展的需要。实景三维技术作为全新的应用技术，凭借其直观、信息量大、数据结构通用、自动化程度高的优势慢慢成为实景模型建设的首选。但实体数据体量巨大，给数据的存储和管理都带来了巨大挑战，严重制约数据处理和分析效率。
[0003]国内外开展了负载均衡算法研究，研究热点主要集中在预先优化资源配置，即新增数据的均匀加载和负载倾斜情况下的资源调度，其中具有代表性的研究包括：yahoo提出的 Capacity Scheduler作业调度算法和华南理工 计科学院团队提出的基于动态带宽分配的Hadoop负载均衡方法，然而现有技术虽在一定程度上提高了数据处理能力，但在使用过程中，往往存在负载不均衡现象，制约了系统整体性能的提升。

技术实现思路

[0004]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于负载均衡技术的多维地理空间实体分布方法及系统。本专利技术要解决的技术问题通过以下技术方案实现：一种基于负载均衡技术的多维地理空间实体分布方法，包括：响应于接收到任务请求命令以根据所述任务请求命令得到该任务所需资源数据，其中所述资源数据包括任务标识、任务平均占用资源、任务峰值占用资源以及峰值时间占比；当判断当前节点第一空闲资源大于所述任务峰值占用资源时，当前节点接收并处理该任务；当判断所述当前节点第一空闲资源大于所述任务峰值占用资源与峰值时间占比之积且小于任务平均占用资源时，进行数据迁移；或者当判断所述当前节点第一空闲资源小于所述任务峰值占用资源与峰值时间占比之积时，则切换节点；其中，所述当前节点第一空闲资源等于当前节点总资源与当前节点任务峰值占用资源之差。
[0005]在一个具体实施方式中，进行数据迁移的步骤包括：选择待迁移节点；根据任务请求命令生成迁移状态请求帧，以获取所述待迁移节点的负载标识和第二空闲资源；当判断所述待迁移节点的负载标识与所述当前节点的负载标识不同且第二空闲资源大于所述任务峰值占用资源时，将所述任务划分为地理数据处理任务和非格式数据处理任务，并根据负载标识将地理数据处理任务或非格式数据处理任务分配至对应的节点进
行处理，其中所述负载标识包括地理数据标识和非格式数据标识。
[0006]在一个具体实施方式中，选择待迁移节点包括：建立任务队列集合和节点负载集合；依次获取任务队列数最小的节点和负载值最小的节点并加入对应的所述任务队列集合或所述节点负载集合中，并且在每次新加元素之后，获取所述任务队列集合和节点负载集合的交集，若交集为空集，则继续将未加入集合中任务队列数最小的节点和负载值最小的节点加入对应的所述任务队列集合或所述节点负载集合中；若交集非空且唯一，则输出该交集对应的节点；若交集非空且不唯一，则根据预设算法选择最优的一个节点进行输出。
[0007]在一个具体实施方式中，所述根据预设算法选择最优的一个节点进行输出，包括：获取所述交集对应的节点的任务队列数集和负载值集；分别对每个任务队列数和负载值进行归一化处理，对归一化处理后的数据分别赋予对应的权重因子后计算得到节点饱和度指标，选择所节点饱和度指标最小的节点作为最优的一个节点进行输出。
[0008]在一个具体实施方式中，所述节点饱和度指标计算公式为：k=α
×
(M
‑
μ1)/ σ1+(1
‑
α)
×
(N
‑
μ2)/ σ2，其中，M为节点的任务队列数，N为节点的负载值，μ1为任务队列数集均值，σ1为任务队列数集标准差，μ2为负载值集均值，σ2为负载值集标准差，α为权重因子。
[0009]本专利技术同时公开了一种基于负载均衡技术的多维地理空间实体分布系统，包括：资源数据获取模块，用于响应于接收到任务请求命令以根据所述任务请求命令得到该任务所需资源数据，其中所述资源数据包括任务标识、任务平均占用资源、任务峰值占用资源以及峰值时间占比；数据处理模块，用于当判断当前节点第一空闲资源大于所述任务峰值占用资源时，使当前节点接收并处理该任务；以及用于当判断所述当前节点第一空闲资源大于所述任务峰值占用资源与峰值时间占比之积且小于任务平均占用资源时，进行数据迁移；或者用于当判断所述当前节点第一空闲资源小于所述任务峰值占用资源与峰值时间占比之积时，则切换节点；其中，所述当前节点第一空闲资源等于当前节点总资源与当前节点任务峰值占用资源之差。
[0010]在一个具体实施方式中，所述数据处理模块具体包括：迁移节点选择单元，用于选择待迁移节点；迁移状态获取单元，用于根据任务请求命令生成迁移状态请求帧，以获取所述待迁移节点的负载标识和第二空闲资源；负载迁移单元，用于当判断所述待迁移节点的负载标识与所述当前节点的负载标识不同且第二空闲资源大于所述任务峰值占用资源时，将所述任务划分为地理数据处理任务和非格式数据处理任务，并根据负载标识将地理数据处理任务或非格式数据处理任务分配至对应的节点进行处理，其中所述负载标识包括地理数据标识和非格式数据标识。
[0011]在一个具体实施方式中，所述迁移节点选择单元具体包括：集合生成子单元，用于建立任务队列集合和节点负载集合；节点选择子单元，用于依次获取任务队列数最小的节点和负载值最小的节点并加
入对应的所述任务队列集合或所述节点负载集合中，并且在每次新加元素之后，获取所述任务队列集合和节点负载集合的交集，若交集为空集，则继续将未加入集合中任务队列数最小的节点和负载值最小的节点加入对应的所述任务队列集合或所述节点负载集合中；若交集非空且唯一，则输出该交集对应的节点；若交集非空且不唯一，则根据预设算法选择最优的一个节点进行输出。
[0012]在一个具体实施方式中，所述节点选择子单元具体用于获取所述交集对应的节点的任务队列数集和负载值集；分别对每个任务队列数和负载值进行归一化处理，对归一化处理后的数据分别赋予对应的权重因子后计算得到节点饱和度指标，选择所节点饱和度指标最小的节点作为最优的一个节点进行输出。
[0013]本专利技术同时公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现本专利技术上述方法的步骤。
[0014]本专利技术的有益效果：1、本专利技术的基于负载均衡技术的多维地理空间实体分布方法通过获取资源数据，并根据不同条件选择不同的任务处理方式，从而实现资源的合理分配，提高了资源利用率；2、本专利技术的基于负载均衡技术的多维地理空间实体分布方法在进行数据迁移时将任务划分为地理数据处理任务或非格式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于负载均衡技术的多维地理空间实体分布方法，其特征在于，包括：响应于接收到任务请求命令以根据所述任务请求命令得到该任务所需资源数据，其中所述资源数据包括任务标识、任务平均占用资源、任务峰值占用资源以及峰值时间占比；当判断当前节点第一空闲资源大于所述任务峰值占用资源时，当前节点接收并处理该任务；当判断所述当前节点第一空闲资源大于所述任务峰值占用资源与峰值时间占比之积且小于任务平均占用资源时，进行数据迁移；或者当判断所述当前节点第一空闲资源小于所述任务峰值占用资源与峰值时间占比之积时，则切换节点；其中，所述当前节点第一空闲资源等于当前节点总资源与当前节点任务峰值占用资源之差。2.根据权利要求1所述的基于负载均衡技术的多维地理空间实体分布方法，其特征在于，进行数据迁移的步骤包括：选择待迁移节点；根据任务请求命令生成迁移状态请求帧，以获取所述待迁移节点的负载标识和第二空闲资源；当判断所述待迁移节点的负载标识与所述当前节点的负载标识不同且第二空闲资源大于所述任务峰值占用资源时，将所述任务划分为地理数据处理任务和非格式数据处理任务，并根据负载标识将地理数据处理任务或非格式数据处理任务分配至对应的节点进行处理，其中所述负载标识包括地理数据标识和非格式数据标识。3.根据权利要求2所述的基于负载均衡技术的多维地理空间实体分布方法，其特征在于，选择待迁移节点包括：建立任务队列集合和节点负载集合；依次获取任务队列数最小的节点和负载值最小的节点并加入对应的所述任务队列集合或所述节点负载集合中，并且在每次新加元素之后，获取所述任务队列集合和节点负载集合的交集，若交集为空集，则继续将未加入集合中任务队列数最小的节点和负载值最小的节点加入对应的所述任务队列集合或所述节点负载集合中；若交集非空且唯一，则输出该交集对应的节点；若交集非空且不唯一，则根据预设算法选择最优的一个节点进行输出。4.根据权利要求3所述的基于负载均衡技术的多维地理空间实体分布方法，其特征在于，所述根据预设算法选择最优的一个节点进行输出，包括：获取所述交集对应的节点的任务队列数集和负载值集；分别对每个任务队列数和负载值进行归一化处理，对归一化处理后的数据分别赋予对应的权重因子后计算得到节点饱和度指标，选择所节点饱和度指标最小的节点作为最优的一个节点进行输出。5.根据权利要求4所述的基于负载均衡技术的多维地理空间实体分布方法，其特征在于，所述节点饱和度指标计算公式为：k=α
×
(M
‑
μ1)/ σ1+(1
‑
α)
×
(N
‑
μ2)/ σ2，其中，M为节点的任务队列数，N为节点的负载值，μ1为任务队列数集均值，σ1为任务队列数集标准差，μ2为负载值集均值，σ2为负载值集标准差，...

【专利技术属性】
技术研发人员：邓凌云，李彦波，汤开文，江迎，李军，胡志超，向红梅，
申请(专利权)人：长沙市规划勘测设计研究院，
类型：发明
国别省市：