点云平台大数据分布式管理方法、装置及系统制造方法及图纸

本发明专利技术涉及点云平台大数据技术领域，解决了水处理后台控制系统容易出现相应延迟以及算力不足的技术问题，尤其涉及一种点云平台大数据分布式管理方法，包括以下过程：S1、根据若干个水处理站的分布信息构建点云平台；S2、获取点云平台中若干水处理站运行状态的数据处理任务；S3、对数据处理任务进行分割为若干个子任务；S4、采用遗传算法为若干个子任务分别找寻最优的边缘处理中心。本发明专利技术以最小化总执行数据处理任务代价，可以优化物联网的响应延迟，同时有效降低边缘处理中心的能耗，从而提高了对于数据处理任务的处理效率，缩短所需计算时长，增强对于多个水处理站的管理。增强对于多个水处理站的管理。增强对于多个水处理站的管理。

【技术实现步骤摘要】
点云平台大数据分布式管理方法、装置及系统


[0001]本专利技术涉及点云平台大数据
，尤其涉及一种点云平台大数据分布式管理方法、装置及其系统。

技术介绍

[0002]在水处理后台控制系统中，点云平台能够反映整个系统中各个水处理站中设备的各项数据，能够快速的查看并监控各地分布水处理设备的各项运行状态，特别在水处理领域中，各地所包含的水处理站分布较广、数量多，而对于如此多数量的水处理站而言，需要通过点云平台进行集中管理控制，从而能够更加直观的随时获取各地区单独水处理站的运行状态，并对各项运行数据进行实时监控。
[0003]然而每个水处理站的运行都包含大量的数据，在本地的运行数据需要进行计算相应的数值并上传至点云平台中，而一个水处理站中所包含的各个设备的运行数据是巨量的，仅仅依靠服务器的计算容易导致算力不足，同时，受计算资源、存储容量和电池电量的影响，在本地服务器进行数据处理可能会耗费过长时间，造成服务器与各水处理站之间的网络出现延迟，不仅提高了能耗，而且还会加大算力代价。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种点云平台大数据分布式管理方法、装置及其系统，解决了水处理后台控制系统容易出现相应延迟以及算力不足的技术问题，本专利技术以最小化总执行数据处理任务代价，可以优化物联网的响应延迟，同时有效降低边缘处理中心的能耗，从而提高了对于数据处理任务的处理效率，缩短所需计算时长，增强对于多个水处理站的管理。
[0005]为解决上述技术问题，本专利技术提供了如下技术方案：一种点云平台大数据分布式管理方法，包括以下过程：
[0006]S1、根据若干个水处理站的分布信息构建点云平台；
[0007]S2、获取点云平台中若干水处理站运行状态的数据处理任务；
[0008]S3、对数据处理任务进行分割为若干个子任务；
[0009]S4、采用遗传算法为若干个子任务分别找寻最优的边缘处理中心；
[0010]S5、将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；
[0011]S6、获取边缘处理中心所处理的数据处理任务的最终计算结果；
[0012]S7、将最终计算结果发送至点云平台。
[0013]进一步地，在步骤S1中，根据若干个水处理站的分布信息构建点云平台包括以下步骤：
[0014]S11、获取若干个水处理站的位置信息；
[0015]S12、根据所获取的若干个位置信息构成点云图；
[0016]S13、选取点云图中的起点A和终点B；
[0017]S14、构建起点A至终点B之间所形成的主线路；
[0018]S15、获取涵盖在主线路上所有剩余的水处理站定义为节点集T；
[0019]S16、采用最优路径算法构建主线路上的多个旁支线路；
[0020]S17、将多个旁支线路与主线路连接构成可视化的点云平台。
[0021]进一步地，在步骤S16中，采用最优路径算法构建主线路上的多个旁支线路包括以下步骤：
[0022]S161、采用最优路径算法计算节点集T中各节点至主线路的最短距离；
[0023]S162、将各节点至主线路的最短距离由大至小依次排序；
[0024]S163、提取数值最大的节点作为单个旁支线路上的起始点；
[0025]S164、提取数值最小的节点作为上述旁支线路上的终止点；
[0026]S165、将起始点与终止点之间所涵盖的其余节点连接构成旁支线路。
[0027]进一步地，在步骤S4中，采用遗传算法为若干个子任务分别找寻最优的边缘处理中心包括以下步骤：
[0028]S41、获取接入服务器中的若干个边缘处理中心并设为集合T；
[0029]S42、初始化集合T，定义集合T的大小为M；
[0030]S43、计算集合T中每个分配方案的适应度函数值；
[0031]S44、选取适应度函数值高的前M/2个分配方案；
[0032]S45、对M/2个分配方案依次进行交叉、变异处理；
[0033]S46、随机构造M/2个分配方案与当前精英方案组成最优分配方案。
[0034]进一步地，在步骤S7之后还包括步骤S8，将最终计算结果发送至云端系统进行存储备份。
[0035]本专利技术还提供了一种用于实现上述大数据分布式管理方法的装置，包括：
[0036]点云平台构建模块，所述点云平台构建模块用于根据若干个水处理站的分布信息构建点云平台；
[0037]数据处理任务获取模块，所述数据处理任务获取模块用于获取点云平台中若干水处理站运行状态的数据处理任务；
[0038]任务分割模块，所述任务分割模块用于对数据处理任务进行分割为若干个子任务；
[0039]边缘处理中心找寻模块，所述边缘处理中心找寻模块用于采用遗传算法为若干个子任务分别找寻最优的边缘处理中心；
[0040]子任务发送模块，所述子任务发送模块用于将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；
[0041]最终计算结果获取模块，所述最终计算结果获取模块用于获取边缘处理中心所处理的数据处理任务的最终计算结果；
[0042]最终计算结果发送模块，所述最终计算结果发送模块用于将最终计算结果发送至点云平台。
[0043]进一步地，该装置还包括存储模块，
[0044]所述存储模块用于将最终计算结果发送至云端系统进行存储备份。
[0045]进一步地，所述存储模块包括Hadoop型云框架系统、大数据调度系统和信息互感系统；
[0046]所述Hadoop型云框架系统用于作为点云平台大数据分布式存储结构的基础；
[0047]所述大数据调度系统用于作为Hadoop型云框架系统的下级附属模块；
[0048]所述信息互感系统与大数据调度系统建立数据传输连接，用于接收来自Hadoop型云框架系统的网格数据参量，并执行由混合数据库定义的应用调度指令。
[0049]进一步地，所述Hadoop型云框架系统包括储存中心模块、上层信息网格模块、中间信息网格模块和下层信息网格模块；
[0050]所述储存中心模块用于直接提取服务器数据库中的待处理数据参量，再借助信息互感匹配通路，将所有大数据传输至下级应用平台中；
[0051]所述上层信息网格模块、中间信息网格模块和下层信息网格模块按照从上至下的顺序排列，用于将待存储的大数据由分布式到网格化结构体的转化。
[0052]进一步地，所述大数据调度系统包括服务层、交换处理层和客户端；
[0053]所述服务层包括大数据服务器和云存储服务器，所述大数据服务器用于感知混合型大数据的随机变化，再将符合需求的大数据传输至顶层存储主机中；
[0054]所述云存储服务器用于接收来自大数据网格的所有应用信息，并将其转化为镜像式信息结构体。
[0055]进一步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云平台大数据分布式管理方法，其特征在于，包括以下过程：S1、根据若干个水处理站的分布信息构建点云平台；S2、获取点云平台中若干水处理站运行状态的数据处理任务；S3、对数据处理任务进行分割为若干个子任务；S4、采用遗传算法为若干个子任务分别找寻最优的边缘处理中心；S5、将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；S6、获取边缘处理中心所处理的数据处理任务的最终计算结果；S7、将最终计算结果发送至点云平台。2.根据权利要求1所述的大数据分布式管理方法，其特征在于：在步骤S1中，根据若干个水处理站的分布信息构建点云平台包括以下步骤：S11、获取若干个水处理站的位置信息；S12、根据所获取的若干个位置信息构成点云图；S13、选取点云图中的起点A和终点B；S14、构建起点A至终点B之间所形成的主线路；S15、获取涵盖在主线路上所有剩余的水处理站定义为节点集T；S16、采用最优路径算法构建主线路上的多个旁支线路；S17、将多个旁支线路与主线路连接构成可视化的点云平台。3.根据权利要求2所述的大数据分布式管理方法，其特征在于：在步骤S16中，采用最优路径算法构建主线路上的多个旁支线路包括以下步骤：S161、采用最优路径算法计算节点集T中各节点至主线路的最短距离；S162、将各节点至主线路的最短距离由大至小依次排序；S163、提取数值最大的节点作为单个旁支线路上的起始点；S164、提取数值最小的节点作为上述旁支线路上的终止点；S165、将起始点与终止点之间所涵盖的其余节点连接构成旁支线路。4.根据权利要求1所述的大数据分布式管理方法，其特征在于：在步骤S4中，采用遗传算法为若干个子任务分别找寻最优的边缘处理中心包括以下步骤：S41、获取接入服务器中的若干个边缘处理中心并设为集合T；S42、初始化集合T，定义集合T的大小为M；S43、计算集合T中每个分配方案的适应度函数值；S44、选取适应度函数值高的前M/2个分配方案；S45、对M/2个分配方案依次进行交叉、变异处理；S46、随机构造M/2个分配方案与当前精英方案组成最优分配方案。5.根据权利要求1所述的大数据分布式管理方法，其特征在于：在步骤S7之后还包括步骤S8，将最终计算结果发送至云端系统进行存储备份。6.一种用于实现上述权利要求1
‑
5所述的大数据分布式管理方法的装置，其特征在于，包括：点云平台构建模块(100)，所述点云平台构建模块(100)用于根据若干个水处理站的分布信息构建点云平台；
数据处理任务获取模块(200)，所述数据处理任务获取模块(200)用于获取点云平台中若干水处理站运行状态的数据处理任务；任务分割模块(300)，所述任务分割模块(300)用于对数据处理任务进行分割为若干个子任务；边缘处理中心找寻模块(400)，所述边缘处理中心找寻模块(400)用于采用遗传算法为若干个子任务分别找寻最优的边缘处理中心；子任务发送模块(500)，所述子任务发送模块(500)用于将由数据处理任务分割后的若干个子任务分别发送至一个或多个最优的边缘处理中心完成计算；最终计算结果获取模块(600)，所述最终计算结果获取模块(600)用于获取边缘处理中心所处理的数据处理任务的最终计算结果；最终计算结果发送模块(700)，所述最终计算结果发送模块(700)用于将最终计算结果发送至点云...

【专利技术属性】
技术研发人员：黄恒巨，黄梓钧，
申请(专利权)人：福州黄金网络科技有限公司，
类型：发明
国别省市：