一种基于Spark的并行化遗传算法求解多终端协同接入网络方法技术

一种基于Spark的并行化遗传算法求解多终端协同接入网络方法，适用于通信终端集与大型服务器协同工作。步骤为：大型服务器确认接入通信终端的数量和网络终端参数；大型服务器将所有的网络终端参数信息存储于集群的HDFS目录中；以Spark集群的方式切分储存在HDFS目录中的网络终端参数信息；对切分后的信息进行基于Spark集群的并行化遗传算法，得到适合当前的多终端协同接入网络方案的最终代种群数据；对最终代种群数据寻优，从而得到最优网络方案；利用最优网络方案与多个通信终端进行并行化网络通信。其能够在Spark集群的多个节点上实现完全的并行化遗传算法优选终端集协同接入网络，降低了网络终端选择的复杂度和计算量，显著提高网络终端的选择质量和传输速率。

A parallel genetic algorithm based on Spark for multi terminal cooperative access network

A parallel genetic algorithm based on Spark is used to solve the multi terminal cooperative access network, which is suitable for the cooperation between the communication terminal set and the large server. The steps are: large-scale server access to a communication terminal to confirm the quantity and parameters of the network terminal; large server all the terminal parameters of network information stored in the HDFS directory of the cluster; Spark cluster segmentation method of network information storage terminal parameters in the HDFS directory of the Spark cluster; parallel genetic algorithm based on segmentation information finally, population data for the current collaborative multi terminal access network scheme; on the final population data optimization, in order to get the optimal network scheme; parallel network communication by using optimal network scheme with multiple communication terminal. It can realize parallel genetic algorithm optimized set of cooperative network access terminal completely in multi node Spark cluster, reduce the complexity of network terminal selection and calculation, significantly improve the selection quality and transmission rate of network terminal.

【技术实现步骤摘要】
一种基于Spark的并行化遗传算法求解多终端协同接入网络方法
本专利技术涉及一种多终端协同接入网络方法，尤其适用于一种基于Spark的并行化遗传算法求解多终端协同接入网络方法技术背景Spark是一个开源的分布式计算框架，它基于弹性分布式数据集(RDD)，RDD采用先进的有向无环图机制支持循环数据流操作，通过一次迭代导入内存就可以完成多次迭代，类似于GeneticAlgorithm这样需要大量迭代的算法非常适合在Spark平台上运算。遗传算法(GeneticAlgorithm)是模拟达尔文生物进化论的自然选择和遗传学机理的生物进化过程的计算模型，是一种通过模拟自然进化过程搜索最优解的方法。传统的遗传算法所进行的交叉、变异、选择等操作都是以个体的集合即种群为单位进行的，对于每个个体都具有一定的并行性，所以遗传算法具有天然的并行性，尤其当处理大规模数据集时，各个子种群间可实现完全的并行化处理。多终端协同网络是指多个终端之间以协同的方式共享广域网通信能力，共同为用户提供业务，从而摆脱单个终端在性能、处理能力等方面的局限性，实现终端和网络资源的高效利用。随着通信网络技术和终端设备的不断发展，用户业务可选择的终端和接入方式逐渐多样化。为了克服单一无线接入技术的性能瓶颈，充分利用用户周围的终端和网络资源，多终端协同通信模式应运而生。在多终端多网络环境下，如何选择合适的终端为用户服务是一个难题，而基于Spark的遗传算法并行化多终端网络选择可以有效改善。
技术实现思路
针对上述技术问题，提供一种方法简单，执行效率高，有效降低了网络终端优选的计算量和复杂度，在多个节点上实现并行化遗传算法的基于Spark的并行化遗传算法求解多终端协同接入网络方法。为实现上述技术目的，本专利技术的基于Spark的并行化遗传算法求解多终端协同接入网络方法，选择适合的多个通信终端集与大型服务器协同工作执行数据业务，步骤如下：大型服务器确认接入各个通信终端的数量和每个通信终端的网络终端参数；大型服务器将所有的网络终端参数信息存储于集群的HDFS目录中；大型服务器以Spark集群的方式切分储存在HDFS目录中的网络终端参数信息；对切分后的网络终端参数信息进行基于Spark的并行化遗传算法，从而得到适合当前的多终端协同接入网络方案的最终代种群数据；对最终代种群数据寻优，从而得到最适合当前的多终端协同接入网络方案；大型服务器利用最适合当前的多终端协同接入网络方案与方案中的多个通信终端进行并行化网络通信。进一步的选择步骤如下：步骤1.根据需求将大型服务器的所有网络终端参数进行遗传算法初始化，将初始化后的变量参数转换为二进制，将每个二进制化后的参数变量作为个体样本逐行存储于大型服务器集群的HDFS中形成所有通信终端的初始种群样本数据；步骤2.根据需要寻求终端的数量设定Spark集群节点数量，将初始种群样本数据按种群样本数据个体总数/Spark集群节点数的方式平均切分成多个基于Spark集群的子种群；步骤3.利用遗传算法对多个基于Spark集群的子种群中的各个终端参数变量进行全局进化寻优，以重排序的方法在进化阶段打乱子代各自子种群个体分布，合并所有子种群个体后进行自然选择，得到最终代种群个体；步骤4.利用Spark的APIs函数reduceByKey对所有最终代种群个体的适应度进行排序，得到全局适应度符合所需终端要求的多个最优个体，再对多个最优个体解码得到终端权值参数，根据最优终端权值参数值从候选终端中选择最优参数集，比较当前终端集所能提供的数据速率Rc是否满足用户需求数据速率Rt，若满足则结束选择，否则返回步骤1继续选取，直到选取最优的终端集作为最优多终端协同接入网络方案；步骤5.大型服务器利用最优多终端协同接入网络方案与相应的通信终端进行并行化网络通信。步骤3所述重排序的方法在进化阶段打乱子代各自子种群个体分布后合并所有子种群进行自然选择的步骤根据需要可进行多次迭代循环操作，该步骤使个体在进化空间内尽可能分散，保持种群参数个体的独立性，避免种群中大量个体都指向同一终端参数，从而有效提高最终代个体种群选取终端参数的准确率，当满足预设的迭代次数后输出最终代个体种群进行后续操作。进行全局进化寻优得到最终代种群个体的具体步骤为:步骤3.1：在基于Spark集群的子种群中启动APIs函数map生成进化过程，每个集群节点分别对切分后的子种群创建种群RDD；步骤3.2：利用函数map对种群RDD执行交叉操作，生成新的种群RDD’；步骤3.3：对生成新的种群RDD’执行变异操作得到种群RDD”；步骤3.4：根据适应度函数分别计算新生成的种群RDD”每个个体的相对适应度值，将个体的适应度与参数变量以键值对<适应度,参数>的形式进行储存；步骤3.5：合并所有的子种群，根据个体的相对适应度值，执行轮盘赌算法操作，选出进入下一代的最优个体；步骤3.6：若满足预设迭代次数条件，输出最终代的种群，结束；若不满足迭代次数条件，执行步骤3.2进行下一轮迭代。所述步骤3.2进一步为：通过定义种群RDD全局列表，在每个Spark集群节点上对全局样本进行交叉操作，利用函数take对各个Spark集群节点上创建的全部种群RDD采样，利用函数parallelize平均存储到两个种群RDD中，通过组成键值对的形式将两个种群RDD分别作为随机配对交叉的两个父代；通过产生随机数的方式来判断染色体对是否进行交叉，判断结果与预定的交叉概率PC进行比较选出种群中需要进行交叉操作的染色体对，然后随机确定染色体对某一基因座后的位置为交叉点，在该点相互交换两个配对个体的部分染色体，最终输出这两个新染色体，将新染色体替换旧染色体生成新的种群RDD’。所述步骤3.3进一步为：对完成交叉操作后的种群RDD’进行变异操作：使用函数map逐条读取交叉产生的染色体编码，遍历每个染色体的每一位基因座并产生随机数，将其与预定的变异概率PM进行比较选出染色体中需要进行变异操作的基因座进行判断，对满足变异条件的基因座进行取反操作，从而产出一个新的染色体对象；否则直接输出该染色体对象，最后生成变异后的种群RDD”。有益效果：本申请利用Spark集群基于内存分布式运算的特性，把初始化后的网络终端参数群按(种群个体总数/Spark集群节点数)平均切分成多个子种群分布在集群各个节点中实现并行化运算，重排序打乱进化阶段子代各自子种群个体，使其在进化空间中尽可能分散，保持种群参数个体的独立性，避免了种群中大量个体都指向同一终端参数，出现终端参数重复的问题，并通过充分发挥了遗传算法的潜能，分析适合当前接入网络的终端信息参数，从中快速选取符合需求的最优终端集，完成终端选择。该方法执行效率高，有效降低了网络终端优选的计算量和复杂度，提高选择多终端协同接入网络时业务的服务质量和传输的高效性。附图说明图1是本专利技术的整体流程图；图2是本专利技术的交叉过程示意图；图3是本专利技术的变异过程示意图；图4是本专利技术的选择多终端协同接入网络过程示意图；具体实施方式下面结合附图对本申请的一个实施例做进一步说明：如图1所示，本专利技术的基于Spark的并行化遗传算法求解多终端协同接入网络方法，选择适合的多个通信终端集与大型服务器协同工作执行数据业务，步骤如下：大本文档来自技高网...

【技术保护点】
一种基于Spark的并行化遗传算法求解多终端协同接入网络方法，选择适合的多个通信终端集与大型服务器协同工作执行数据业务，其特征在于步骤如下：大型服务器确认接入各个通信终端的数量和每个通信终端的网络终端参数；大型服务器将所有的网络终端参数信息存储于Spark集群的HDFS目录中；大型服务器以Spark集群的方式切分储存在HDFS目录中的网络终端参数信息；对切分后的网络终端参数信息进行基于Spark集群的并行化遗传算法，从而得到适合当前的多终端协同接入网络方案的最终代种群数据；对最终代种群数据寻优，从而得到最适合当前的多终端协同接入网络方案；大型服务器利用最适合当前的多终端协同接入网络方案与方案中的多个通信终端进行并行化网络通信。

【技术特征摘要】
1.一种基于Spark的并行化遗传算法求解多终端协同接入网络方法，选择适合的多个通信终端集与大型服务器协同工作执行数据业务，其特征在于步骤如下：大型服务器确认接入各个通信终端的数量和每个通信终端的网络终端参数；大型服务器将所有的网络终端参数信息存储于Spark集群的HDFS目录中；大型服务器以Spark集群的方式切分储存在HDFS目录中的网络终端参数信息；对切分后的网络终端参数信息进行基于Spark集群的并行化遗传算法，从而得到适合当前的多终端协同接入网络方案的最终代种群数据；对最终代种群数据寻优，从而得到最适合当前的多终端协同接入网络方案；大型服务器利用最适合当前的多终端协同接入网络方案与方案中的多个通信终端进行并行化网络通信。2.根据权利要求1所述的基于Spark的并行化遗传算法求解多终端协同接入网络方法，其特征在于进一步的选择步骤如下：步骤1.根据需求将大型服务器的所有网络终端参数进行遗传算法初始化，将初始化后的变量参数转换为二进制，将每个二进制化后的参数变量作为个体样本逐行存储于大型服务器集群的HDFS中形成所有通信终端的初始种群样本数据；步骤2.根据需要寻求终端的数量设定Spark集群节点数量，将初始种群样本数据按种群样本数据个体总数/Spark集群节点数的方式平均切分成多个基于Spark集群的子种群；步骤3.利用遗传算法对多个基于Spark集群的子种群中的各个终端参数变量进行全局进化寻优，以重排序的方法在进化阶段打乱子代各自子种群个体分布，合并所有子种群个体后进行自然选择，得到最终代种群个体；步骤4.利用Spark的APIs函数reduceByKey对所有最终代种群个体的适应度进行排序，得到全局适应度符合所需终端要求的多个最优个体，再对多个最优个体解码得到终端权值参数，根据最优终端权值参数值从候选终端中选择最优参数集，比较当前终端集所能提供的数据速率Rc是否满足用户需求数据速率Rt，若满足则结束选择，否则返回步骤1继续选取，直到选取最优的终端集作为最优多终端协同接入网络方案；步骤5.大型服务器利用最优多终端协同接入网络方案与相应的通信终端进行并行化网络通信。3.根据权利要求2所述的基于Spark的并行化遗传算法求解多终端协同接入网络方法，其特征在于：重排序的方法在进化阶段打乱子代各自子种群个体分布后合并所有子种群进行自然选择的步骤根据需要可进行多次迭代循环操作，该...

【专利技术属性】
技术研发人员：刘鹏，叶帅，王学奎，赵慧含，尹良飞，仰彦妍，孟磊，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：江苏,32