一种基于云计算平台的数据处理方法技术

本发明专利技术涉及云计算技术领域，特别是一种基于云计算平台的数据处理方法，包括步骤：步骤S10初始化，步骤S20数据预处理，步骤S30数据MAP操作，步骤S40种群迭代判断，步骤S50输出结果。采用上述方法后，本发明专利技术能够显著提高数据运行效率，缩短运行时间；显著提高数据处理运行速度，对处理高维数、大数据量级以及高复杂度等问题上有良好的速度提升效果，具有很好的加速比。

【技术实现步骤摘要】

本专利技术涉及云计算
，特别是。
技术介绍
云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息 可以动态可伸缩地根据用户的需求进行调整和分配。云计算是继大型计算机到客户端-服 务器的大转变之后又一大巨变，是分布式计算、并行计算、网络存储、虚拟化以及负载均衡 等传统计算机和网络技术发展融合的产物，其特点如下：1、超大规模；2、虚拟化；3、高可靠 性；4、通用性；5、高可扩展性；6、按需服务。 差分进化算法（DE)(差异进化算法，微分进化算法）是一种用于优化问题的启发 式算法。本质上说，它是一种基于实数编码的具有保优思想的贪婪遗传算法。同遗传算法 一样，差分进化算法包含变异和交叉操作，但同时相较于遗传算法的选择操作，差分进化算 法采用一对一的淘汰机制来更新种群。由于差分进化算法在连续域优化问题的优势已获得 广泛应用，并引发进化算法研究领域的热潮。差分进化算法由Storn以及Price提出，算法 的原理采用对个体进行方向扰动，以达到对个体的函数值进行下降的目的，同其他进化算 法一样，差分进化算法不利用函数的梯度信息，因此对函数的可导性甚至连续性没有要求， 适用性很强。同时，算法与粒子群优化有相通之处，但因为差分进化算法在一定程度上考虑 了多变量间的相关性，因此相较于粒子群优化在变量耦合问题上有很大的优势。 虽然DE在处理许多问题上有着较高的效率和较好的性能，但由于算法提出当时 硬件条件与环境的限制，依旧是使用了传统的串行思想进行设计，在处理高维问题、大数量 级问题以及目标函数复杂度高等类型的问题上有着明显的劣势和短板，故其在运行速度上 仍有较大的提升空间。
技术实现思路
本专利技术需要解决的技术问题是提供一种基于云计算平台的处理高维数、大数据的 数据处理方法。 为解决上述的技术问题，本专利技术的包括以下 步骤： 步骤SlO初始化：将数据处理对应的解构成种群中的个体，随机产生N个个体构成 初始种群； 步骤S20数据预处理：初始种群通过随机操作，将每个个体编号随机打乱，逐个进 行随机替换，依次循环直至全部打乱，将打乱生产的随机种群与原种群拼接成新矩阵； 步骤S30数据MP操作：自动分割，打包分发到各个任务节点上进行操作得到最新 种群个体和对原种群进行评价得到的评价集合，分别传递给Key及Value组成键值发送过 Reducer 端； 步骤S40种群迭代判断：Reducer端依据键值对将其整合为新种群，并根据value 判别是否为最优解；如果新种群为到达边界阈值，则退出迭代，进入步骤S50 ;若未达到要 求或迭代次数限制，则生成下一次迭代的数据源文件，返回步骤S20 ; 步骤S50输出结果。 进一步的，所述步骤S30数据MP操作中，将数据打包分发到各个任务节点上后包 括以下步骤： 步骤S301变异操作：选择变异机制，根据进化代数，将当前种群的每一个个体生 成目标个体； 步骤S302交叉操作：将原种群个体的部分变量用目标个体的对应变量替换，从而 生成测试个体； 步骤S303选择操作：对比测试个体和原种群个体；择优选取进行下一次迭代； 步骤S304发送操作：将Key及Value组成键值发送过Reducer端。 更进一步的，所述步骤S302中交叉操作的策略包括二项交叉和指数交叉。 更进一步的，所述步骤S20数据预处理中，产生随机种群的数量根据步骤S301中 变异机制中采用的差分项决定。 采用上述方法后，本专利技术能够显著提高数据运行效率，缩短运行时间；显著提高数 据处理运行速度，对处理高维数、大数据量级以及高复杂度等问题上有良好的速度提升效 果，具有很好的加速比。 【附图说明】 下面结合附图和【具体实施方式】对本专利技术作进一步详细的说明。 图1为本专利技术的流程图。 图2为本专利技术数据处理过程示意图。 【具体实施方式】 如图1所示，本专利技术，包括以下步骤： 步骤SlO初始化：将数据处理对应的解构成种群中的个体，随机产生N个个体构成 初始种群。本实施例以最小化函数优化问题为例： minf(x)，X = [X1, x2，…，xd]，Ik < xk < uk，k = 1，2，…，d 其中，Ik和Uk分别表示第k维变量的搜索下界和上界，d为问题的维数。目标问 题所对应的每个解构成种群中的个体，如Xi = Xi>1，Xi,2，…，Xi, J表示种群中第i个个体。 DE初始化时，算法随机产生N个个体构成初始种群，如下公式1所示： Xik(O) = lk+rand() ? (Uk-Ik)，k = 1，2，…，d，i = 1，2，…，N 其中，rand ()表示0?1之间均匀分布的随机数。不妨设种群个体数量为M个，本文档来自技高网...

【技术保护点】
一种基于云计算平台的数据处理方法，其特征在于，包括以下步骤：步骤S10初始化：将数据处理对应的解构成种群中的个体，随机产生N个个体构成初始种群；步骤S20数据预处理：初始种群通过随机操作，将每个个体编号随机打乱，逐个进行随机替换，依次循环直至全部打乱，将打乱生产的随机种群与原种群拼接成新矩阵；步骤S30数据MAP操作：自动分割，打包分发到各个任务节点上进行操作得到最新种群个体和对原种群进行评价得到的评价集合，分别传递给Key及Value组成键值发送过Reducer端；步骤S40种群迭代判断：Reducer端依据键值对将其整合为新种群，并根据value判别是否为最优解；如果新种群为到达边界阈值，则退出迭代，进入步骤S50；若未达到要求或迭代次数限制，则生成下一次迭代的数据源文件，返回步骤S20；步骤S50输出结果。

【技术特征摘要】
1. 一种基于云计算平台的数据处理方法，其特征在于，包括以下步骤： 步骤S10初始化：将数据处理对应的解构成种群中的个体，随机产生N个个体构成初始 种群； 步骤S20数据预处理：初始种群通过随机操作，将每个个体编号随机打乱，逐个进行随 机替换，依次循环直至全部打乱，将打乱生产的随机种群与原种群拼接成新矩阵； 步骤S30数据MAP操作：自动分割，打包分发到各个任务节点上进行操作得到最新种 群个体和对原种群进行评价得到的评价集合，分别传递给Key及Value组成键值发送过 Reducer 端； 步骤S40种群迭代判断：ReduCer端依据键值对将其整合为新种群，并根据value判别 是否为最优解；如果新种群为到达边界阈值，则退出迭代，进入步骤S50 ;若未达到要求或 迭代次数限制，则生成下一次迭代的数据源文件，返回步骤S20 ; 步骤S50输出结果。2. 按照权...

【专利技术属性】
技术研发人员：王胜春，黄金贵，尹丹，冯彪，黄俊勋，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：湖南;43