【技术实现步骤摘要】
一种基于元启发式算法的并行工业物联网大数据聚类方法
[0001]本专利技术涉及大数据聚类领域，尤其涉及基于元启发式算法的并行工业物联网的大数据聚类方法，该方法通过模拟经过训练的军犬对可疑目标的搜索过程来寻找工业物联网中大数据的最优聚类中心，并采用面向大数据并行处理的计算框架MapReduce来处理大数据集。
技术介绍
[0002]随着无线通信、物联网和大数据的发展，利用高性能的数据分析工具和算法为人们提供智能服务是近年来的研究热点。在工业物联网中，通常会部署大量的传感器来收集数据，这些传感器产生的数据通常是大容量的、流形的、非结构化的。分析如此大容量的流数据是一个具有挑战性的问题。此外，从传感器获取的流数据是时间依赖的，这意味着随着时间的推移可能会失去它的模式。对这些数据的有效分析是智能产业的一个突出部分，因为它可以改善服务，降低不同流程中涉及的风险。对大量传感器采集的湿度、温度、压力和气体成分等信息进行及时、高效的分析，可以减少异常发生的几率。然而，传统的数据分析技术由于内存和处理单元的限制，无法处理这些数据集。因此，要对...
【技术保护点】
【技术特征摘要】
1.根据权利要求1所述的基于元启发式算法的并行工业物联网大数据聚类方法，其特征在于，具体步骤如下：a)聚类数据准备：输入数据并进行输入分割，将数据集划分为更小的数据块以进行并行处理。将元启发式大数据聚类算法(Meta-heuristic based big data clustering algorithm，MHBC)的MapReduce版本记为MR-MHBC，对MR-MHBC算法的种群进行初始化，然后将数据映射到不同节点上运行的每个映射器，以实现并行化。b)聚类中心更新：在每次迭代中模拟军犬对可疑目标的搜索过程进行聚类，计算每个簇的中心，并计算簇心的适应度值。c)最佳适应度求解：在每次迭代中计算每个数据点与聚类中心之间的距离，得到每个数据点与相隔最近的聚类中心的距离，也即最佳适应度值。d)聚类任务合并：对分解的任务进行合并，并判断是否达到算法的终止条件。2.根据权利要求1所述的基于元启发式算法的并行工业物联网大数据聚类方法，其特征在于，所述步骤a)聚类数据准备。为采用MHBC算法，首先要初始化MHBC算法所需的各项参数，为利用MapReduce结构对大数据进行并行化处理，要将初始化参数后的数据进行分组并分配给多台机器，由于每台机器只拥有整个数据集的一部分，因此可以实现并行化。3.根据权利要求1所述的基于元启发式算法的并行工业物联网大数据聚类方法，其特征在于，所述步骤b)聚类中心更新。采用MapReduce模型计算适应度值时，MR-MHBC的每次迭代都在两个阶段中运行，即MR-MHBC-Map和MR-MHBC-Reduce。MR-MHBC-Map阶段对任务进行分解，并对每个数据项进行适应度计算。MR-MHBC-Ma...
【专利技术属性】
技术研发人员：赵国荣，赵惠丹，武星，孙驰，沈安娜，
申请(专利权)人：诺得物流股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。