【技术实现步骤摘要】
本专利技术属于计算机
，更进一步涉及数据挖掘领域中Hadoop框架下高维、海量数据的高斯混合模型(Gaussian Mixtures Model7GMM)聚类方法。本专利技术可以方便、高效的完成高维、海量数据地的聚类，克服单机模式下海量数据处理的低效，维数灾难问题。
技术介绍
海量数据处理的过程中广泛采用的一种计算框架MR “Dean J, GhemawatS.MapReduce :simplified data processing on large clusters[J]. Communications ofthe ACM, 2005, 51 (I) :107_113”该计算框架是由Google公司专利技术，近些年新兴的并行编程模式，它将并行化、容错、数据分布、负载均衡等放在一个库里，将系统对数据的所有操作都归结为两个步骤=Map (映射)阶段和Reduce (化简)阶段，使那些没有多少并行计算经验的开发人员也可以开发并行应用，对海量数据进行处理。Clustering with Gaussian Mixtures “Andrew ff. Moore P...
【技术保护点】
Hadoop框架下高维海量数据GMM聚类方法，包括如下步骤：(1)组建局域网将多台计算机连接到同一局域网中，每台计算机作为一个节点，建立能够相互通信的集群；(2)建立Hadoop平台对集群中的每个节点配置Hadoop0.20.2文件，通过文件中属性参数dfs.namenode和dfs.datanode的设置，使集群中包含一个名字节点和多个数据节点；通过文件中属性参数mapred.jobtracker和mapred.tasktracker的设置，使集群中包含一个调度节点和多个任务节点，建立开源的Hadoop平台；(3)上传数据到集群使用Hadoop分布式文件命令dfs?put...
【技术特征摘要】
1.Hadoop框架下高维海量数据GMM聚类方法，包括如下步骤: (1)组建局域网 将多台计算机连接到同一局域网中，每台计算机作为一个节点，建立能够相互通信的集群； (2)建立Hadoop平台 对集群中的每个节点配置Hadoop0.20.2文件,通过文件中属性参数dfs.namenode和dfs.datanode的设置，使集群中包含一个名字节点和多个数据节点；通过文件中属性参数mapred.jobtracker和mapred.tasktracker的设置，使集群中包含一个调度节点和多个任务节点，建立开源的Hadoop平台； (3)上传数据到集群 使用Hadoop分布式文件命令dfs-put将待聚类数据集上传至Hadoop平台的各个节点上; (4)初始聚类 采用KMeans聚类方法，对集群中节点上的数据进行初始粗略聚类，得到初始的聚类； (5)计算各聚类的参数和判别函数 5a)计算初始的聚类每一个类的均值； 5b)统计初始聚类每一 个类中数据的个数，用统计的数据个数除以待聚类数据集中数据的总数，得到初始聚类每一个类的权重； 5c)计算初始的聚类每一个类的方差； 5d)计算判别函数 按照下式计算高斯概率密度值: n _ exp(-(x - U1-1 (χ - %) / 2) [χ, I 其中，G表示高斯概率密度的值，χ表示待聚类数据集中的任意一个向量数据，Ui表示第i个类的均值，i表示聚类中的第i个类，Σ ,表示第i个类的方差，exp表示以e为底的指数运算； 按照下式计算判别函数的值: 其中，L表示判别函数值,χ表示待聚类数据集中的任意一个向量数据,D表示待聚类数据集，K表示聚类中类的个数，i表示聚类中的第i个类，Pi表示第i个类在聚类中的权重，G表示第i个类的高斯概率密度值，Ui表示第i个类的均值，Σ i表示第i个类的方差； (6)判断聚类是否完成 判断判别函数的值是否在设定域值之内，若在阈值内，则聚类结束，执行步骤(10)，若不在阈值内，表示聚类尚未结束，执行步骤(7)； (7)重新聚类 7a)启动第一个Map任务，扫描待聚类数据集，每次读入一条数据； 7b...
【专利技术属性】
技术研发人员：崔江涛，李林，司蓁，彭延国，史玮，陈煜，崔小利，王博，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。