【技术实现步骤摘要】
【技术保护点】
一种基于云计算的面向电信业务的数据挖掘应用方法,其特征在于该方法采用分层的思想,自顶向下每层都透明的调用下层接口,最顶层为交互层,用于用户和系统之间的交互,使用分层,各层之间变得独立,易于系统的扩展,具体如下:1)?分割电信业务的文件:首先,将众多电信业务的文件分成大小不等的若干小块数据,数据块大小由用户给定参数控制,然后启动机器集群中的众多程序拷贝,2)?指派?聚合Map、分流Reduce任务,运用并行的数据挖掘算法进行数据挖掘:在众多程序拷贝中有一个管理机的主程序,其他的均为工作站程序,工作站程序有管理机指派任务,主程序指派空闲的工作站程序执行聚合任务或是?Reduce?任务,3)?读取电信业务的数据:被指派执行聚合任务的工作站读取相关的数据块,从原始数据中解析出数据对,经过聚合函数处理,得到中间键值对时,存入内存缓冲区,4)本地写入电信业务的数据:内存中的数据组被划分函数周期性的划分到?R?个区域写入本地磁盘,这些在本地磁盘的数据数列的存放位置信息被送回管理机,管理机负责将这些位置信息传送到执行分流任务的工作站,5)远程读取处理后的电信业务的数据:当执行分流任务的工作站被告知这些 ...
【技术特征摘要】
【专利技术属性】
技术研发人员:季一木,潘俏羽,王汝传,孙力娟,王振洪,马晓东,韩志杰,付雄,张琳,
申请(专利权)人:南京邮电大学,江苏亿通高科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。