【技术实现步骤摘要】
本专利技术涉及Hadoop架构技术，具体的说是一种基于MR大数据处理的Hadoop集群分析方法。
技术介绍
Hadoop是一个分布式系统基础架构，实现了一个分布式文件系统HDFS（HadoopDistributedFileSystem），HDFS有高容错性的特点，能提供高吞吐量来访问应用程序的数据，适合拥有超大数据集的应用程序。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，用于存储Hadoop集群中所有存储节点上的文件；MapReduce则为海量的数据提供了计算。用户可以轻松地在Hadoop这一分布式计算平台上开发和运行处理海量数据的应用程序。它主要有以下几个优点：高可靠性、高扩展性、高效性、高容错性、低成本。Hadoop框架可在单一的Linux平台上使用（开发和调试时），提供MiniCluster作为单元测试使用，使用存放在机架上的商业服务器发挥它的力量。这些机架组成一个Hadoop集群。它通过集群拓扑知识决定如何在整个集群中分配作业和文件。Hadoop架构管理多个节点之间的数据传输，确保即使有一个节点坏掉了...
【技术保护点】
一种基于MR大数据处理的Hadoop集群分析方法，其特征在于, 在传统数据库基础上进行Hadoop集群改造，基于Hadoop架构搭建Hadoop集群，通过对MR数据的处理结果进行分析，能够分析出现网存在的重要质量问题。
【技术特征摘要】
1.一种基于MR大数据处理的Hadoop集群分析方法，其特征在于,在传统数据库基础上进行Hadoop集群改造，基于Hadoop架构搭建Hadoop集群，通过对MR数据的处理结果进行分析，能够分析出现网存在的重要质量问题。2.根据权利要求1所述一种基于MR大数据处理的Hadoop集群分析方法，其特征在于,通过对RS...
【专利技术属性】
技术研发人员：刘拥，房健，徐恩龙，
申请(专利权)人：浪潮软件集团有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。