一种hadoop集群性能的优化方法技术

本发明专利技术涉及一种hadoop集群性能的优化方法，该方法采用监视工具nmon监视hadoop集群系统的性能指标；所述方法包括下述步骤：A、安装监视工具nmon；B、运行hadoop集群系统；C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整。该方法能够监测CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘I/O速度、传输和读/写比，文件系统中的可用空，磁盘适配，网络I/O速度、传输和读/写比率，页面空间和页面速度，CPU和AIX规范，消耗资源最多的进程，计算机详细信息和资源，网络文件系统等。实时准确的定位系统性能瓶颈，能够快速实现对系统整体的性能优化。该方法能够使工程师的工作更有针对性，极大的减少了盲目的试探。

【技术实现步骤摘要】

本专利技术涉及高性能集群领域,具体涉及。
技术介绍
hadoop技术已经在互联网领域得到广泛的应用，同时也得到了学术界的普遍关注。针对hadoop集群优化对于提高系统性能和执行效率具有重大的意义。以往的hadoop集群优化均为设置一个参数后，对系统进行性能测试，得出结果后根据经验判断参数设置的效果如何。这样将会造成太多时间的浪费。如何能快速定位系统性能瓶颈，并根据性能瓶颈进行性能优化是本专利技术要解决的问题。目前在hadoop集群优化中有大约几十个参数可以设置，给hadoop集群系统的性能优化带来了很大的麻烦
技术实现思路
·针对现有技术的不足，本专利技术提供，该方法解决了如何能快速定位系统性能瓶颈，并根据性能瓶颈进行性能优化的问题，采用nmon工具来实时监控系统的各项性能指标，性能指标包括磁盘，CPU,内存网络等，在hadoop文件系统运行过程中及时发现性能瓶颈，及时发现hadoop集群系统设置参数的影响，从而更快更直接的进行hadoop集群系统的性能优化，节省大量的时间。本专利技术的目的是采用下述技术方案实现的—种hadoop集群性能的优化方法,其改进之处在于，所述方法采用监视工具nmon监视hadoop集群系统的性能指标；所述方法包括下述步骤A、安装监视工具nmon ;B、运行hadoop集群系统。C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整，实现优化。其中,所述安装监视工具nmon包括下述步骤a、从网页界面下载nmon 二进制包；b、将所述nmon 二进制包复制到Hadoop集群的所有节点；C、使用$ΝΜ0Ν_Η0ΜΕ目录代表放置nmon 二进制代码的位置；d、选择作业管理节点jobtracker作为中心节点收集nmon数据；e、登录 jobtracker 中心节点；f、在所述jobtracker中心节点上创建目录并通过网络文件系统服务实现共享；g、创建脚本在Hadoop集群的所有节点上启动nmon。其中，所述步骤b中，所述Hadoop集群的所有节点包括目录管理节点Namenode、任务计算节点Datanode、作业管理节点Jobtracker和辅助目录管理节点SecondNamenode。其中，所述步骤f包括以下步骤(I)在所述jobtracker中心节点上创建目录；(2)修改 /etc/exports 文件；(3)重新启动网络文件系统服务；(4)在目录管理节点Namenode、任务计算节点Datanode和辅助目录管理节点SecondNamenode上创建该目录并将其挂装到jobtracker中心节点上的perf_share目录中。其中，所述步骤g中，所述脚本包括_f表示希望把数据保存到文件中，并不在屏幕上显示；_m表示保存数据的位置;-s 30表示希望每30秒捕捉一次数据；-c 360表示需要360个数据点(即快照)，总数据收集时间为30x360秒，即3小时。其中，所述步骤B中，通过所述监视工具nmon返回hadoop集群系统性能数据确定 性能瓶颈，进行hadoop系统配置参数调整。其中，所述hadoop集群系统的性能指标包括磁盘、CPU和内存网络。其中，所述nmon为系统管理、调优和基准测试工具，用于监视hadoop集群系统的性能指标。其中，所述hadoop系统配置参数调整是一个反复循环的过程。其中，所述步骤C中,根据运行过程中监视工具nmon的性能反馈,对hadoop集群参数进行调整，包括I、统计系统各项数据，包括CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘1/0速度、传输和读/写比，文件系统中的可用空，磁盘适配，网络1/0速度、传输和读/写比率，页面空间和页面速度，CPU和AIX规范，消耗资源最多的进程，计算机详细信息和资源，网络文件系统；II、寻找调优的点，如果不能再优化，则维持现状；否则进行优化，继续进行步骤III ;III、进行hadoop集群系统优化，之后再进行统计测试。与现有技术比，本专利技术达到的有益效果是本专利技术提供的hadoop集群性能的优化方法，在hadoop集群运行过程中使用一种系统整体性能监控工具，实时准确的定位系统性能瓶颈，从而能够快速实现对系统整体的性能优化，节省大量的时间。该优化方法能够监测CPU的使用率，内存使用情，内核统计信息和运行队列信，磁盘I/o速度、传输和读/写比，文件系统中的可用空，磁盘适配，网络I/O速度、传输和读/写比率，页面空间和页面速度，CPU和AIX规范，消耗资源最多的进程，计算机详细信息和资源，网络文件系统等等。实时准确的定位系统性能瓶颈，能够快速实现对系统整体的性能优化，如在某集群系统环境下，nmon的监测显示带宽的占有率达到了最大限度，这时，工程师就可以根据当下环境适当增大带宽。该方法能够使工程师的工作更有针对性，极大的减少了盲目的试探。附图说明图I是本专利技术提供的hadoop集群性能的优化方法的流程图。具体实施例方式下面结合附图对本专利技术的具体实施方式作进一步的详细说明。本专利技术提供的hadoop集群性能的优化方法的流程如图I所示，包括下述内容A、nmon 的安装nmon是一个系统管理、调优和基准测试工具，可以简便地监视大量重要的性能信息。可以在整个性能调优过程中使用nmon作为监视工具。按以下步骤安装并配置nmon，建立自己的性能监视系统从nmon for Linux站点下载nmon二进制包。找到适合的版本,把它复制到Hadoop集群的所有节点。下面使用$ΝΜ0Ν_Η0ΜΕ代表放置nmon 二进制代码的位置。因为已经让namenode、jobtracker 和 secondnamenode 能够通过 ssh 无需密码地访问所有其他节点，而且将在jobtracker上提交所有map/reduce作业，所以选择jobtracker作为中心节点收集所有nmon数据。登录jobtracker节点,然后执行以下步骤。 使用以下命令在jobtracker上创建一个目录(例如/home/hadoop/perf_share)并通过NFS共享它(I)创建目录$mkdir/home/hadoop/perf_share ；(2)修改 /etc/exports 文件，在其中包含以下行/home/hadoop/perf_share*(rw, sync)；(3)重新启动 NFS 服务$/etc/rc. d/init. d/nfs restart ；(4)在所有其他节点上创建这个目录并把它们挂装到jobtracker上的perf_share目录；创建以下脚本以便在所有节点上启动nmon 在最后的nmon命令中，_f表示希望把数据保存到文件中，并不在屏幕上显示；_m表示保存数据的位置；-s 30表示希望每30秒捕捉一次数据；-c 360表示需要360个数据点(即快照)，总数据收集时间为30x360秒，即3小时。Unmonanalyser wiki 下载 nmonanalyser (这个 Excel 电子表格接受 nmon 的输出文件，生成一些漂亮的图表以帮助分析)，用它分析收集到的监视数据。B、运行hadoop集群,通过nmon监视工具返回的系统性能数据确定相应性能瓶颈，进行相应的参数调整，以期得到最高性能的集群。C、根据运行过本文档来自技高网...

【技术保护点】
一种hadoop集群性能的优化方法，其特征在于，所述方法采用监视工具nmon监视hadoop集群系统的性能指标；所述方法包括下述步骤：A、安装监视工具nmon；B、运行hadoop集群系统。C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整，实现优化。

【技术特征摘要】
1.一种hadoop集群性能的优化方法,其特征在于,所述方法采用监视工具nmon监视hadoop集群系统的性能指标；所述方法包括下述步骤 A、安装监视工具nmon； B、运行hadoop集群系统。C、根据运行过程中nmon工具的性能反馈，对hadoop集群参数进行调整，实现优化。2.如权利要求I所述的hadoop集群性能的优化方法，其特征在于，所述安装监视工具nmon包括下述步骤 a、从网页界面下载nmon二进制包； b、将所述nmon二进制包复制到Hadoop集群的所有节点； C、使用$ΝΜ0Ν_Η0ΜΕ目录代表放置nmon 二进制代码的位置； d、选择作业管理节点jobtracker作为中心节点收集nmon数据； e、登录jobtracker中心节点； f、在所述jobtracker中心节点上创建目录并通过网络文件系统服务实现共享； g、创建脚本在Hadoop集群的所有节点上启动nmon。3.如权利要求2所述的hadoop集群性能的优化方法,其特征在于,所述步骤b中，所述Hadoop集群的所有节点包括目录管理节点Namenode、任务计算节点Datanode、作业管理节点Jobtracker和辅助目录管理节点SecondNamenode。4.如权利要求2所述的hadoop集群性能的优化方法，其特征在于，所述步骤f包括以下步骤 (1)在所述jobtracker中心节点上创建目录； (2)修改/etc/exports 文件； (3)重新启动网络文件系统服务； (4)在目录管理节点Namenode、任务计算节点Datanode和辅助目录管理节点SecondNamenode上创建该目录并将其挂装到jobtracker中心节点上的per...

【专利技术属性】
技术研发人员：马庆怀，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：