一种基于Hadoop的服务器磁盘性能测试系统及方法技术方案

本发明专利技术提供一种基于Hadoop的服务器磁盘性能测试系统及方法，整个环境需要一个主服务器节点，一个从服务器节点，从服务器节点为被测试的服务器；两台服务器需要在一个网段中，以便于相互连接；测试环境简单，如果待测服务器较多，可以设置多个从服务器节点，同步进行测试；包括如下步骤：S1：配置服务器磁盘性能测试系统的环境；S2：对服务器磁盘进行性能测试；S3：处理和分析测试数据及log。通过开源框架Hadoop检验服务器上的磁盘性能，贴近客户实际应用场景，验证服务器所选磁盘面对分布式存储应用场景的表现；通过Hadoop程序自带的工具，模拟不同的文件大小，检验磁盘在各种场景下的性能，并与磁盘理论数据做比较，给出评价及建议。

【技术实现步骤摘要】
一种基于Hadoop的服务器磁盘性能测试系统及方法
本专利技术属于磁盘测试
，具体涉及一种基于Hadoop的服务器磁盘性能测试系统及方法。
技术介绍
随着时代的发展，每天产生的数据量非常的庞大，单一机器已无法存储如此庞大的数据，需要庞大数量的服务器来完成存储的工作，要从如此数量级的数据中查询想要的数据，除了优秀的算法外，还需要有匹配的存取速度；目前市面上有非常多的分布式存储工具，客户可以根据不同的应用场景，选择合适的服务器搭建分布式存储环境，满足自己的应用需求；目前测试磁盘性能的工具，多数为开源工具，用不同的块大小，模拟不同的文件类型，通过并行多个线程，增加数据深度，来模拟不同的应用情况；这些方法都不贴近客户的实际应用环境，测试数据只能作为参考，与实际应用偏差较远。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streamingaccess）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，MapReduce为海量的数据提供了计算。
技术实现思路
为了克服上述现有技术中的不足，本专利技术提供了一种基于Hadoop的服务器磁盘性能测试系统及方法，通过开源框架Hadoop检验服务器上的磁盘性能，贴近客户实际应用场景，验证服务器所选磁盘面对分布式存储应用场景的表现；通过Hadoop程序自带的工具，模拟不同的文件大小，检验磁盘在各种场景下的性能，并与磁盘理论数据做比较，以解决上述技术问题。本专利技术的技术方案是：一种基于Hadoop的服务器磁盘性能测试系统，包括一个主服务器节点和至少一个从服务器节点；从服务器节点为被测试的服务器；主服务器节点和从服务器节点在一个网段中。主服务器节点和从服务器节点分别安装有CentOS操作系统，主服务器节点和从服务器节点分别安装有JDK工具和Hadoop。本专利技术技术方案还提供一种基于Hadoop的服务器磁盘性能测试方法，包括如下步骤：配置服务器磁盘性能测试系统的环境；对服务器磁盘进行性能测试；处理和分析测试数据及log。进一步的，步骤配置服务器磁盘性能测试系统的环境，包括：S11：检测主服务器节点和从服务器节点是否安装CentOS操作系统，若已经安装执行步骤S12，若没有安装则进行CentOS操作系统的安装；执行步骤S11；S12：分别设置主服务器节点和从服务器节点的名称；S13：配置主服务器节点和从服务器节点的网络，并对设置网络进行联通性测试，若正常，执行步骤S14，若不正常，执行步骤S13；S14：分别对主服务器节点和从服务器节点进行SSH无密码登录设置；S15：测试是否可以进行无密码访问，若是，执行步骤S16，若否执行步骤S14；S16：检测主服务器节点和从服务器节点是否安装JDK工具，并配置环境变量；S17：JDK工具安装成功，在主服务器节点和从服务器节点上检测是否安装Hadoop，并配置环境变量。进一步的，步骤S14包括：S141：主服务器节点生成密码对；S142：主服务器节点修改密码对文件权限，进行主服务器节点SSH配置；S143：从服务器节点生成密码对；S144：复制主服务器节点密码对文件到从服务器节点并追加从服务器节点的密码对到此文件，进行从服务器节点SSH配置。进一步的，步骤S17包括：S171：检测主服务器节点已安装Hadoop；S172：主服务器节点端依次配置/etc/profile文件、hadoop-env.sh文件、core-site.xml文件、hdfs-site.xml文件、mapred-site.xml文件、masters文件、salves文件；S173：检测从服务器节点已安装Hadoop；S174：从服务器节点端依次配置/etc/profile文件、hadoop-env.sh文件、core-site.xml文件、hdfs-site.xml文件、mapred-site.xml文件、masters文件。进一步的，步骤对服务器磁盘进行性能测试，包括：S21：进行预测试检测系统是否正常，若正常，执行步骤S24；若不正常，执行步骤S22；S22：进行问题修复，然后进行预测试检测问题是否修复，若是，执行步骤S24，若否，执行步骤S23：S23：是否终止测试，若是，结束测试，若否，执行步骤S24；S24：进行Hadoop性能测试，实时收集服务器状态；S25：测试完成，检测测试结果是否齐全，若是，结束测试，若否，执行步骤S24。进一步的，步骤S24包括：S241：清空测试目录；S242：小文件读写测试；S243：大文件读写测试；S244：实时收集测试结果并将测试结果进行输出显示。进一步的，步骤处理和分析测试数据及log，包括：将测试结果与磁盘的理论数据做比较进行对比进行磁盘性能的分析判断。本专利技术主要通过开源框架Hadoop检验服务器上的磁盘性能，贴近客户实际应用场景，验证服务器所选磁盘面对分布式存储应用场景的表现；通过Hadoop程序自带的工具，模拟不同的文件大小，检验磁盘在各种场景下的性能，并与磁盘理论数据做比较，给出评价及建议。从以上技术方案可以看出，本专利技术具有以下优点：通过本专利技术技术方案可以充分的验证服务器上所选硬盘性能情况以及服务器本身是否存在瓶颈，利用测试数据及分析结果，改善测试配置，选取合适的磁盘型号，优化成本投入，提高客户满足度；使用开源的工具及系统，并且环境配置简单，整体投入少；符合客户实际应用场景，更容易发现问题及瓶颈；根据测试结果，可以改善测试配置，优化成本投入，提高客户满足度。此外，本专利技术设计原理可靠，结构简单，具有非常广泛的应用前景。由此可见，本专利技术与现有技术相比，具有突出的实质性特点和显著地进步，其实施的有益效果也是显而易见的。附图说明图1为本专利技术实施例提供的一种基于Hadoop的服务器磁盘性能测试流程图；图2为服务器磁盘性能测试系统的环境配置子流程；图3为服务器磁盘性能测试子流程。具体实施方式下面结合附图并通过具体实施例对本专利技术进行详细阐述，以下实施例是对本专利技术的解释，而本专利技术并不局限于以下实施方式。本专利技术实施例一提供一种基于Hadoop的服务器磁盘性能测试系统，包括一个主服务器节点和至少一个从服务器节点；从服务器节点为被测试的服务器；主服务器节点和从服务器节点在一个网段中。主服务器节点和从服务器节点分别安装有CentOS操作系统，主服务器节点和从服务器节点分别安装有JDK工具和Hadoop。实施例二HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS本文档来自技高网...

【技术保护点】
1.一种基于Hadoop的服务器磁盘性能测试系统，其特征在于，包括一个主服务器节点和至少一个从服务器节点；从服务器节点为被测试的服务器；主服务器节点和从服务器节点在一个网段中。

【技术特征摘要】
1.一种基于Hadoop的服务器磁盘性能测试系统，其特征在于，包括一个主服务器节点和至少一个从服务器节点；从服务器节点为被测试的服务器；主服务器节点和从服务器节点在一个网段中。2.根据权利要求1所述的一种基于Hadoop的服务器磁盘性能测试系统，其特征在于，主服务器节点和从服务器节点分别安装有CentOS操作系统，主服务器节点和从服务器节点分别安装有JDK工具和Hadoop。3.一种基于Hadoop的服务器磁盘性能测试方法，其特征在于，包括如下步骤：配置服务器磁盘性能测试系统的环境；对服务器磁盘进行性能测试；处理和分析测试数据及log。4.根据权利要求3所述的一种基于Hadoop的服务器磁盘性能测试方法，其特征在于，步骤配置服务器磁盘性能测试系统的环境，包括：S11：检测主服务器节点和从服务器节点是否安装CentOS操作系统，若已经安装执行步骤S12，若没有安装则进行CentOS操作系统的安装；执行步骤S11；S12：分别设置主服务器节点和从服务器节点的名称；S13：配置主服务器节点和从服务器节点的网络，并对设置网络进行联通性测试，若正常，执行步骤S14，若不正常，执行步骤S13；S14：分别对主服务器节点和从服务器节点进行SSH无密码登录设置；S15：测试是否可以进行无密码访问，若是，执行步骤S16，若否执行步骤S14；S16：检测主服务器节点和从服务器节点是否安装JDK工具，并配置环境变量；S17：JDK工具安装成功，在主服务器节点和从服务器节点上检测是否安装Hadoop，并配置环境变量。5.根据权利要求4所述的一种基于Hadoop的服务器磁盘性能测试方法，其特征在于，步骤S14包括：S141：主服务器节点生成密码对；S142：主服务器节点修改密码对文件权限，进行主服务器节点SSH配置；S143：从服务器节点生成密码对；S144：复制主服务器节点密码对文件到从服务器节点并...

【专利技术属性】
技术研发人员：刘云飞，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41