一种面向分布式融合存储的大数据性能测试方法技术

本发明专利技术公开了一种面向分布式融合存储的大数据性能测试方法，该测试方法的分布式融合存储测试组网由压力机、分布式存储、万兆交换机、千兆交换机、控制终端组成，所述控制终端的输出端与千兆交换机电连接，所述千兆交换机与分布式存储电连接，所述分布式存储由控制终端和万兆交换机组成，所述测试方法的测试数据集如下：基于大数据存储HDFS写性能：登录HDFS测试主机，切换到hdfs用户，在客户端运行TestDFSIO组件，执行写性能测试，测试模型为写入500个文件，单文件4GB，记录测试执行时长。该面向分布式融合存储的大数据性能测试方法，考察指标全面，各指标分数及权重设置合理，能够为分布式融合存储大数据性能评估提供重要依据。据。据。

【技术实现步骤摘要】
一种面向分布式融合存储的大数据性能测试方法


[0001]本专利技术涉及大数据性能测试
，具体为一种面向分布式融合存储的大数据性能测试方法。

技术介绍

[0002]随着5G、物联网等技术发展和应用，传统存储暴露出横向扩展性差、价格昂贵、数据连通困难等不足，导致数据中心管理和维护成本居高不下。而新出现的分布式存储通过将数据分散存储在网络上的多台独立设备上，采用标准x86服务器和网络互联，并在其上运行相关存储软件。分布式融合大数据存储不仅提高了存储空间的利用率，还实现了弹性扩展，降低了运营成本，避免了资源浪费，更适合未来的数据爆炸时代场景。目前分布式融合存储标准日趋成熟，但还缺乏对分布式融合存储大数据性能的分级评估和测试方法，阻碍了对分布式融合存储大数据性能的评估。
[0003]当前分布式融合存储大数据性能评价方法大多是针对单个场景提出存储性能提升方法，并没有形成完善的分布式融合存储性能分级评估方法，且针对存储性能专利方法大多停留在性能方法提升层面，并未对分布式融合存储性能方面进行评估，为此，我们提出一种面向分布式融合存储的大数据性能测试方法。

技术实现思路

[0004]本专利技术的目的在于提供一种面向分布式融合存储的大数据性能测试方法，以解决上述
技术介绍
中提出的当前分布式融合存储大数据性能评价方法大多是针对单个场景提出存储性能提升方法，并没有形成完善的分布式融合存储性能分级评估方法，且针对存储性能专利方法大多停留在性能方法提升层面，并未对分布式融合存储性能方面进行评估的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种面向分布式融合存储的大数据性能测试方法，该测试方法的分布式融合存储测试组网由压力机、分布式存储、万兆交换机、千兆交换机、控制终端组成，所述控制终端的输出端与千兆交换机电连接，所述千兆交换机与分布式存储电连接，所述分布式存储由控制终端和万兆交换机组成，所述测试方法的测试数据集如下：
[0006]基于大数据存储HDFS写性能：登录HDFS测试主机，切换到hdfs用户，在客户端运行TestDFSIO组件，执行写性能测试，测试模型为写入500个文件，单文件4GB，记录测试执行时长；
[0007]基于大数据存储HDFS读性能：完成HDFS客户端环境配置，登录HDFS测试主机，切换到hdfs用户，在客户端运行TestDFSIO组件，执行读性能测试，读取的数据即为写性能用例中写入的数据，记录测试执行时长；
[0008]基于大数据存储HBase PE性能：检查HBase组件正常运行，HBase PE工具已经完成部署，登录HDFS客户端，切换到hbase用户，执行HBase PE命令写入400GB数据，记录写入
TPS，从hbase表中随机读取200万行数据，记录读取TPS，数据写入成功，记录写入TPS，随机读取数据成功，记录读取TPS；
[0009]基于大数据存储Hive tpc
‑
ds性能：hive组件正常运行，hive
‑
testbench工具已经完成部署，登录HDFS客户端，切换到hive用户，生成2000GB测试数据，确认数据已经生成完成，查看hive下相关数据库及表也生成，执行查询测试，记录每条查询语句耗时。
[0010]进一步的，所述测试方法的环境温度为15℃～35℃，相对湿度为25％～75％，计算节点数和存储节点数比例为3:1。
[0011]进一步的，所述基于大数据存储HDFS写性能、基于大数据存储HDFS读性能、基于大数据存储HBase PE性能、基于大数据存储Hive tpc
‑
ds性能的权重各占25％。
[0012]进一步的，所述测试方法的测试工具采用TestDFSIO、HBase PE和hive
‑
testbench，且三者均用于对大数据进行测试。
[0013]进一步的，所述测试方法的配合设备采用PC服务器、万兆交换机、千兆交换机、笔记本电脑，所述PC服务器用于压力机，所述万兆交换机用于网络互连，所述千兆交换机用于网络互连，所述笔记本电脑用于控制终端。
[0014]进一步的，所述测试方法选取了HDFS写性能、HDFS读性能、HBase PE性能、Hive tpc
‑
ds性能四个方面的指标对分布式融合存储质量进行分项打分，加权汇总。
[0015]进一步的，所述测试方法根据打分结果将分布式融合存储大数据性能分为L1、L2、L3、L4、L5五个等级。
[0016]进一步的，所述L1、L2、L3、L4、L5五个等级的性能表述如下：L1：分布式融合存储大数据性能低；L2：分布式融合存储大数据性能略低或性能持平；L3：分布式融合存储大数据性能能力成熟；L4：分布式融合存储大数据性能能力良好；L5：分布式融合存储大数据性能能力卓越。
[0017]与现有技术相比，本专利技术的有益效果是：该面向分布式融合存储的大数据性能测试方法，从HDFS写性能、HDFS读性能、HBase PE性能、Hive tpc
‑
ds性能等性能4个维度对分布式融合存储大数据性能进行规范性测试，并给出了各项指标的测试方法，测试指标多样，能够全方位多角度对分布式融合存储大数据性能测试进行规范。
[0018]在进行分布式融合存储大数据性能测试过程中，本专利技术针对各项指标进行打分，给出了打分参考标准，依据各项指标的重要性赋予不同权重，使得分布式融合存储大数据性能评价能够真实的接近实际需求。
[0019]选取了HDFS写性能、HDFS读性能、HBase PE性能、Hive tpc
‑
ds性能等性能四个方面的指标对分布式融合存储质量进行分项打分，加权汇总，最终得到了分布式融合存储大数据性能的评价，这对于分布式融合存储质量评价具有重要意义。
[0020]提出的分布式融合存储大数据性能评估方法考察指标全面，各指标分数及权重设置合理，能够为分布式融合存储大数据性能评估提供重要依据。
附图说明
[0021]图1为本专利技术分布式融合存储测试组网图；
[0022]图2为本专利技术评分标准示意图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
[0024]如图1
‑
图2所示，一种面向分布式融合存储的大数据性能测试方法，该测试方法的分布式融合存储测试组网由压力机、分布式存储、万兆交换机、千兆交换机、控制终端组成，控制终端的输出端与千兆交换机电连接，千兆交换机与分布式存储电连接，分布式存储由控制终端和万兆交换机组成，测试方法的测试数据集如下：
[0025]基于大数据存储HDFS写性能：登录HDFS测试主机，切换到hd本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向分布式融合存储的大数据性能测试方法，其特征在于：该测试方法的分布式融合存储测试组网由压力机、分布式存储、万兆交换机、千兆交换机、控制终端组成，所述控制终端的输出端与千兆交换机电连接，所述千兆交换机与分布式存储电连接，所述分布式存储由控制终端和万兆交换机组成，所述测试方法的测试数据集如下：基于大数据存储HDFS写性能：登录HDFS测试主机，切换到hdfs用户，在客户端运行TestDFSIO组件，执行写性能测试，测试模型为写入500个文件，单文件4GB，记录测试执行时长；基于大数据存储HDFS读性能：完成HDFS客户端环境配置，登录HDFS测试主机，切换到hdfs用户，在客户端运行TestDFSIO组件，执行读性能测试，读取的数据即为写性能用例中写入的数据，记录测试执行时长；基于大数据存储HBase PE性能：检查HBase组件正常运行，HBase PE工具已经完成部署，登录HDFS客户端，切换到hbase用户，执行HBase PE命令写入400GB数据，记录写入TPS，从hbase表中随机读取200万行数据，记录读取TPS，数据写入成功，记录写入TPS，随机读取数据成功，记录读取TPS；基于大数据存储Hive tpc
‑
ds性能：hive组件正常运行，hive
‑
testbench工具已经完成部署，登录HDFS客户端，切换到hive用户，生成2000GB测试数据，确认数据已经生成完成，查看hive下相关数据库及表也生成，执行查询测试，记录每条查询语句耗时。2.根据权利要求1所述的一种面向分布式融合存储的大数据性能测试方法，其特征在于：所述测试方法的环境温度为15℃～35℃，相对湿度为25％～75％，计算节点数和存储节点数比例为3:1。3.根据权利要求1所...

【专利技术属性】
技术研发人员：王少鹏，孙聪，李洁，郭亮，
申请(专利权)人：中国信息通信研究院，
类型：发明
国别省市：