一种基于IOzone模拟气象平台应用的数据读写测试方法技术

技术编号:16128628 阅读:28 留言:0更新日期:2017-09-01 20:44
本发明专利技术提供了一种基于IOzone模拟气象平台应用的数据读写测试方法,包括步骤:A、在气象平台部署高性能文件系统;B、在气象平台创建一组测试文件;C、在气象平台安装IOzone,并基于该安装的IOzone以及上述步骤B中所创建的各测试文件,建立步骤A中所部署的高性能文件系统的数据读写模型;D、依据步骤C中建立的数据读写模型,配置上述IOzone支持的进程数及上述IOzone读写数据块的大小;E、基于步骤D中所作的配置,编写自动化测试脚本,以调用步骤C中所建立的数据读写模型,对气象平台的数据读写性能进行测试。本发明专利技术基于IOzone模拟气象应用中对数据存储的读写,不需要实际安装并运行气象应用软件,即可完成对气象平台数据存储性能的评估测试,缩短了测试周期。

A data reading and writing test method based on IOzone simulation meteorological platform

The invention provides a IOzone simulation application platform based on the data of meteorological literacy test method, which comprises the following steps: A, the meteorological platform for the deployment of high performance file system; B, create a set of test files in C, in the meteorological meteorological platform; platform installation IOzone, and based on the creation of the IOzone installation and the steps for B in the test file, a high performance file system deployment steps in the A data read and write the data read and write model; D model, according to the step C, the number of processes and the configuration of the IOzone support IOzone read and write data block size; E, which based on D configuration steps and writing automated test scripts, by creating a call in step C to read and write data model, test platform of meteorological data read and write performance. The invention of IOzone simulation in the application of meteorological data storage based on reading and writing, do not need to install and run the actual meteorological software, to complete the assessment of the performance of the test platform of meteorological data storage, shorten the test cycle.

【技术实现步骤摘要】
一种基于IOzone模拟气象平台应用的数据读写测试方法
本专利技术涉及计算机
,具体是一种基于IOzone模拟气象平台应用的数据读写测试方法。
技术介绍
目前,中国绝大部分气象局,如中国气象局、北京市气象局等,对于数值天气预报普遍采用MM5、WRF预报模型。此外,一些气象局还采用一些自己研发的辅助预报模型,比如中国气象局,其还采用其自主研发的GRAPES全球预报模型等。但是,无论气象局采用哪种气象预报模型(下称“气象平台”),其对应的计算量都非常大,中间产生的临时数据对存储(即数据的读写)的性能要求都很高。现有技术中,往往通过实际搭建气象应用环境,并在该搭建的环境下部署不同的气象应用软件,之后(通过实际部署气象应用软件)完成对气象平台中数据存储性能的评估。测试环境部署繁琐,测试周期长。此为现有技术的不足之处。
技术实现思路
本专利技术所要解决的技术问题是,针对现有技术的不足,提供一种基于IOzone模拟气象平台应用的数据读写测试方法,用于简化测试环境的部署,缩短测试周期。为解决上述技术问题,本专利技术提供了一种基于IOzone模拟气象平台应用的数据读写测试方法,包括:步骤A、在气象平台部署高性能文件系统;步骤B、在气象平台创建一组测试文件;步骤C、在气象平台安装IOzone,并基于该安装的IOzone以及上述步骤B中所创建的各测试文件,建立步骤A中所部署的高性能文件系统的数据读写模型;步骤D、依据步骤C中建立的数据读写模型,配置上述IOzone支持的进程数及上述IOzone读写数据块的大小;步骤E、基于步骤D中所作的配置,编写自动化测试脚本,以调用步骤C中所建立的数据读写模型,对气象平台的数据读写性能进行测试。其中,上述步骤C中建立的数据读写模型包括单流数据读写模型。其中,上述步骤C中建立的数据读写模型还包括多流数据读写模型。其中,所述单流数据读写模型的实现方法包括步骤:s1、从所述气象平台的各计算节点中选出一组计算节点;s2、遍历上述步骤s1中选出的各计算节点,分别采用单进程对当前遍历出的各相应计算节点进行数据读写性能测试。进一步地,所述步骤s1基于上述步骤A中所部署的高性能文件系统的IO通路的长短进行相应计算节点的选择,且该步骤s1中选出的各相应的计算节点包括:IO通路最长的计算节点、IO通路长度居中的计算节点,以及IO通路最短的计算节点。进一步地,上述步骤s2中进行的数据读写性能测试包括以下读写操作:Write,Re-write,Read,Re-Read,RandomRead,RandomWrite,RandomMix,BackwardsRead,RecordRewrite,StridedRead,Fwrite,Frewrite,Fread,Freread,WritewithMmap,RewritewithMmap,Readerwithmmap,Re-readerwithmmap,WriterPosixAsyncI/O,Re-writerPosixAsyncI/O,ReaderPosixAsyncI/O,Re-readerPosixAsyncI/O。其中,所述多流数据读写模型的实现方法包括步骤:步骤p1、分别为上述气象平台的各计算节点设置多进程;步骤p2、控制上述气象平台的各计算节点分别依据预先设定的读写操作,通过并发运行步骤p1中为其各自设置的相应多进程,进行上述气象平台的数据读写测试。其中,步骤p1中为所述的各计算节点设置的多进程包括:64进程、128进程、256进程和512进程。其中,上述步骤p2中所述的预先设定的读写操作包括:Write、Re-write、Read和Re-read。其中,所述的高性能文件系统为Lustre文件系统、gpfsFS文件系统、HDFS文件系统、Ceph文件系统、GridFS文件系统、mogileFS文件系统、TFS文件系统、FastDFS文件系统中任意一种文件系统。与现有技术相比,本专利技术的优点在于:本专利技术基于IOzone模拟气象应用中对数据存储的读写,不需要实际安装并运行气象应用软件,即可完成对气象平台数据存储性能的评估测试,环境部署简单、测试周期短。由此可见,本专利技术与现有技术相比,具有突出的实质性特点和显著的进步,其实施的有益效果也是显而易见的。附图说明图1为本专利技术所述基于IOzone模拟气象平台应用的数据读写测试方法的方法流程图。具体实施方式为使本专利技术的技术方案和优点更加清楚,下面将结合附图,对本专利技术的技术方案进行清楚、完整地描述。具体实施方式1:图1为本专利技术所述的基于IOzone模拟气象平台应用的数据读写测试方法的一种具体实施方式。其中,该基于IOzone模拟气象平台应用的数据读写测试方法,包括以下步骤:步骤A、在气象平台部署高性能文件系统。本实施方式中,所述的高性能文件系统采用Lustre文件系统,即实施时,在气象平台的各计算节点(本实施方式中有8个计算节点)部署Lustre文件系统。其中,Lustre文件系统的Server端的部署方法为,在Linux环境下,安装如下软件包:kernel-2.6.32-504.8.1.el6_lustre.x86_64.rpm;kernel-debuginfo-2.6.32-504.8.1.el6_lustre.x86_64.rpm;kernel-debuginfo-common-x86_64-2.6.32-504.8.1.el6_lustre.x86_64.rpm;kernel-devel-2.6.32-504.8.1.el6_lustre.x86_64.rpm;kernel-firmware-2.6.32-504.8.1.el6_lustre.x86_64.rpm;kernel-headers-2.6.32-504.8.1.el6_lustre.x86_64.rpm;lustre-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm;lustre-debuginfo-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm;lustre-dkms-2.7.0-1.el6.noarch.rpm;lustre-iokit-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm;lustre-modules-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm;lustre-osd-ldiskfs-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm;lustre-osd-ldiskfs-mount-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm;lustre-osd-zfs-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm;lustre-osd-zfs-mount-2.7.0-2.6.32_504.8.1.el6_lustre.x86_64.x86_64.rpm;lustre-source-2.7本文档来自技高网...
一种基于IOzone模拟气象平台应用的数据读写测试方法

【技术保护点】
一种基于IOzone模拟气象平台应用的数据读写测试方法,其特征在于,包括:步骤A、在气象平台部署高性能文件系统;步骤B、在气象平台创建一组测试文件;步骤C、在气象平台安装IOzone,并基于该安装的IOzone以及上述步骤B中所创建的各测试文件,建立步骤A中所部署的高性能文件系统的数据读写模型;步骤D、依据步骤C中建立的数据读写模型,配置上述IOzone支持的进程数及上述IOzone读写数据块的大小;步骤E、基于步骤D中所作的配置,编写自动化测试脚本,以调用步骤C中所建立的数据读写模型,对气象平台的数据读写性能进行测试。

【技术特征摘要】
1.一种基于IOzone模拟气象平台应用的数据读写测试方法,其特征在于,包括:步骤A、在气象平台部署高性能文件系统;步骤B、在气象平台创建一组测试文件;步骤C、在气象平台安装IOzone,并基于该安装的IOzone以及上述步骤B中所创建的各测试文件,建立步骤A中所部署的高性能文件系统的数据读写模型;步骤D、依据步骤C中建立的数据读写模型,配置上述IOzone支持的进程数及上述IOzone读写数据块的大小;步骤E、基于步骤D中所作的配置,编写自动化测试脚本,以调用步骤C中所建立的数据读写模型,对气象平台的数据读写性能进行测试。2.根据权利要求1所述的基于IOzone模拟气象平台应用的数据读写测试方法,其特征在于,上述步骤C中建立的数据读写模型包括单流数据读写模型。3.根据权利要求2所述的基于IOzone模拟气象平台应用的数据读写测试方法,其特征在于,上述步骤C中建立的数据读写模型还包括多流数据读写模型。4.根据权利要求2或3所述的基于IOzone模拟气象平台应用的数据读写测试方法,其特征在于,所述单流数据读写模型的实现方法包括步骤:s1、从所述气象平台的各计算节点中选出一组计算节点;s2、遍历上述步骤s1中选出的各计算节点,分别采用单进程对当前遍历出的各相应计算节点进行数据读写性能测试。5.根据权利要求4所述的基于IOzone模拟气象平台应用的数据读写测试方法,其特征在于,进一步地,所述步骤s1基于上述步骤A中所部署的高性能文件系统的IO通路的长短进行相应计算节点的选择,且该步骤s1中选出的各相应的计算节点包括:IO通路最长的计算节点、IO通路长度居中的计算节点,以及IO通路最短的计算节点。6.根据权利要求4所述的基于IOzone模拟气象平台应用的数据读写测试方法,其特征在于,上述步骤s2中进行的数据读写性能测试包括以下读写操作:Wr...

【专利技术属性】
技术研发人员:秦璞
申请(专利权)人:郑州云海信息技术有限公司
类型:发明
国别省市:河南,41

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1