一种基于Linux系统小文件预读功能的可靠性测试方法技术方案

本发明专利技术提出了一种基于Linux系统小文件预读功能的可靠性测试方法，首先在存储端修改配置，添加预读功能，并将配置同步至其他节点，重启元数据服务器。其次在客户端开启数据预读开关，配置后重新挂载客户端。检测core文件的生成是否收到限制，改为无限制。创建/core目录，并将./目录下所有生成的core文件均放置该目录下。预先填充数据，运行性能测试负载工具vdbench，写入大量的小文件，在压力机上同时运行性能测试工具，执行读写操作。该脚本可执行24小时以上，查看core目录下是否有core文件，用来检测文件预读功能的可靠性，查看存储端的nfs进程是否存在、系统状态是否正常，用来验证系统的稳定性。

【技术实现步骤摘要】
一种基于Linux系统小文件预读功能的可靠性测试方法
本专利技术涉及数据读取
，更具体的说是涉及一种基于Linux系统小文件预读功能的可靠性测试方法。
技术介绍
Linux系统很重要的一个性能提升点就是它的Pagecache，因为内存比IO快太多了，所以大家都想尽办法来利用这个cache。文件系统也不例外，为了达到高性能，文件读取通常采用预读来预测用户的行为，把用户可能需要的数据预先读取到cache去，达到高性能的目的。由于预读可以有效的减少磁盘的寻道次数和应用程序的I/O等待时间，是改进磁盘读I/O性能的重要优化手段之一。针对此功能的客户有很多，比如车流量检测中车辆识别拍照等，每天都会产生几百万的文件，日积月累，小文件的预读量是海量的，一旦程序崩溃，造成系统发生故障，将会对客户造成难以挽回的损失。因此，针对小文件预读的功能。需要一种可靠性方法，用来检测该功能的可靠性和系统的稳定性。
技术实现思路
针对以上问题，本专利技术的目的在于提供一种基于Linux系统小文件预读功能的可靠性测试方法，通过创建大量的小文件进行长时间的压力读写，并通过监测core目录，来检测文件预读功能的可靠性，在验证该功能的同时，还可验证整个系统的稳定性与可靠性。本专利技术为实现上述目的，通过以下技术方案实现：一种基于Linux系统小文件预读功能的可靠性测试方法，包括如下步骤：步骤1：在存储端修改配置，添加预读功能；步骤2：重启mds(MetadataServer),重启nfs(NetworkFileSystem)功能；步骤3：在客户端配置文件预读开关，并开启文件预读功能；步骤4：重新挂载客户端；步骤5：将客户端core文件的数量改为无限制，将core文件转存至/core目录下；步骤6：预先填充数据，运行性能测试负载工具，写入大量小文件；步骤7：在压力机上运行性能测试工具，执行读写操作；步骤8：设置运行时间，并运行脚本；步骤9：脚本运行结束后查看客户端的core目录和存储端的nfs进程，若core目录下无core文件且nfs进程存在、系统状态正常，则测试成功，文件预读功能正常。进一步，在客户端配置文件预读开关，并开启文件预读功能之前，先在存储端创建nfs共享目录nfstest1，并将其共享给本地IP用户。进一步，重新挂载客户端时，挂载点为/mnt/icfs/dir1。进一步，所述性能测试负载工具为vdbench。进一步，所述步骤6具体为：预先填充数据，运行性能测试负载工具，写入个六十万个128k的小文件。进一步，所述步骤7具体为：在压力机上同时运行性能测试工具，对写入的小文件以16个线程，每次i/o以64k大小的数据块进行顺序读和写。进一步，设置运行时间具体为：写操作运行时间设为3.5-4.5小时，读操作运行时间设为7.5-8.5小时。进一步，写操作运行时间设为4小时，读操作运行时间设为8小时。对比现有技术，本专利技术有益效果在于：本专利技术提出的一种基于Linux系统小文件预读功能的可靠性测试方法，首先在存储端修改配置，添加预读功能，并将配置同步至其他节点，重启元数据服务器。由于本专利采用nfs网络文件系统挂载，故需重启nfs功能。其次在客户端开启数据预读开关，配置后重新挂载客户端。检测core文件的生成是否收到限制，改为无限制。创建/core目录，并将./目录下所有生成的core文件均放置该目录下。预先填充数据，运行性能测试负载工具vdbench，写入六十万个128k的小文件，在压力机上同时运行性能测试工具，执行读写操作。该脚本可执行24小时以上，查看core目录下是否有core文件，用来检测文件预读功能的可靠性，查看存储端的nfs进程是否存在、系统状态是否正常，用来验证系统的稳定性。本专利技术在验证小文件预读功能的同时，可验证整个系统的稳定性与可靠性，通过自动运行脚本实现，减少了工作时间，提高整体的工作效率。由于本专利技术适用于多种分布式文件存储场景，可用性强。由此可见，本专利技术与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。附图说明附图1是本专利技术的方法流程图。具体实施方式下面结合附图对本专利技术的具体实施方式做出说明。如图1所示的一种基于Linux系统小文件预读功能的可靠性测试方法，包括如下步骤：步骤1：在存储端修改配置，添加预读功能；步骤2：重启mds(MetadataServer),重启nfs(NetworkFileSystem)功能；步骤3：在客户端配置文件预读开关，并开启文件预读功能；步骤4：重新挂载客户端；步骤5：将客户端core文件的数量改为无限制，将core文件转存至/core目录下；步骤6：预先填充数据，运行性能测试负载工具，写入大量小文件；步骤7：在压力机上运行性能测试工具，执行读写操作；步骤8：设置运行时间，并运行脚本；步骤9：脚本运行结束后查看客户端的core目录和存储端的nfs进程，若core目录下无core文件且nfs进程存在、系统状态正常，则测试成功，文件预读功能正常。在上述基础上，具体的程序实现方法如下：1前置工作1.1在存储端添加预读配置。vi/etc/icfs/icfs.confclient_file_readahead＝truemds_md_readahead＝true重启mds，重启nfs服务systemctlrestarticfs-mds.targetsystemctlrestartganesha1.2在存储端创建nfs共享目录nfstest1，并将其共享给本地IP用户：100.7.32.165。mkdir/mnt/icfs/nfstest1icfs-admin-nfs–create–p/nfstest1–arw—icfs-admin-nfs–create–p/nfstest1–host100.7.32.165–arw-1.3客户端数据中配置文件预读开关。vi/etc/icfs/icfs.confclient_file_readahead＝true配置后挂载客户端，挂载点为/mnt/icfs/dir1。mkdir/mnt/icfs/dir1mount–tnfs100.7.40.173:/nfstest1/mnt/icfs/dir1–over＝3将客户端core文件的数量改为无限制，将core文件转存至/core目录下。ulimit–cunlimitedmv/ll./|core*/core2脚本的自动化实现2.1预先填充数据，运行性能测试负载工具vdbench，写入个六十万个128k的小文件。系统定义设置如下：fsd＝fsd1,anchor＝/mnt/icfs/dir1,depth＝2,width＝4,files＝40000,size＝128k2.2在压力机上同时运行性能测试工具，对上述写入的小文件以16个线程，每次i/o以64k大小的数据块进行顺序读和写，负载参数设计如下：fwd＝fwd2,fsd＝fsd1,operation＝write,xfersize＝64K,fileio＝sequential,fileselect＝sequential,threads＝16fwd＝fwd3,fsd＝fsd1,operation＝read,xfersize＝64K,fileio＝本文档来自技高网...

【技术保护点】
1.一种基于Linux系统小文件预读功能的可靠性测试方法，其特征在于，包括如下步骤：步骤1：在存储端修改配置，添加预读功能；步骤2：重启mds(Metadata Server),重启nfs (Network File System)功能；步骤3：在客户端配置文件预读开关，并开启文件预读功能；步骤4：重新挂载客户端；步骤5：将客户端core文件的数量改为无限制，将core文件转存至/core目录下；步骤6：预先填充数据，运行性能测试负载工具，写入大量小文件；步骤7：在压力机上运行性能测试工具，执行读写操作；步骤8：设置运行时间，并运行脚本；步骤9：脚本运行结束后查看客户端的core目录和存储端的nfs进程，若core目录下无core文件且nfs进程存在、系统状态正常，则测试成功，文件预读功能正常。

【技术特征摘要】
1.一种基于Linux系统小文件预读功能的可靠性测试方法，其特征在于，包括如下步骤：步骤1：在存储端修改配置，添加预读功能；步骤2：重启mds(MetadataServer),重启nfs(NetworkFileSystem)功能；步骤3：在客户端配置文件预读开关，并开启文件预读功能；步骤4：重新挂载客户端；步骤5：将客户端core文件的数量改为无限制，将core文件转存至/core目录下；步骤6：预先填充数据，运行性能测试负载工具，写入大量小文件；步骤7：在压力机上运行性能测试工具，执行读写操作；步骤8：设置运行时间，并运行脚本；步骤9：脚本运行结束后查看客户端的core目录和存储端的nfs进程，若core目录下无core文件且nfs进程存在、系统状态正常，则测试成功，文件预读功能正常。2.根据权利要求1所述的基于Linux系统小文件预读功能的可靠性测试方法，其特征在于：在客户端配置文件预读开关，并开启文件预读功能之前，先在存储端创建nfs共享目录nfstest1，并将其共享给本地IP用户。3.根据权利要求1所述的基于Li...

【专利技术属性】
技术研发人员：李婷婷，刘颖，李玲侠，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41