一种分布式存储系统的小文件读写性能测试方法及装置制造方法及图纸

本发明专利技术实施例公开了一种分布式存储系统的小文件读写性能测试方法、装置、设备及计算机可读存储介质。其中，方法包括接收用户输入的性能测试信息，根据性能测试信息创建多个执行线程，利用各执行线程同时通过调用CEPH分布式存储系统的动态库中的接口，根据性能测试信息对CEPH分布式存储系统中进行读写操作，并记录各线程每次读写完成一次小文件的时间及相应小文件的大小；根据性能测试信息、记录的信息计算各线程读写小文件的总数据量、总时间及总文件个数，以用于衡量分布式存储系统的小文件读写性能。避免了CEPH分布式存储系统小文件读写性能测试受客户端或协议的干扰，提高了CEPH分布式存储系统小文件读写性能测试的准确性。

A method and device for testing the performance of a small file reading and writing in a distributed storage system

An embodiment of the invention discloses a method, device, equipment and a computer readable storage medium for a small file reading and writing performance testing method in a distributed storage system. The method includes performance test information receiving user input, create multiple threads of execution information according to the performance test, using the thread of execution at the same time through the dynamic library distributed storage system call interface in CEPH, according to the performance test information of CEPH distributed storage system to read and write operations, and record the read and write complete thread a small file time and the corresponding small file size; according to the performance test information, record information to calculate the total thread to read write data of small files, the total amount of time and the total number of files, which is used to measure the small file distributed storage system read and write performance. It avoids the interference of the small file read and write performance test of CEPH distributed storage system by the client or protocol, and improves the accuracy of CEPH distributed storage system small file read and write performance test.

【技术实现步骤摘要】
一种分布式存储系统的小文件读写性能测试方法及装置
本专利技术实施例涉及分布式存储
，特别是涉及一种分布式存储系统的小文件读写性能测试方法、装置、设备及计算可读机存储介质。
技术介绍
分布式存储系统，将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，同时存在着可靠性和安全性隐患，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，不但可提高系统的可靠性、可用性和存取效率，还易于扩展。CEPH为一种扩展性高、可靠性高、性能高的分布式存储系统，支持文件系统，块存储，对象存储；借助于OpenStack快速的发展和其开源特性，吸引了越来越多的开发者在生产环境实践和探索。CEPH依靠其提供的统一存储系统，被广泛应用于云数据中心建设中。在CEPH分布式存储系统中，大多数数据存储时为低于1M的小文件，例如在动漫场景中，且小文件的数量较多，那么对处理小文件性能进行测试和调试，为CEPH分布式存储系统的关键的一环。在对CEPH分布式存储系统进行读写时，一般通过客户端进行读写，例如fuse，还可通过协议进行挂载，例如samba、cifs等。由于客户端和协议性能的限制，很难对分布式集群进行压力测试，即使进行测试，测试结果中会掺杂客户端和协议的影响因素，无法准确判断CEPH分布式存储系统的读写性能。鉴于此，如何在对CEPH分布式存储系统的小文件读写性能进行测试时排除客户端和协议的影响，获得准确的小文件读写性能测试结果，是本领域技术人员亟待解决的问题。
技术实现思路
本专利技术实施例的目的是提供一种分布式存储系统的小文件读写性能测试方法、装置、设备及计算可读机存储介质，以解决客户端与协议挂载对CEPH分布式存储系统集群性能的干扰的问题，从而提高CEPH分布式存储系统的小文件读写性能测试的准确性。为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种分布式存储系统的小文件读写性能测试方法，包括：接收用户输入的性能测试信息，所述性能测试信息包括待测小文件的参数信息；根据所述性能测试信息创建多个执行线程，利用各执行线程同时通过调用CEPH分布式存储系统的动态库中的接口，根据所述性能测试信息对所述CEPH分布式存储系统中进行读写操作，并记录各执行线程每次读写完成一次小文件的时间及相应小文件的大小；根据所述性能测试信息、记录的信息计算各执行线程读写小文件的总数据量、总时间及总文件个数，以用于衡量所述CEPH分布式存储系统的小文件读写性能。可选的，所述性能测试信息包括：待测小文件的数量、大小范围、读写方式、线程数；所述待测小文件的读写方式包括顺序读写或随机读写。可选的，所述根据所述性能测试信息创建多个执行线程为：根据所述性能测试信息中的线程数创建多个执行线程，所述执行线程的个数与所述线程数相同。可选的，所述利用各执行线程同时通过调用CEPH分布式存储系统的动态库中的接口，根据所述性能测试信息对所述CEPH分布式存储系统中进行读写操作包括：根据所述待测小文件的数量及大小范围随机产生满足条件的多个小文件；每个执行线程通过调用CEPH分布式存储系统的动态库中的接口，向CEPH分布式存储系统按照读写方式对小文件进行读写，读写的小文件个数为所述性能测试信息中待测小文件的数量。可选的，所述向CEPH分布式存储系统按照读写方式对小文件进行读写包括：判断当前小文件的读取方式是否为顺序读写；若是，则按照所述当前小文件内容顺序向CEPH分布式存储系统进行读写；若否，则调整所述当前小文件描述符的位置，向CEPH分布式存储系统随机读写所述当前小文件内容。可选的，所述计根据所述性能测试信息、记录的信息计算各执行线程读写小文件的总数据量、总时间及总文件个数包括：获取各执行线程每次读写完成一次小文件的时间及相应小文件的大小；根据所述性能测试信息、各执行线程每次读写完成一次小文件的时间及相应小文件的大小计算各执行线程读写小文件的总数据量、总时间及总文件数；根据各执行线程读写小文件的总数据量、总时间及总文件数，计算相应线程的读写速率、每秒读写的数据量及每秒读写的小文件数。本专利技术实施例另一方面提供了一种分布式存储系统的小文件读写性能测试装置，包括：获取测试信息模块，用于接收用户输入的性能测试信息，所述性能测试信息包括待测小文件的参数信息；读写测试执行模块，用于根据所述性能测试信息创建多个执行线程，利用各执行线程同时通过调用CEPH分布式存储系统的动态库中的接口，根据所述性能测试信息对所述CEPH分布式存储系统中进行读写操作，并记录各执行线程每次读写完成一次小文件的时间及相应小文件的大小；性能测试结果模块，用于根据所述性能测试信息、记录的信息计算各执行线程读写小文件的总数据量、总时间及总文件个数，以用于衡量所述CEPH分布式存储系统的小文件读写性能。可选的，所述读写测试执行模块包括：信息获取单元，用于获取各执行线程每次读写完成一次小文件的时间及相应小文件的大小；第一计算单元，用于根据所述性能信息、各执行线程每次读写完成一次小文件的时间及相应小文件的大小计算各执行线程读写小文件的总数据量、总时间及总文件数；第二计算单元，用于根据各执行线程读写小文件的总数据量、总时间及总文件数，计算相应线程的读写速率、每秒读写的数据量及每秒读写的小文件数。本专利技术实施例还提供了一种分布式存储系统的小文件读写性能测试设备，包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时，实现如前任一项所述分布式存储系统的小文件读写性能测试方法的步骤。本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有分布式存储系统的小文件读写性能测试程序，所述分布式存储系统的小文件读写性能测试程序被处理器执行时，实现前任一项所述分布式存储系统的小文件读写性能测试方法的步骤。本专利技术实施例提供了一种分布式存储系统的小文件读写性能测试方法，接收用户输入的性能测试信息，根据性能测试信息创建多个执行线程，利用各执行线程同时通过调用CEPH分布式存储系统的动态库中的接口，根据性能测试信息对CEPH分布式存储系统中进行读写操作，并记录各线程每次读写完成一次小文件的时间及相应小文件的大小；根据性能测试信息、记录的信息计算各线程读写小文件的总数据量、总时间及总文件个数，以用于衡量分布式存储系统的小文件读写性能。本申请提供的技术方案的优点在于，直接调用CEPH分布式存储系统集群的动态库来实现对CEPH分布式存储系统的小文件读写测试，无需挂载在客户端或利用协议挂载，从而避免了在CEPH分布式存储系统进行小文件读写性能测试中受客户端或协议的干扰，提高了CEPH分布式存储系统小文件读写性能测试的准确性，获得准确的小文件读写性能测试结果；此外，还有利于间接的定位客户端或协议挂载中是否存在影响小文件读写性能的问题。此外，本专利技术实施例还针对分布式存储系统的小文件读写性能测试方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。附图说明为了更清楚的说明本专利技术实施例或现有技术本文档来自技高网...

【技术保护点】
一种分布式存储系统的小文件读写性能测试方法，其特征在于，包括：接收用户输入的性能测试信息，所述性能测试信息包括待测小文件的参数信息；根据所述性能测试信息创建多个执行线程，利用各执行线程同时通过调用CEPH分布式存储系统的动态库中的接口，根据所述性能测试信息对所述CEPH分布式存储系统中进行读写操作，并记录各执行线程每次读写完成一次小文件的时间及相应小文件的大小；根据所述性能测试信息、记录的信息计算各执行线程读写小文件的总数据量、总时间及总文件个数，以用于衡量所述CEPH分布式存储系统的小文件读写性能。

【技术特征摘要】
1.一种分布式存储系统的小文件读写性能测试方法，其特征在于，包括：接收用户输入的性能测试信息，所述性能测试信息包括待测小文件的参数信息；根据所述性能测试信息创建多个执行线程，利用各执行线程同时通过调用CEPH分布式存储系统的动态库中的接口，根据所述性能测试信息对所述CEPH分布式存储系统中进行读写操作，并记录各执行线程每次读写完成一次小文件的时间及相应小文件的大小；根据所述性能测试信息、记录的信息计算各执行线程读写小文件的总数据量、总时间及总文件个数，以用于衡量所述CEPH分布式存储系统的小文件读写性能。2.根据权利要求1所述的分布式存储系统的小文件读写性能测试方法，其特征在于，所述性能测试信息包括：待测小文件的数量、大小范围、读写方式、线程数；所述待测小文件的读写方式包括顺序读写或随机读写。3.根据权利要求2所述的分布式存储系统的小文件读写性能测试方法，其特征在于，所述根据所述性能测试信息创建多个执行线程为：根据所述性能测试信息中的线程数创建多个执行线程，所述执行线程的个数与所述线程数相同。4.根据权利要求2所述的分布式存储系统的小文件读写性能测试方法，其特征在于，所述利用各执行线程同时通过调用CEPH分布式存储系统的动态库中的接口，根据所述性能测试信息对所述CEPH分布式存储系统中进行读写操作包括：根据所述待测小文件的数量及大小范围随机产生满足条件的多个小文件；每个执行线程通过调用CEPH分布式存储系统的动态库中的接口，向CEPH分布式存储系统按照读写方式对小文件进行读写，读写的小文件个数为所述性能测试信息中待测小文件的数量。5.根据权利要求4所述的分布式存储系统的小文件读写性能测试方法，其特征在于，所述向CEPH分布式存储系统按照读写方式对小文件进行读写包括：判断当前小文件的读取方式是否为顺序读写；若是，则按照所述当前小文件内容顺序向CEPH分布式存储系统进行读写；若否，则调整所述当前小文件描述符的位置，向CEPH分布式存储系统随机读写所述当前小文件内容。6.根据权利要求1至5任意一项所述的分布式存储系统的小文件读写性能测试方法，其特征在于，所述计根据所述性能测试信息、记录的信息计算各执行线程读写小文...

【专利技术属性】
技术研发人员：安祥文，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41