一种非结构化分布式存储系统性能分析方法、系统及设备技术方案

本申请公开了一种非结构化分布式存储系统的性能分析方法、系统及设备，该方法包括：获取运行在服务器端的监测器监测到的监测数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作；获取客户端的性能数据；将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。本发明专利技术公开的性能分析方法，通过将获取到的上述性能数据和监测数据在同一参考时间轴上关联起来，进而实现对非结构化分布式存储系统进行更深层的性能分析与评测，帮助开发人员寻找与确定潜在的优化点，以实现对非结构化分布式存储系统的性能调优。

【技术实现步骤摘要】
一种非结构化分布式存储系统性能分析方法、系统及设备
本专利技术涉及分布式存储领域，特别涉及一种非结构化分布式存储系统的性能分析方法、系统及设备。
技术介绍
非结构化分布式存储技术是针对海量数据存储、数据高并发读写、高伸缩性的应用需求而产生的，其与传统关系型数据库系统的应用场景是不同的。由于非结构化分布式存储系统具有海量数据存储、高性能、高可用性、强伸缩性等特点，并且与传统关系型数据库的应用场景不同，传统关系型数据库的性能分析工具不能直接用于对非结构化分布式存储系统进行性能分析。现有技术中通过从客户端角度或从服务器端对非结构化分布式存储系统进行性能分析，然而前者只能用于帮助开发者针对自己的应用场景选择出合适的存储系统，并不能实现对非结构化分布式存储系统的性能调优；后者通常是用于已经发现了优化点或优化方式，或者己经明确了分析点，然后有针对性地进行监控，验证这些调优点或分析点对系统性能的影响，故在分析点不明确，或是没有明确优化点、优化途径下，并不能实现对非结构化分布式存储系统的性能调优。由此可见，如何实现对非结构化分布式存储系统进行深度性能分析与评测，帮助开发人员确定出潜在优化点或优化方式，以达到对非结构化分布式存储系统性能的调优的目的，是本领域技术人员亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种非结构化分布式存储系统的性能分析方法、系统及设备，能够实现对非结构化分布式存储系统进行深度性能分析与评测，帮助开发人员确定出潜在优化点或优化方式，以达到对非结构化分布式存储系统性能的调优的目的。其具体方案如下：本专利技术公开了一种非结构化分布式存储系统的性能分析方法，包括：获取运行在服务器端的监测器监测到的监测数据；获取客户端的性能数据；将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。优选的，所述获取运行在服务器端的监测器监测到的监测数据的步骤包括：获取运行在服务器端的任务执行监测器对系统的运行时行为和数据流活动进行监测得到的任务监测数据；获取运行在服务器端的系统信息监测器对系统资源使用情况进行监测得到的系统信息数据。优选的，所述获取运行在服务器端的任务执行监测器对系统的运行时行为和数据流活动进行监测得到的任务监测数据的步骤之前，还包括：所述任务执行监测器根据预先确定的数据流处理模型，对系统的运行时行为与数据流活动进行监测，得到任务监测数据，并将所述任务监测数据按照第一预设存储格式存储到服务器的系统本地文件中。优选的，所述获取运行在服务器端的系统信息监测器对系统资源使用情况进行监测得到的系统信息数据的步骤之前，还包括：所述系统信息监测器利用sysstat工具对系统资源进行监测，得到系统信息数据，并将所述系统信息数据按照第二预设存储格式存储到系统本地文件中。优选的，所述任务监测数据包括当前任务的时间戳、任务名、值域、线程名以及主机名。优选的，所述系统信息数据包括时间戳、系统信息类型、系统信息值以及主机名。优选的，所述获取客户端的性能数据的步骤，包括：根据预设的时间间隔，获取客户端的性能数据。优选的，所述性能分析结果的表现形式包括图和/或表。相应的，本专利技术还公开了一种非结构化分布式存储系统的性能分析系统，包括：监测数据获取模块，用于获取运行在服务器端的监测器监测到的监测数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作；性能数据获取模块，用于获取客户端的性能数据；数据分析模块，用于将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。相应的，本专利技术还公开了一种非结构化分布式存储系统的性能分析设备，包括存储器和处理器，其中，所述处理器用于执行所述存储器中存储的计算机程序以实现以下步骤：获取运行在服务器端的监测器监测到的监测数据；获取客户端的性能数据；将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。本专利技术公开的非结构化分布式存储系统的性能分析方法，包括：获取运行在服务器端的监测器监测到的监测数据；获取客户端的性能数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作；将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。从本专利技术公开的性能分析方法的技术方案可以看出，该方法中服务器端采用分布式插装监测机制，通过获取客户端获取到的性能数据和运行在服务器端的监测器监测到的监测数据，然后将获取到的上述性能数据和监测数据在同一参考时间轴上关联起来，进而实现对非结构化分布式存储系统进行更底层更深入的性能分析与评测，帮助开发人员寻找与确定潜在的优化点，以实现对非结构化分布式存储系统的性能调优。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例公开的一种非结构化分布式存储系统的性能分析方法流程图；图2为本专利技术实施例公开的一种具体的非结构化分布式存储系统的性能分析方法流程图；图3为本专利技术实施例公开的一种具体的非结构化分布式存储系统的性能分析方法中任务监测数据的存储格式示意图；图4为本专利技术实施例公开的一种具体的非结构化分布式存储系统的性能分析方法中系统信息数据存储格式示意图；图5为本专利技术实施例公开的一种非结构化分布式存储系统的性能分析系统结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种非结构化分布式存储系统的性能分析方法，参见图1所示，该方法包括：步骤S11：获取运行在服务器端的监测器监测到的监测数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作。其中，本申请实施例中的监测器是通过相应的技术手段插装在服务器端并且可以在该服务器端正常运行的监测器。上述检测数据可以具体包括系统运行时行为和数据流活动、系统信息数据。可以理解的是，如果每台服务器之间不进行时间同步，那么不同的服务器上的监测器监测到的数据是孤立的，无法放到同一时间轴上进行分析。步骤S12：获取客户端的性能数据。需要说明的是，上述性能数据为客户端模块从客户端角度收集到的系统整体性能数据。具体的，客户端模块主要负责生成如读请求、写请求、更新请求等数据操作负载，然后通过调用非结构化分布式处理系统的客户端API(ApplicationProgrammingInterface，即应用程序编程接口)将数据操作请求提交给存储系统进行处理，存储系统将执行结果返回给客户端，在这过程中，客户端模块可以从客户端角度定时收集系统的整体性能数据。步骤S13：将所述性能数据和所述监测数据在同一时间轴上本文档来自技高网...

【技术保护点】
一种非结构化分布式存储系统的性能分析方法，其特征在于，包括：获取运行在服务器端的监测器监测到的监测数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作；获取客户端的性能数据；将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。

【技术特征摘要】
1.一种非结构化分布式存储系统的性能分析方法，其特征在于，包括：获取运行在服务器端的监测器监测到的监测数据；其中，运行在不同服务器上的监测器在启动前均已进行时间同步操作；获取客户端的性能数据；将所述性能数据和所述监测数据在同一时间轴上进行关联，并对关联后的性能数据和监测数据进行分析，以生成相应的性能分析结果。2.根据权利要求1所述的性能分析方法，其特征在于，所述获取运行在服务器端的监测器监测到的监测数据的步骤包括：获取运行在服务器端的任务执行监测器对系统的运行时行为和数据流活动进行监测得到的任务监测数据；获取运行在服务器端的系统信息监测器对系统资源使用情况进行监测得到的系统信息数据。3.根据权利要求2所述的性能分析方法，其特征在于，所述获取运行在服务器端的任务执行监测器对系统的运行时行为和数据流活动进行监测得到的任务监测数据的步骤之前，还包括：所述任务执行监测器根据预先确定的数据流处理模型，对系统的运行时行为与数据流活动进行监测，得到任务监测数据，并将所述任务监测数据按照第一预设存储格式存储到服务器的系统本地文件中。4.根据权利要求2所述的性能分析方法，其特征在于，所述获取运行在服务器端的系统信息监测器对系统资源使用情况进行监测得到的系统信息数据的步骤之前，还包括：所述系统信息监测器利用sysstat工具对系统资源进行监测，得到系统信息数据，并将所述系统信息数据按照第二预设存储...

【专利技术属性】
技术研发人员：丁瑞锋，窦本君，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41