一种分布式文件系统的并行性能评估方法和装置制造方法及图纸

本发明专利技术公开一种分布式文件系统的并行性能评估方法和装置，其中，该分布式文件系统的并行性能评估方法包括：当侦测到分布式文件系统的文件操作时，获取每种文件操作类型对应的IO并行数量信息；根据文件操作类型对应的唯一标识，统计每种文件操作类型对应的IO运行时间信息；根据IO并行数量信息和IO运行时间信息，评估分布式文件系统的并行性能。本发明专利技术的技术方案能解决现有技术中分布式文件系统的并行性能检测误差较大的问题。性能检测误差较大的问题。性能检测误差较大的问题。

【技术实现步骤摘要】
一种分布式文件系统的并行性能评估方法和装置


[0001]本专利技术涉及分布式系统
，尤其涉及一种分布式文件系统的并行性能评估方法和装置。

技术介绍

[0002]分布式文件系统，是指文件管理的物理存储资源并不直连在本地节点，而是通过计算机网络与节点相连而形成的系统。由于分布式文件系统中文件的物理存储资源可能分布在不同的节点上，因此需要通过计算机网络进行IO数据的传输。
[0003]为了保证分布式文件系统中不同节点的IO数据的可靠传输，需要对分布式文件系统进行并行性能的评估。通常情况下分布式文件系统的并行性能取决于分布式文件系统的带宽和每秒读写次数IOPS，而分布式文件系统的带宽和IOPS由分布式文件系统的IO并行数以及运行时间决定。
[0004]然而，目前为了检测分布式文件系统的并行性能，通常是使用统计工具对分布式文件的带宽和IOPS进行统计，具体方法是通过分布式文件系统的文件大小除以读写耗时。这样无法预估系统运行过程中的IO并发数以及IO运行时间，导致分布式文件系统的并行性能检测误差较大。

技术实现思路

[0005]本专利技术提供了一种分布式文件系统的并行性能评估方法和装置，旨在解决现有技术中的分布式文件系统的并行性能检测误差较大的问题。
[0006]根据本专利技术的第一方面，本专利技术提供了一种分布式文件系统的并行性能评估方法，包括：
[0007]当侦测到分布式文件系统的文件操作时，获取每种文件操作类型对应的IO并行数量信息；
[0008]根据文件操作类型对应的唯一标识，统计每种文件操作类型对应的IO运行时间信息；
[0009]根据IO并行数量信息和IO运行时间信息，评估分布式文件系统的并行性能。
[0010]优选地，上述获取每种文件操作类型对应的IO并行数量信息的步骤，包括：
[0011]记录文件操作触发文件锁前的IO数量，作为第一IO数量；
[0012]记录分布式文件系统释放文件锁时的IO数量，作为第二IO数量；
[0013]使用第一IO数量和第二IO数量，计算得到IO并行数量信息。
[0014]优选地，上述根据文件操作类型对应的唯一标识，统计每种文件类型对应的IO运行时间信息的步骤，包括：
[0015]当文件操作触发文件锁之前，为每个IO分配唯一标识；
[0016]记录从分配唯一标识的时刻至释放文件锁的时刻，作为本次文件操作对应的IO运行时间。
[0017]优选地，上述IO并行数量信息包括平均IO并行数量，IO运行时间信息包括平均IO运行时长；评估分布式文件系统的并行性能的步骤，包括：
[0018]使用平均IO并行数量和平均IO运行时长之比，计算分布式文件系统的每秒读写次数；
[0019]以及，使用每秒读写次数和文件操作的数据块大小的乘积，计算分布式文件系统的带宽；
[0020]使用分布式文件系统的每秒读写次数和带宽，评估分布式文件系统的并行性能。
[0021]优选地，上述使用分布式文件系统的每秒读写次数和带宽，评估分布式文件系统的并行性能的步骤，包括：
[0022]获取每秒读写次数最大时对应的平均IO并行数量；
[0023]计算平均IO并行数量对应的文件操作进程数量；
[0024]调节分布式文件系统至平均IO并行数量对应的文件操作进程数量。
[0025]优选地，在统计每种文件操作类型对应的IO运行时间信息的步骤后，上述方法还包括：
[0026]根据IO运行时间信息，判断是否存在IO运行时间是否大于或等于预设时间阈值；
[0027]若判定存在IO的运行时间大于或等于预设时间阈值，则使用本次文件操作对应的文件位置和IO运行时间生成告警信息；
[0028]将告警信息记录至文件日志中。
[0029]根据本专利技术的第二方面，本专利技术还提供了一种分布式文件系统的并行性能评估装置，包括：
[0030]数量信息获取模块，用于当侦测到分布式文件系统的文件操作时，获取每种文件操作类型对应的IO并行数量信息；
[0031]时间信息统计模块，用于根据文件操作类型对应的唯一标识，统计每种文件操作类型对应的IO运行时间信息；
[0032]并行性能评估模块，用于根据IO并行数量信息和IO运行时间信息，评估分布式文件系统的并行性能。
[0033]优选地，上述时间信息统计模块，包括：
[0034]标识分配子模块，用于当文件操作触发文件锁之前，为每个IO分配唯一标识；
[0035]运行时间记录子模块，用于记录从分配唯一标识的时刻至释放文件锁的时刻，作为本次文件操作对应的IO运行时间。
[0036]优选地，上述并行性能评估模块，包括：
[0037]读写次数计算子模块，用于使用平均IO并行数量和平均IO运行时长之比，计算分布式文件系统的每秒读写次数；
[0038]带宽计算子模块，用于使用每秒读写次数和文件操作的数据块大小的乘积，计算分布式文件系统的带宽；
[0039]性能评估子模块，用于使用分布式文件系统的每秒读写次数和带宽，评估分布式文件系统的并行性能。
[0040]优选地，上述并行性能评估装置还包括：
[0041]运行时间判断模块，用于根据IO运行时间信息，判断是否存在IO运行时间是否大
于或等于预设时间阈值；
[0042]告警信息生成模块，用于若运行时间判断模块判定存在IO的运行时间大于或等于预设时间阈值时，使用本次文件操作对应的文件位置和IO运行时间生成告警信息；
[0043]告警信息记录模块，用于将告警信息记录至文件日志中。
[0044]综上，本申请提供的分布式文件系统的并行性能评估方案，通过侦测到分布式文件系统的文件操作时，例如读写操作，获取每种文件操作类型对应的IO并行数量信息，根据文件操作类型对应的唯一标识统计每种文件操作类型对应的IO运行时间信息，然后根据IO并行数量信息和IO运行时间信息评估分布式文件系统的并行性能。因为分布式文件系统的并行性能取决于分布式文件系统的带宽和读秒操作次数IPOS，分布式文件系统的带宽和读秒操作次数IOPS取决于IO并行数和运行时间，因此根据上述IO并行数量信息和IO运行时间信息能够准确评估分布式文件系统的并行性能。通过上述方式能够解决现有技术中分布式文件系统的并行性能检测误差较大的问题。
附图说明
[0045]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0046]图1是本专利技术实施例提供的第一种分布式文件系统的并行性能评估方法的流程示意图；
[0047]图2是图1所示实施例提供的一种IO并行数量信息获取方法的流程示意图；
[0048]图3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式文件系统的并行性能评估方法，其特征在于，包括：当侦测到所述分布式文件系统的文件操作时，获取每种文件操作类型对应的IO并行数量信息；统计每种文件操作类型对应的IO运行时间信息；根据所述IO并行数量信息和所述IO运行时间信息，评估所述分布式文件系统的并行性能。2.根据权利要求1所述的并行性能评估方法，其特征在于，所述获取每种文件操作类型对应的IO并行数量信息的步骤，包括：记录所述文件操作触发文件锁前的IO数量，作为第一IO数量；记录所述分布式文件系统释放所述文件锁时的IO数量，作为第二IO数量；使用所述第一IO数量和所述第二IO数量，计算得到所述IO并行数量信息。3.根据权利要求1或2所述的并行性能评估方法，其特征在于，所述统计每种文件类型对应的IO运行时间信息的步骤，包括：当所述文件操作触发文件锁之前，为每个IO分配唯一标识；记录从分配所述唯一标识的时刻至释放所述文件锁的时刻，作为本次文件操作对应的IO运行时间。4.根据权利要求1所述的并行性能评估方法，其特征在于，所述IO并行数量信息包括平均IO并行数量，所述IO运行时间信息包括平均IO运行时长；所述评估所述分布式文件系统的并行性能的步骤，包括：使用所述平均IO并行数量和所述平均IO运行时长之比，计算所述分布式文件系统的每秒读写次数；以及，使用所述每秒读写次数和所述文件操作的数据块大小的乘积，计算所述分布式文件系统的带宽；使用所述分布式文件系统的每秒读写次数和带宽，评估所述分布式文件系统的并行性能。5.根据权利要求4所述的并行性能评估方法，其特征在于，所述使用所述分布式文件系统的每秒读写次数和带宽，评估所述分布式文件系统的并行性能的步骤，包括：获取所述每秒读写次数最大时对应的平均IO并行数量；计算所述平均IO并行数量对应的文件操作进程数量；调节所述分布式文件系统至所述平均IO并行数量对应的文件操作进程数量。6.根据权利要求1所述的并行性能评估方法，其特征在于，在统计每种文件操作类型对应的IO...

【专利技术属性】
技术研发人员：张亚东，王帅阳，胡永刚，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：