一种基于分布式文件系统数据限流测试方法与系统技术方案

本发明专利技术提供了一种基于分布式文件系统数据限流测试方法与系统，本发明专利技术通过在数据限流前后对集群稳定性进行测试，包括检查集群当前读写以及任务规模、大规模并发执行数据读写时间以及带宽占用记录、大规模并发执行计算、流任务时间以及带宽占用记录，并对数据限流前后进行数据对比，从而评估生产环境中大规模HDFS集群数据限流是否能达到数据限流效益，以准确评估数据限流策略达到的效果，为HDFS数据限流技术革新提供评估结果，为大数据集群稳定性提高一个维度。

A method and system of data current limiting test based on distributed file system

【技术实现步骤摘要】
一种基于分布式文件系统数据限流测试方法与系统
本专利技术涉及服务器集群
，特别是一种基于分布式文件系统数据限流测试方法与系统。
技术介绍
随着Hadoop社区技术发展，HDFS陆陆续续支持不同的存储策略来应对不同温度的数据，采用SSM实现更加智能化的存储管理，HDFS高可用也陆陆续续完善，已经实现联邦应对更高数据级的大规模集群数据。随着数据量日益剧增，高存储效率、高可靠的完善均走在前一步，但大规模集群数量以指数上升的今天，底层数据节点已经出现了力不从心状态，集群中源源不断的有数据存储进来，有任务运行起来，软件层面的存储效率和计算力已经有SSM和更高计算力的Spark、Flink等完善，但这样源源不断的数据流和任务占尽了大量的网络带宽，大规模集群中的数据读写非常频繁，数据传数量很大，计算、流类任务量大，一台机器的网络带宽必定是有限的，如果带宽被这台机器上的某些任务用满的话，就会造成正常任务网络传输数据受到影响。如果带宽长时间被打满，还会造成机器IO报警，限流的目的正在于此。可能造成网络带宽迅速被占满的不一定都是恶意的程序或服务，程序中一个疏本文档来自技高网...

【技术保护点】
1.一种基于分布式文件系统数据限流测试方法，其特征在于，所述方法包括以下操作：/n在数据限流前后分别执行集群稳定性测试，包括检查集群当前读写以及任务规模、记录大规模并发执行数据读写时间以及带宽占用、记录大规模并发执行计算、流任务时间以及带宽占用；/n对数据限流前后的读写类数据、计算类数据以及流类数据进行数据对比，评估当前数据限流策略是否满足要求。/n

【技术特征摘要】
1.一种基于分布式文件系统数据限流测试方法，其特征在于，所述方法包括以下操作：
在数据限流前后分别执行集群稳定性测试，包括检查集群当前读写以及任务规模、记录大规模并发执行数据读写时间以及带宽占用、记录大规模并发执行计算、流任务时间以及带宽占用；
对数据限流前后的读写类数据、计算类数据以及流类数据进行数据对比，评估当前数据限流策略是否满足要求。


2.根据权利要求1所述的一种基于分布式文件系统数据限流测试方法，其特征在于，所述记录大规模并发执行数据读写时间以及带宽占用具体为：
数据限流前：执行随机大小文件并发读写任务，记录当前并发读写时间T1-0，记录任务执行过程中集群带宽占用率BW1-0；
数据限流后：执行相同数量随机大小文件并发读写任务，记录当前并发读写时间T1-1，记录任务执行过程中集群带宽占用率BW1-1。


3.根据权利要求1所述的一种基于分布式文件系统数据限流测试方法，其特征在于，所述记录大规模并发执行计算、流任务时间以及带宽占用具体为：
数据限流前：执行随机大小文件Wordcount任务，记录当前Wordcount任务所用时间T2-0，记录任务执行过程中集群带宽占用率BW2-0；执行随机大小Hive表去重任务，并将完成后的表通过Kafka存储到HDFS，记录当前Hive去重任务所用时间T3-0，记录任务执行过程中集群带宽占用率BW3-0；
数据限流后：执行相同数量随机大小文件Wordcount任务，记录当前Wordcount任务所用时间T2-1，记录任务执行过程中集群带宽占用率BW2-1；执行相同数量随机大小Hive表去重任务，并将完成后的表通过Kafka存储到HDFS，记录当前Hive去重任务所用时间T3-1，记录任务执行过程中集群带宽占用率BW3-1。


4.根据权利要求3所述的一种基于分布式文件系统数据限流测试方法，其特征在于，当读写类数据存在以下情况时：
T1-1>T1-0且BW1-1&l...

【专利技术属性】
技术研发人员：张东东，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32