一种流量治理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供一种流量治理方法、装置、电子设备及存储介质，涉及分布式存储技术领域。其中，方法为：对跨机房传输的流量进行追踪，得到各流量信息，其中，每个流量信息包括：流量指标数据和流量指标数据的关联信息，关联信息包括：作业标识、用户标识、源节点标识以及目标节点标识；基于各流量信息，生成限流策略，并执行限流策略，其中，限流策略包括：针对各限流对象的对象限流策略，各限流对象为以下任一或组合：每个作业、每个用户、每个机房。这样，对跨机房传输的流量进行追踪，全面分析跨机房流量，对流量实施可感知、可追踪、可限速的控制机制，流量粒度精细到作业、用户和机房，实现精细化治理，同时，兼容性强，适用于多租户环境。

【技术实现步骤摘要】

本申请涉及分布式存储，尤其涉及一种流量治理方法、装置、电子设备及存储介质。

技术介绍

1、在分布式文件系统(如，hadoop分布式文件系统(hadoop distributed filesystem，hdfs))的双机房容灾部署中，跨机房数据传输面临网络延迟高、带宽消耗大的问题，因此，需要对跨机房流量进行治理。

2、现有技术中，阿里云的开源大数据开发平台(e-mapreduce，emr)采用hdfs的存储生命周期服务(hadoop distributed file system-storage lifecycle service，hdfs-sls)方案进行访问热路径分析；meta在其多数据中心hadoop中通过配额(quotas)+网络标签(networktagging)+延迟调度器(delayscheduler)实现跨区域流量控制。

3、然而，上述方式均为特定场景的定制化实现，缺乏通用性，无法满足多租户环境下细粒度和可扩展的流量治理需求。

技术实现思路

1、本申请实施例提供了一种流量本文档来自技高网...

【技术保护点】

1.一种流量治理方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述对跨机房传输的流量进行追踪，得到各流量信息，包括：

3.如权利要求2所述的方法，其特征在于，所述通过数据采集组件，采集各流量指标数据和所述各流量指标数据的关联信息，包括：

4.如权利要求1所述的方法，其特征在于，所述对跨机房传输的流量进行追踪，得到各流量信息之后，还包括：

5.如权利要求1所述的方法，其特征在于，所述各限流对象的对象限流策略包括：

6.如权利要求1所述的方法，其特征在于，所述限流策略还包括：

7.如权利要求5所述的方...

【技术特征摘要】

1.一种流量治理方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述对跨机房传输的流量进行追踪，得到各流量信息，包括：

3.如权利要求2所述的方法，其特征在于，所述通过数据采集组件，采集各流量指标数据和所述各流量指标数据的关联信息，包括：

4.如权利要求1所述的方法，其特征在于，所述对跨机房传输的流量进行追踪，得到各流量信息之后，还包括：

5.如权利要求1所述的方法，...

【专利技术属性】
技术研发人员：柳海源，冯春锋，李婉琪，王京，潘丹，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：