基于流式计算动态质量模型的手机流量分发方法技术

本发明专利技术涉及基于流式计算动态质量模型的手机流量分发方法，流量分发系统包括流量下发任务管理模块、用于综合分析通道质量的分析模型模块以及计算框架模块，计算框架模块包括通道质量实时计算子系统，采用park Stream+Spark SQL+Hadoop框架，分析模型模块包括流量通道分析子系统；流量下发任务管理模块分别与通道质量实时计算子系统以及流量通道分析子系统连接。本发明专利技术通过对各个流量分发通道(含电信运营商、第三方平台)进行监控、数据采集，并根据多维模型算法，动态计算，得出各个通道的质量综合评分；根据质量综合评分，用于来调度或优化流量分发通道选择，并支持流量分发负载均衡以及自动容错重发，确保流量分发的成功率和及时性。

【技术实现步骤摘要】

本专利技术涉及移动终端流量分发方法，更具体地说是指基于流式计算的移动终端流量分发系统及该移动终端流量分发方法。
技术介绍
随着4G网络的迅猛发展，电信运营商流量后向经营已经成为趋势，同时第三方手机流量分发平台也蓬勃发展，成为电信运营商流量分发的有益补充。目前电信运营商流量商及第三方分发平台涉及众多环节(运营商总部、分省、第三方、第三方上游等)，作为手机流量后向运营企业，对流量分发通道的管理基本上是无序的，无法及时掌握各个流量分发通道的可用性、成功率等信息，导致流量分发成功率低、到达及时性慢，导致众多用户投诉。目前的解决方案基本上为基于静态的调度以及人工设定流量下发通道，无法做到动态调度；并且，无法对众多流量通道进行综合评估，单一地以价格为主要衡量和使用标准，无法满足企业的特定需求。
技术实现思路
本专利技术的目的在于克服现有技术的缺陷，提供基于流式计算的移动终端流量分发系统及方法。为实现上述目的，本专利技术采用以下技术方案：基于流式计算的移动终端流量分发系统，包括流量下发任务管理模块、分析模型模块以及计算框架模块；所述流量下发任务管理模块用于调用所述流量下发任务管理模块内的数据的计算能力开放API、汇集历史数据以及下发通道；所述分析模型模块包括流量通道分析子系统，用于管理通道质量模型、设定通道阈值、分析成功率与及时率的趋势、通道下发请求、管理通道组、管理流量下发通道管理、管理通道供应商、综合分析通道质量以及维护通道信息，所述流量通道分析子系与所述流量下发任务管理模块连接；所述计算框架模块包括通道质量实时计算子系统，采用park Stream+Spark SQL+Hadoop框架，所述通道质量实时计算子系统与所述流量下发任务管理模块连接。其进一步技术方案为：还包括与所述流量下发任务管理模块连接的数据服务模块，所述数据服务模块用于处理历史流量分发记录以及通道质量数据。本专利技术还提供了基于流式计算的移动终端流量分发方法，包括以下具体步骤：步骤1.业务运营人员设定基础信息；步骤2.流量下发任务管理模块可定时调度通道分析模型，进行计算准实时模型，并保存计算结果；步骤3.流量下发网关接收到流量下发请求后，向流量下发任务管理请求最优通道；步骤4.流量下发任务管理模块先从本地缓存获取是否有合适的通道，
如有，则进行步骤8；如无合适通道，流量下发任务管理向通道质量实时计算子系统发起实时质量模型计算请求，进行下一步骤；步骤5.Kafka接收后做相应的处理后，再通过Spark Streaming分发至分布式计算；步骤6.Spark Streaming按预先设定的数据模型进行计算，并把计算结果保存，返回实时计算结果给流量下发任务管理模块；步骤7.流量下发任务管理模块同时查询通道历史分析结果，与实时计算结果汇总后，得出最优通道；步骤8.返回最优通道信息给流量下发网关；步骤9.流量下发网关调度该通道，通过通道下发流量；步骤10.流量下发网关返回流量下发结果。其进一步技术方案为：在所述步骤1中，业务运营人员针对以往的每个流量下发通道，按多个维度和相应权重进行质量模型的重新建模，同时结合每个通道在各个维度的历史趋势，预测实时下发的可能成功率，根据通道实时综合得分＝通道质量分+可能成功率，按照通道实时综合得分从高到底，进行排序，优先选择通道实时综合得分高的通道进行流量下发，并将该信息发送到流量下发任务管理模块。其进一步技术方案为：在所述步骤1中，根据各个流量分发上游通道的综合质量评分的同时，对通道的特征进行动态标签标示，企业在流量分发时可根据这些标签，选择合适的流量分发通道。其进一步技术方案为：所述质量模型包括通道成功率、通道及时性、通道价格、通道稳定性等多个维度，业务运营人员对建立多个所述维度后，并设定不同的权重。其进一步技术方案为：所述步骤2中，流量下发任务管理模块根据业务运营人员发送的质量模型，触发计算或分析请求，向流量通道分析子系统请求准实时模型分析，流量通道分析子系统根据质量模型预处理历史数据，并进行准实时模型分析，将该计算结构保存在流量通道分析子系统内。其进一步技术方案为：所述步骤3中，流量下发网关接收到CP流量下发请求后，发送下发通道选择请求到流量下发任务管理模块。其进一步技术方案为：在所述步骤4中，流量下发任务管理模块接收到下发通道选择请求后，利用最新本地缓存或最近使用原则进行通道预处理，若有合适的通道，则返回最优通道到流量下发网关，流量下发网关调度该通道，调度该通道，通过通道下发流量，并且返回下发结果。其进一步技术方案为：所述步骤7中，流量下发任务管理模块向流量通道分析子系统提出获取通道历史分析及趋势的请求，流量通道分析子系统将最新的通道历史分析及趋势发送到流量下发任务管理模块，流量下发任务管理模块将该通道历史分析及趋势结构与通道质量实时计算子系统发送的实时质量模型计算结果汇总后，得出最优通道。本专利技术与现有技术相比的有益效果是：本专利技术的基于流式计算的移动终端流量分发系统，通过设置流量通道分析子系统以及通道质量实时计算子系统，通道质量实时计算子系统采用park Stream+Spark SQL+Hadoop框架，对各个流量分发通道(含电信运营商、第三方平台)进行监控、数据采集，并根据多维模型算法，动态计算，得出各个通道的质量综合评分；根据质量综合评分，用于来调度或优化流量分发通道选择，并支持流量分发负载均衡以及自动容错重发，确保流量分发的成功率和及时性。下面结合附图和具体实施例对本专利技术作进一步描述。附图说明图1为本专利技术具体实施例提供的质量模型的结构示意图；图2为本专利技术具体实施例提供的基于Spark Stream流式计算流程框图；图3为本专利技术具体实施例提供的基于流式计算的移动终端流量分发方法的模块框图；图4为为本专利技术具体实施例提供的基于流式计算的移动终端流量分发方法的流程框图。附图标记10 流量下发任务管理模块 20 分析模型模块30 计算框架模块 40 数据服务模块具体实施方式为了更充分理解本专利技术的
技术实现思路
，下面结合具体实施例对本专利技术的技术方案进一步介绍和说明，但不局限于此。如图1～4所示的具体实施例，本实施例提供的基于流式计算的移动终端流量分发系统，可以运用在电信运营商流量分发过程中，实现对手机流量分发的动态调度。基于流式计算的移动终端流量分发系统，包括流量下发任务管理模块10、分析模型模块20以及计算框架模块30；其中，流量下发任务管理模块10用于计算能力开放API、汇集历史数据以及下发通道，计算能力开放API有利于调用流量下发任务管理模块10内的数据；分析模型模块20包括流量
通道分析子系统，用于管理通道质量模型、设定通道阈值、分析成功率与及时率的趋势、通道下发请求、管理通道组、管理流量下发通道管理、管理通道供应商、综合分析通道质量以及维护通道信息；计算框架模块30包括通道质量实时计算子系统，采用park Stream+Spark SQL+Hadoop框架，即流式计算、通道历史分析以及实时消息系统的计算；流量下发任务管理模块10分别与通道质量实时计算子系统以及流量通道分析子系统连接。业务运营人员针对每个流量下发通道，进行通道质量模型的建模，流量下发任务管理模块10接收到该通道本文档来自技高网...

【技术保护点】
基于流式计算的移动终端流量分发系统，其特征在于，包括流量下发任务管理模块、分析模型模块以及计算框架模块；所述流量下发任务管理模块用于调用所述流量下发任务管理模块内的数据的计算能力开放API、汇集历史数据以及下发通道；所述分析模型模块包括流量通道分析子系统，用于管理通道质量模型、设定通道阈值、分析成功率与及时率的趋势、通道下发请求、管理通道组、管理流量下发通道管理、管理通道供应商、综合分析通道质量以及维护通道信息，所述流量通道分析子系与所述流量下发任务管理模块连接；所述计算框架模块包括通道质量实时计算子系统，采用park Stream+Spark SQL+Hadoop框架，所述通道质量实时计算子系统与所述流量下发任务管理模块连接。

【技术特征摘要】
1.基于流式计算的移动终端流量分发系统，其特征在于，包括流量下发任务管理模块、分析模型模块以及计算框架模块；所述流量下发任务管理模块用于调用所述流量下发任务管理模块内的数据的计算能力开放API、汇集历史数据以及下发通道；所述分析模型模块包括流量通道分析子系统，用于管理通道质量模型、设定通道阈值、分析成功率与及时率的趋势、通道下发请求、管理通道组、管理流量下发通道管理、管理通道供应商、综合分析通道质量以及维护通道信息，所述流量通道分析子系与所述流量下发任务管理模块连接；所述计算框架模块包括通道质量实时计算子系统，采用park Stream+Spark SQL+Hadoop框架，所述通道质量实时计算子系统与所述流量下发任务管理模块连接。2.根据权利要求1所述的基于流式计算的移动终端流量分发系统，其特征在于，还包括与所述流量下发任务管理模块连接的数据服务模块，所述数据服务模块用于处理历史流量分发记录以及通道质量数据。3.基于流式计算动态质量模型的手机流量分发方法，其特征在于，包括以下具体步骤：步骤1.业务运营人员设定基础信息；步骤2.流量下发任务管理模块可定时调度通道分析模型，进行计算准实时模型，并保存计算结果；步骤3.流量下发网关接收到流量下发请求后，向流量下发任务管理请求最优通道；步骤4.流量下发任务管理模块先从本地缓存获取是否有合适的通道，如有，则进行步骤8；如无合适通道，流量下发任务管理向通道质量实时计算子系统发起实时质量模型计算请求，进行下一步骤；步骤5.Kafka接收后做相应的处理后，再通过Spark Streaming分发至分布式计算；步骤6.Spark Streaming按预先设定的数据模型进行计算，并把计算结果保存，返回实时计算结果给流量下发任务管理模块；步骤7.流量下发任务管理模块同时查询通道历史分析结果，与实时计算结果汇总后，得出最优通道；步骤8.返回最优通道信息给流量下发网关；步骤9.流量下发网关调度该通道，通过通道下发流量；步骤10.流量下发网关返回流量下发结果。4.根据权利要求3所述的基于流式计算动态质量模型的手机流量分发方法，其特征在于，在所述步骤1中，业务运营人员针对以往的每个流量下发通道，按多个维度和相应权重进行质...

【专利技术属性】
技术研发人员：王巍，陈华权，陈珑，庄儒海，
申请(专利权)人：深圳市威宇智通科技有限公司，
类型：发明
国别省市：广东;44