一种基于大数据平台的端到端业务质量优化装置及方法制造方法及图纸

本发明专利技术公开了一种基于大数据平台的端到端业务质量优化装置及方法，涉及大数据通信技术领域。该装置的DPI系统，用于利用探针捕获通信信令，对异常ICMP包进行预处理；并经过ETL操作后，将通信信令分发至Kafka集群；Kafka集群，用于对通信信令进行指标计算并存储；Spark大数据平台，用于从Kafka集群获取信息，判断是否有异常，将有异常的通信信道作为需要优化的信道发送至Redis集群；Redis集群，用于将信息持久化至HBase数据库；告警单元，用于监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。本发明专利技术能从减少时延、提高信道质量等多方面实现对端到端业务质量的优化。

【技术实现步骤摘要】

本专利技术涉及大数据通信
，具体来讲是一种基于大数据平台的端到端业务质量优化装置及方法。
技术介绍
随着无线通信的飞速发展，无线通信之间的端到端业务质量日益受到人们的关注。端到端业务质量不但对统计时延的实时性要求越来越高，而且日益增长的数据量已经无法用传统的数据处理技术来实现，必须使用大数据技术来优化端到端业务质量。而目前，还没有一种理想的实现方法来解决上述问题。因此，如何有效的实现对端到端业务质量的优化是本领域技术人员亟待解决的问题。
技术实现思路
本专利技术的目的是为了克服上述
技术介绍
的不足，提供一种基于大数据平台的端到端业务质量优化装置及方法，能从减少时延、提高信道质量等多方面实现对端到端业务质量的优化。为达到以上目的，本专利技术提供一种基于大数据平台的端到端业务质量优化装置，包括设于每条通信信道上的DPI系统、Kafka集群、Spark大数据平台、Redis集群、HBase数据库以及设于基站交换中心的告警单元；所述DPI系统基于Spark大数据平台，用于：利用探针捕获各条通信信道上的通信信令；对通信信令产生的异常ICMP包进行预处理；并经过ETL操作后，将处理后的通信信令分发至Kafka集群；所述Kafka集群作为消息中间件集群，用于：对DPI系统发来的通信信令进行指标计算并存储；所述Spark大数据平台用于：从Kafka集群获取信息，经过逻辑处理，判断通信信道是否有延时或丢包的异常；将有异常的通信信道作为需要优化的信道，并将其信道信息发送至Redis集群；所述Redis集群用于：将收到的信道信息持久化至HBase数据库；所述HBase数据库用于：存储Redis集群进行持久化的信道信息；所述告警单元用于：通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。本专利技术还提供一种应用上述装置的基于大数据平台的端到端业务质量优化方法，包括以下步骤：步骤S1：在端到端之间的每条通信信道上设置一个利用探针进行深度包检测的DPI系统，转入步骤S2；步骤S2：各条通信信道上的DPI系统的探针检测到通信信令后，对通信信令产生的异常ICMP包进行预处理；并经过必要的ETL操作后，将处理后的通信信令分发至Kafka集群，转入步骤S3；步骤S3：Kafka集群对收到的通信信令进行指标计算并存储，转入步骤S4；步骤S4：Spark大数据平台从Kafka集群获取信息，经过逻辑处理，判断通信信道是否有延时或丢包的异常；将有异常的通信信道作为需要优化的信道，并将其信道信息发送至Redis集群，转入步骤S5；步骤S5：Redis集群将收到的信道信息持久化至HBase数据库；同时，告警单元通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。本专利技术的有益效果在于：(1)本专利技术中，采用基于大数据平台的数据处理技术和深度包检测探针技术来处理通信之间的信令数据，并且从深度包检测阶段开始处理信令数据，一旦探针检测到通信信令后，会对通信信令产生的异常ICMP包进行预处理；并对通信信令进行必要的ETL操作后，将通信信令分发至Kafka集群进行指标计算并存储；Spark大数据平台从Kafka集群获取信息后判断通信信道是否有异常，并将异常信道的信息发送至Redis集群；Redis集群将信息持久化至HBase数据库；而告警单元则通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。与现有技术相比，本专利技术采用基于大数据平台的数据处理技术和深度包检测探针技术来处理通信之间的信令数据，并且从深度包检测阶段开始处理信令数据，满足了日益增长的数据量的应用要求，且能从减少时延、提高信道质量等多方面实现对端到端业务质量的优化，用户体验佳。(2)本专利技术中，在对通信信令进行ETL操作时，会对原始通信信令进行XDR字段的精简。该精简XDR字段的操作是针对实时保障应用的需求，减少原始通信信令的XDR字段，从而减少数据传送、信令指标计算等环节的数据处理量，从而达到缩短时延的目的。并且，Kafka集群是基于内存计算的服务器，能在内存中实现通信信令的指标计算和存储。本专利技术将处理后的通信信令分发至基于内存计算的Kafka集群中，而不是直接存储在硬盘数据库中，其主要思想是用内存计算取代基于硬盘的处理过程，从而减少IO时延。(3)本专利技术中，告警单元在生成性能劣化告警事件后，还可以在呈现界面以告警流水窗或拓扑监控的形式展示告警信息，或者将告警事件送至故障管理系统生产流程，从而有效、及时的起到告警提示的作用。(4)本专利技术中，还增设了质差小区分析单元，该质差小区分析单元能对HBase数据库内存储的信息进行日分析，判断哪些小区为质差小区；对于经质差小区分析单元判定的质差小区，则通过增加直放站或室内吸顶天线来增加信号覆盖，从而提高信号质量，进而利于及时的对终端信号进行实时质量监测和处理。附图说明图1为本专利技术实施例中基于大数据平台的端到端业务质量优化装置的结构框图；图2为本专利技术实施例中基于大数据平台的端到端业务质量优化方法的流程图。具体实施方式下面结合附图及具体实施例对本专利技术作进一步的详细描述。参见图1所示，本专利技术实施例提供一种基于大数据平台的端到端业务质量优化装置，包括DPI(DeepPacketInspection，深度包检测)系统、Kafka集群、Spark大数据平台、Redis集群、HBase数据库以及设于基站交换中心的告警单元。其中，所述DPI系统基于Spark大数据平台，用于：利用探针捕获各条通信信道上的通信信令；对通信信令产生的异常ICMP包进行预处理；并经过必要的ETL操作后，将处理后的通信信令分发至Kafka集群。所述Kafka集群作为消息中间件集群，用于：对DPI系统发来的通信信令进行指标计算并存储。所述Spark大数据平台用于：从Kafka集群获取信息，经过逻辑处理，判断通信信道是否有延时或丢包等异常；将有异常的通信信道作为需要优化的信道，并将其信道信息发送至Redis集群。所述Redis集群用于：将收到的信道信息持久化至HBase数据库。所述HBase数据库用于：存储Redis集群进行持久化的信道信息。所述告警单元用于：通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。更进一步地，参见图1所示，该装置还包括质差小区分析单元，所述质差小区分析单元用于对HBase数据库内存储的数据进行日分析，判断哪些小区为质差小区。对于经质差小区分析单元判定的质差小区，通过增加直放站或室内吸顶天线来增加信号覆盖，从而提高信号质量。参见图2所示，本专利技术实施例还提供一种应用上述装置的基于大数据平台的端到端业务质量优化方法，包括以下步骤：步骤S1：在端到端(即基站到终端)之间的每条通信信道上设置一个利用探针进行深度包检测的DPI系统，该DPI系统基于Spark大数据平台，转入步骤S2。步骤S2：各条通信信道上的DPI系统的探针检测到通信信令后，会对通信信令产生的异常ICMP(InternetC本文档来自技高网...

【技术保护点】
一种基于大数据平台的端到端业务质量优化装置，其特征在于：该装置包括设于每条通信信道上的DPI系统、Kafka集群、Spark大数据平台、Redis集群、HBase数据库以及设于基站交换中心的告警单元；所述DPI系统基于Spark大数据平台，用于：利用探针捕获各条通信信道上的通信信令；对通信信令产生的异常ICMP包进行预处理；并经过ETL操作后，将处理后的通信信令分发至Kafka集群；所述Kafka集群作为消息中间件集群，用于：对DPI系统发来的通信信令进行指标计算并存储；所述Spark大数据平台用于：从Kafka集群获取信息，经过逻辑处理，判断通信信道是否有延时或丢包的异常；将有异常的通信信道作为需要优化的信道，并将其信道信息发送至Redis集群；所述Redis集群用于：将收到的信道信息持久化至HBase数据库；所述HBase数据库用于：存储Redis集群进行持久化的信道信息；所述告警单元用于：通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。

【技术特征摘要】
1.一种基于大数据平台的端到端业务质量优化装置，其特征在于：该装置包括设于每条通信信道上的DPI系统、Kafka集群、Spark大数据平台、Redis集群、HBase数据库以及设于基站交换中心的告警单元；所述DPI系统基于Spark大数据平台，用于：利用探针捕获各条通信信道上的通信信令；对通信信令产生的异常ICMP包进行预处理；并经过ETL操作后，将处理后的通信信令分发至Kafka集群；所述Kafka集群作为消息中间件集群，用于：对DPI系统发来的通信信令进行指标计算并存储；所述Spark大数据平台用于：从Kafka集群获取信息，经过逻辑处理，判断通信信道是否有延时或丢包的异常；将有异常的通信信道作为需要优化的信道，并将其信道信息发送至Redis集群；所述Redis集群用于：将收到的信道信息持久化至HBase数据库；所述HBase数据库用于：存储Redis集群进行持久化的信道信息；所述告警单元用于：通过毫秒级的心跳方式来监控Redis集群，一旦监控到性能劣化告警事件，则通知基站和终端通过功率控制和复杂信道编码来提高信道质量。2.如权利要求1所述的基于大数据平台的端到端业务质量优化装置，其特征在于：所述DPI系统经过必要的ETL操作后，将处理后的通信信令分发至Kafka集群，具体包括以下流程：对原始通信信令进行XDR字段的精简；并提取该通信信令对应的用户唯一标识；将经过上述处理后的通信信令分发至Kafka集群。3.如权利要求1所述的基于大数据平台的端到端业务质量优化装置，其特征在于：所述Kafka集群为基于内存计算的服务器，且其在内存中实现通信信令的指标计算和存储。4.如权利要求1所述的基于大数据平台的端到端业务质量优化装置，其特征在于：所述性能劣化告警事件是告警单元根据静态阈值或动态波动幅度生成的；且所述告警单元在生成性能劣化告警事件后，会在呈现界面以告警流水窗或拓扑监控的形式展示告警信息，或者将告警事件送至故障管理系统生产流程。5.如权利要求1至4中任一项所述的基于大数据平台的端到端业务质量优化装置，其特征在于：该装置还包括质差小区分析单元，所述质差小区分析单元用于对HBase数据库内存储的数据进行日分析，...

【专利技术属性】
技术研发人员：田松，叶铿，
申请(专利权)人：武汉烽火信息集成技术有限公司，
类型：发明
国别省市：湖北;42