一种数据通信业务质量监控的方法及大数据系统技术方案

本发明专利技术公开了一种数据通信业务质量监控的方法及大数据系统，其方法包括kafka producers实时的将网元上的日志发送到大数据，大数据kafka集群的brokers收到日志数据后，然后启动spark streaming任务调用kafka consumer处理日志数据。将日志处理结果和统计结果实时写入Elasticsearch中。同时将部分实时统计结果写入到hdfs中，后面进行离线的天、月统计时读取hdfs上的数据，再将统计结果写入到Elasticsearch中。在入库完成后，对关键性的指标进行实时的监控和判断，当发现关键性指标出现异动时，及时向运维人员发出预警提示，以便故障在未出现或者出现之初就得到人为的干预排除。

【技术实现步骤摘要】
一种数据通信业务质量监控的方法及大数据系统
本专利技术涉及移动融合
，特别涉及一种数据通信业务质量监控的方法及大数据系统。
技术介绍
随着社交网络化的逐步扩大和深入，运营商也着力推出基于移动终端的社交平台，随着用户量的增加，业务规模的不断扩大，RCS(RichCommunicationSuite，富通信套件)组网中网元的数量越来越多，众多相互关系的网元给人工维护增加难度，无法及时对潜在的风险进行预警，或者对已出现的故障进行快速定位。一旦出现故障或者故障得不到快速定位解决，将会严重的影响用户的观感和使用。
技术实现思路
根据本专利技术实施例提供的方案解决的技术问题是无法及时对潜在的风险进行预警，或者对已出现的故障进行快速定位。根据本专利技术实施例提供的一种数据通信业务质量监控的方法，包括：大数据系统通过对各个网元的话单日志服务器发送的日志数据进行日志处理，得到各网元的日志处理结果和日志统计结果；大数据系统根据所得到的各网元日志处理结果和日志统计结果对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险；若判断所述网元日志关键性指标数据存在风险，则大数据系统向运维人员发出数据通信业务质量的预警提示。优选地，部署在每个网元的话单日志服务器中kafkaproducers模块收集所在网元的日志数据，并将其进行编码后发送到所述大数据系统的brokers模块。优选地，所述brokers模块收到来自各个网元编码后的日志数据后，保存所述各网元编码后的日志数据，并启动所述大数据系统的sparkstreaming任务调用kafkaconsumer模块。优选地，所述kafkaconsumer模块被调用后，提取所述brokers模块保存的各网元编码后的日志数据，并对所述日志数据解码后进行日志处理，得到各网元的日志处理结果和日志统计结果。优选地，所述kafkaconsumer模块将所得到的各网元的日志处理结果和日志统计结果发送到所述大数据系统的Elasticsearch模块，同时将各网元的日志统计结果发送到所述大数据系统的HDFS(HadoopDistributedFileSystem，分布式文件系统)模块，以便需要进行各网元的离线日志统计时，读取并统计所述HDFS模块中各网元的日志统计结果，得到各网元的离线日志统计结果，并将其发送到所述Elasticsearch模块。优选地，所述大数据系统的Websphere应用服务器WAS模块通过读取所述Elasticsearch模块中各网元的日志处理结果和日志统计结果，对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，并在判断所述网元日志关键性指标数据存在风险时向运维人员发出数据通信业务质量的预警提示。优选地，所述大数据系统的WAS(WebsphereApplicationServer，Websphere应用服务器)模块通过读取所述Elasticsearch模块中各网元的离线日志统计结果，对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，并在判断所述网元日志关键性指标数据存在风险时向运维人员发出数据通信业务质量的预警提示。根据本专利技术实施例提供的一种数据通信业务质量监控的大数据系统，包括：kafkaconsumer模块，用于通过对各个网元的话单日志服务器发送的日志数据进行日志处理，得到各网元的日志处理结果和日志统计结果；WAS模块，用于根据所得到的各网元日志处理结果和日志统计结果对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，以及当判断所述网元日志关键性指标数据存在风险，则向运维人员发出数据通信业务质量的预警提示。优选地，还包括：brokers模块，用于接收部署在每个网元的话单日志服务器中kafkaproducers模块收集所在网元的日志数据。优选地，所述brokers模块具体用于收到来自各个网元编码后的日志数据后，保存所述各网元编码后的日志数据，并启动sparkstreaming任务调用kafkaconsumer模块。根据本专利技术实施例提供的方案，基于大数据平台能够监测全网网元之间的数据交互情况，提供接口供运维查询各个阶段的数据详情日志和统计报表，直观的在界面上展示，对存在风险的地方及时向运维人员发出预警提示，运维人员收到预警后可以及时的人为预处理，从而避免设备异常对业务造成影响。对出现的故障，则提供故障发生时刻整个上下游的日志清单和业务质量分析，为快速定位提供依据。附图说明图1是本专利技术实施例提供的一种数据通信业务质量监控的方法流程图；图2是本专利技术实施例提供的RCS业务集群的系统示意图；图3是本专利技术实施例提供的RCS大数据系统的示意图。具体实施方式以下结合附图对本专利技术的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。图1是本专利技术实施例提供的一种数据通信业务质量监控的方法流程图，如图1所示，包括：步骤S101：大数据系统通过对各个网元的话单日志服务器发送的日志数据进行日志处理，得到各网元的日志处理结果和日志统计结果；步骤S102：大数据系统根据所得到的各网元日志处理结果和日志统计结果对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险；步骤S103：若判断所述网元日志关键性指标数据存在风险，则大数据系统向运维人员发出数据通信业务质量的预警提示。其中，部署在每个网元的话单日志服务器中kafkaproducers模块收集所在网元的日志数据，并将其进行编码后发送到所述大数据系统的brokers模块。其中，所述brokers模块收到来自各个网元编码后的日志数据后，保存所述各网元编码后的日志数据，并启动所述大数据系统的sparkstreaming任务调用kafkaconsumer模块。其中，所述kafkaconsumer模块被调用后，提取所述brokers模块保存的各网元编码后的日志数据，并对所述日志数据解码后进行日志处理，得到各网元的日志处理结果和日志统计结果。其中，所述kafkaconsumer模块将所得到的各网元的日志处理结果和日志统计结果发送到所述大数据系统的Elasticsearch模块，同时将各网元的日志统计结果发送到所述大数据系统的分布式文件系统HDFS模块，以便需要进行各网元的离线日志统计时，读取并统计所述HDFS模块中各网元的日志统计结果，得到各网元的离线日志统计结果，并将其发送到所述Elasticsearch模块。其中，所述大数据系统的Websphere应用服务器WAS模块通过读取所述Elasticsearch模块中各网元的日志处理结果和日志统计结果，对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险，并在判断所述网元日志关键性指标数据存在风险时向运维人员发出数据通信业务质量的预警提示。其中，所述大数据系统的Websphere应用服务器WAS模块通过读取所述Elasticsearch模块中各网元的离线日志统计结果，对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据本文档来自技高网...

【技术保护点】
1.一种数据通信业务质量监控的方法，包括：大数据系统通过对各个网元的话单日志服务器发送的日志数据进行日志处理，得到各网元的日志处理结果和日志统计结果；大数据系统根据所得到的各网元日志处理结果和日志统计结果对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险；若判断所述网元日志关键性指标数据存在风险，则大数据系统向运维人员发出数据通信业务质量的预警提示。

【技术特征摘要】
1.一种数据通信业务质量监控的方法，包括：大数据系统通过对各个网元的话单日志服务器发送的日志数据进行日志处理，得到各网元的日志处理结果和日志统计结果；大数据系统根据所得到的各网元日志处理结果和日志统计结果对该网元日志的关键性指标数据进行业务质量监控，判断所述网元日志的关键性指标数据是否存在风险；若判断所述网元日志关键性指标数据存在风险，则大数据系统向运维人员发出数据通信业务质量的预警提示。2.根据权利要求1所述的方法，其中，部署在每个网元的话单日志服务器中kafkaproducers模块收集所在网元的日志数据，并将其进行编码后发送到所述大数据系统的brokers模块。3.根据权利要求2所述的方法，其中，所述brokers模块收到来自各个网元编码后的日志数据后，保存所述各网元编码后的日志数据，并启动所述大数据系统的sparkstreaming任务调用kafkaconsumer模块。4.根据权利要求3所述的方法，其中，所述kafkaconsumer模块被调用后，提取所述brokers模块保存的各网元编码后的日志数据，并对所述日志数据解码后进行日志处理，得到各网元的日志处理结果和日志统计结果。5.根据权利要求4所述的方法，其中，所述kafkaconsumer模块将所得到的各网元的日志处理结果和日志统计结果发送到所述大数据系统的Elasticsearch模块，同时将各网元的日志统计结果发送到所述大数据系统的分布式文件系统HDFS模块，以便需要进行各网元的离线日志统计时，读取并统计所述HDFS模块中各网元的日志统计结果，得到各网元的离线日志统计结果，并将其发送到所述Elasticsearch模块。6.根据权利要求5所述的方法，其中，所述大数据系统的Webs...

【专利技术属性】
技术研发人员：周悦来，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东,44