一种基于XDR的互联网业务质量分析方法及系统技术方案

本发明专利技术公开一种基于XDR的互联网业务质量分析方法及系统。其中，所述方法包括：存储转换服务器获取XDR数据，并将所述XDR数据发送至集群服务器；所述集群服务器根据预设字段对所述XDR数据进行筛选，并对筛选后的所述XDR数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表；应用服务器根据所述汇聚表对互联网业务质量进行分析。所述系统用于执行上述方法。本发明专利技术提供的基于XDR的互联网业务质量分析方法及系统，由于能够对筛选后的XDR数据进行处理获得文本数据，并根据文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。

【技术实现步骤摘要】
一种基于XDR的互联网业务质量分析方法及系统
本专利技术涉及互联网
，具体涉及一种基于XDR的互联网业务质量分析方法及系统。
技术介绍
在移动互联网时代，互联网业务质量越来越受到关注。互联网业务质量主要包括用户使用4G手机体验时的视频业务速率、浏览业务速率、即时通信业务成功率和游戏业务成功率等。目前各地市公司互联网考核指标的分析数据多数是在4A安全管控平台的服务操作中心上获取，对于省级的4A安全管控平台每天的数据量可达到200T以上，数据量非常大，在4A安全管控平台遇上使用高峰时间，会运行的非常缓慢，从4A安全管控平台筛选数据耗时会比较长。4A安全管控平台数据呈现时效性差，平台最新数据延后1天，数据的提取、整理分析需全程人工操作，例如采用EXCEL工具进行整理分析，这个整理分析过程需要2个小时以上，数据下钻粒度不够，例如用户维度数据与其他维度数据无关联，工作效率较低。外部数据表示(ExternalDataRepresentation，以下简称XDR)数据源的信息十分丰富，但对其利用率不到10％，大部分停留在基础的统计分析。因此，如何提出一种方法，能够利用XDR数据，提高对互联网业务质量的分析效率，成为业界亟待解决的重要课题。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种基于XDR的互联网业务质量分析方法及系统。一方面，本专利技术提出一种基于XDR的互联网业务质量分析方法，包括：存储转换服务器获取XDR数据，并将所述XDR数据发送至集群服务器；集群服务器根据预设字段对所述XDR数据进行筛选，并对筛选后的所述XDR数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表；应用服务器根据所述汇聚表对互联网业务质量进行分析。另一方面，本专利技术提供一种基于XDR的互联网业务质量分析系统，包括：存储转换服务器，用于获取XDR数据，并将所述XDR数据发送至集群服务器；集群服务器，用于根据预设字段对所述XDR数据进行筛选，并对筛选后的所述XDR数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表；应用服务器，用于根据所述汇聚表对互联网业务质量进行分析。本专利技术提供的基于XDR的互联网业务质量分析方法及系统，由于能够对筛选后的XDR数据进行处理获得文本数据，并根据文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例基于XDR的互联网业务质量分析方法的流程示意图；图2为本专利技术一实施例互联网业务质量分析系统的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术一实施例基于XDR的互联网业务质量分析方法的流程示意图，如图1所示，本专利技术提供的基于XDR的互联网业务质量分析方法，包括：S101、存储转换服务器获取XDR数据，并将所述XDR数据发送至集群服务器；具体地，储存转换服务器可以获取XDR数据，所述XDR数据可以来源于数据采集服务器获得的底层信令解码；所述储存转换服务器然后将获取到的所述XDR数据发送至集群服务器进行后续处理。例如，所述XDR数据来源于博瑞德数据采集服务器的底层信令解码，而这些底层信令解码则是从S1-U和S1-MME网络接口采集获得的。所述博瑞德数据采集服务器获得的数据通过诺基亚kafka集群服务器进行数据共享。所述储存转换服务器通过所述诺基亚kafka集群服务器获得所述XDR数据。S102、所述集群服务器根据预设字段对所述XDR数据进行筛选，并对筛选后的所述XDR数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表；具体地，所述集群服务器根据预设字段，例如IP地址、网元名称等，对获取的XDR数据进行筛选，其中，所述预设字段可以来自于设定的字段规范。所述集群服务器然后对筛选后的所述XDR数据进行处理获得文本数据，再根据所述文本数据生成汇聚表。其中，所述汇聚表是根据实际需求预先定义的，所述汇聚表可以是业务维度表、网元维度表、URL维度表、用户数据维度表。例如，所述用户数据维度表可以包括用户号码、SGW、APP小类、上行包数、下行包数、TCP上行丢包数、TCP下行丢包数、访问次数、成功次数、访问成功率、流量、下载速率、时长和时延。所述用户数据维度表包括的内容可以根据实际需要进行设置，本专利技术实施例不做限定。例如，所述集群服务器可以采用Hadoop集群服务器，所述Hadoop集群是指由Apache基金会所开发的分布式系统基础架构及建立在此架构上的一系列软件生态圈，例如Storm和分布式文件系统(HadoopDistributedFileSystem，以下简称HDFS)。对筛选后的所述XDR数据进行处理可以采用Storm，Storm是一个分布式的、容错的实时计算系统，保证每个消息都会得到处理，而且速度很快，每秒可以处理数以百万计的消息。Storm可以将处理后的XDR数据整合成所述文本数据。所述文本数据经过压缩后通过Hadoop集群服务器的I/O工具上传到HDFS进行存储，供后期处理生成所述汇聚表。Storm可以将所述文本数据先储存在所述Hadoop集群服务器数据缓存中，一方面可加快接收所述文本数据的速度，有利于对XDR数据进行实时处理，另一方面避免接收到的所述文本数据量过大，直接上传到HDFS导致HDFS客户端不稳定。S103、应用服务器根据所述汇聚表对互联网业务质量进行分析。具体地，应用服务器可以根据所述汇聚表对互联网业务质量信息分析。例如，以所述汇聚表作为数据源开发出应用程序如网络性能实时监控程序，能够通过对监控对象的网络性能实时监控指标进行对比分析，及时获得异常的指标数据。可理解的是，所述应用服务器可以查询所述汇聚表。本专利技术提供的基于XDR的互联网业务质量分析方法，由于能够对筛选后的XDR数据进行处理获得文本数据，并根据文本数据生成预设类型的汇聚表，根据所述汇聚表对互联网业务质量进行分析，从而提高了对互联网业务质量的分析效率。在上述实施例的基础上，进一步地，所述集群服务器对筛选后的所述XDR数据进行处理获得文本数据包括：所述集群服务器对筛选后的所述XDR数据进行数据回填和/或转换，以获得所述文本数据。具体地，所述集群服务器在接收到筛选后的所述XDR数据后，可以对所述XDR数据进行数据回填和/或转换。所述数据回填包括所述集群服务器查找出与所述预设字段相关的数据，例如筛选后的所述XDR数据中包括IP地址，但没有IP地址对应的IP地址归属地，所述集群服务器储存有全部的IP地址及其对应的IP地址归属地，所述集群服务器可以根据所述IP地址在查找出所述IP地址对应的IP地址归属地本文档来自技高网...

【技术保护点】
1.一种基于XDR的互联网业务质量分析方法，其特征在于，包括：存储转换服务器获取XDR数据，并将所述XDR数据发送至集群服务器；所述集群服务器根据预设字段对所述XDR数据进行筛选，并对筛选后的所述XDR数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表；应用服务器根据所述汇聚表对互联网业务质量进行分析。

【技术特征摘要】
1.一种基于XDR的互联网业务质量分析方法，其特征在于，包括：存储转换服务器获取XDR数据，并将所述XDR数据发送至集群服务器；所述集群服务器根据预设字段对所述XDR数据进行筛选，并对筛选后的所述XDR数据进行处理获得文本数据，并根据所述文本数据生成预设类型的汇聚表；应用服务器根据所述汇聚表对互联网业务质量进行分析。2.根据权利要求1所述的方法，其特征在于，所述集群服务器对筛选后的所述XDR数据进行处理获得文本数据包括：所述集群服务器对筛选后的所述XDR数据进行数据回填和/或转换，以获得所述文本数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述文本数据生成预设类型的汇聚表包括：所述集群服务器根据所述文本数据实时生成所述汇聚表或者根据所述文本数据离线生成所述汇聚表。4.根据权利要求1至3任一项所述的方法，其特征在于，所述应用服务器根据所述汇聚表对互联网业务质量进行分析包括：所述应用服务器根据监控对象获取与所述监控对象对应的所述汇聚表，基于所述监控对象的网络性能实时监控指标在所述汇聚表中获得网络性能实时监控指标数据，并根据所述网络性能实时监控指标数据对所述监控对象进行网络性能实时分析；其中，所述网络性能实时监控指标是根据所述监控对象预先定义的。5.根据权利要求1至3任一项所述的方法，其特征在于，所述应用服务器根据所述汇聚表对互联网业务质量进行分析包括：所述应用服务器根据业务类型获取与所述业务类型对应的所述汇聚表，基于所述业务类型的互联网指标在所述汇聚表中获得互联网指标数据，并根据所述互联网指标数据对所述业务类型进行实时分析；其中，所述互联网指标是根据所述业务类型预先定义的。6.根据权利要求1至3任一项所述...

【专利技术属性】
技术研发人员：钟其柱，林淼，吴修权，杨彬，罗耀满，梅艳，黎杰文，陈雅鉴，
申请(专利权)人：中国移动通信集团广东有限公司，中国移动通信集团公司，
类型：发明
国别省市：广东,44