一种互联网真实质量监测方法及装置制造方法及图纸

本发明专利技术提供一种互联网真实质量监测方法及装置。所述方法包括：采集经过互联网出口的全量用户数据；将全量用户数据上传到Apache Hadoop集群架构中的Hadoop分布式文件系统HDFS；在Apache Hadoop集群构架的Mapreduce计算框架中，采用深度包检测技术DPI将全量用户数据生成为原始呼叫直接记录CDR话单；将原始呼叫直接记录CDR话单合成为重要维度字段话单；分析所述重要维度字段话单确定互联网真实质量；其中，所述全量用户数据指用户使用网络时产生的数据流。所述装置包括：数据采集模块、数据上传模块、原始呼叫直接记录CDR话单生成模块、重要维度字段话单生成模块、互联网真实质量获取模块。所述方法及装置能够对互联网真实质量进行分析和监测。

【技术实现步骤摘要】

本专利技术涉及网络技术，特别是指一种互联网真实质量监测方法及装置。
技术介绍
随着互联网网络规模和用户规模的日益庞大，用户对互联网的感知要求也越来越 高，同时，考虑到互联网未来的大规模发展、维护模式面临的压力、自动化管控手段的引入 及未来的多业务承载的需求，运营商对互联网全量用户真实质量的掌控显得尤为迫切和重 要。然而，现有的质量监测方法均W拨测模拟手段为主，即在互联网上选择多个节点部署质 量拨测探针，通过反复发送数据包模拟用户行为测试互联网质量，该质量数据实为模拟数 据，并非用户的真实感知数据，其无法全面反映全量用户的真实质量，往往导致监测结果与 用户上网实际质量有所偏差甚至背道而驰的情况。
技术实现思路
有鉴于此，本专利技术提供一种互联网真实质量监测方法及装置，能够对互联网真实 质量进行分析和监测。 基于上述目的本专利技术提供的互联网真实质量监测方法，包括如下步骤： 采集经过互联网出口的全量用户数据； 将所述全量用户数据上传到Apache化doop集群架构中的化doop分布式文件系 统皿FS; 在Apache化doop集群构架的Mapre化Ce计算框架中，采用深度包检测技术DPI 将所述全量用户数据生成为原始呼叫直接记录CDR话单； 将所述原始呼叫直接记录CDR话单合成为重要维度字段话单； 分析所述重要维度字段话单确定互联网真实质量；其中，所述全量用户数据指用 户使用网络时产生的数据流。 可选的，采用深度包检测技术DPI将所述全量用户数据生成为原始呼叫直接记录 CDR话单之后，还将所述原始呼叫直接记录CDR话单存储到分析服务器。 可选的，所述全量用户数据包括网络监控设备发出的流记录顿FlowRecord 化ame;所述采集经过互联网出口的全量用户数据的步骤具体包括： 通过采集服务器接收网络监控设备发出的流记录顿FlowRecord化ame。 可选的，所述重要维度字段话单包括ht化业务话单。 可选的，采用深度包检测技术DPI将所述全量用户数据生成为原始呼叫直接记录 CDR话单的步骤具体包括： 将所述流记录顿FlowRecord化ame和ht化报文分别转换为Rawflow文件和http 记录文件； 将所述Rawflow文件和ht化记录文件进行精简和预处理； 将精简和预处理后的Rawflow文件和ht化记录文件上传到化doop集群架构中的 化doop分布式文件系统皿FS。 可选的，将所述原始呼叫直接记录CDR话单合成为重要维度字段话单的步骤包 括： 从所述全量用户数据中提取重要维度字段的数据； 将所述重要维度字段的数据合成业务话单。 可选的，所述重要维度字段至少包括连接时长、时延、速率、成功率； 所述连接时长为报文接收时间减去报文开始时间； 所述时延为连接H次握手成功的时间至接收到第一个get报文之间的时间差； 所述速率为单位时间的网络流量； 所述成功率为根据IP报文返回码所获知的识别成功次数占总次数的比例。 可选的，从所述全量用户数据中提取重要维度字段的数据的步骤包括： 按照协议和访问类型对于所述全量用户数据中对应的字段进行识别； 按照预先设定的MapRe化Ce模型中的规律将所述识别后的全量用户数据分发到 化doop中的数据分析模块； 通过所述数据分析模块从所述识别后的全量用户数据中提取重要维度字段的话 单。 可选的，所述数据分析模块包括Pig数据分析模块，和/或化ve数据分析模块。 进一步，本专利技术提供一种互联网真实质量监测装置，所述装置还包括： 数据采集模块：用于采集经过互联网出口的全量用户数据； 数据上传模块：用于将所述全量用户数据上传到Apache化doop集群架构中的 化doop分布式文件系统皿FS; 原始呼叫直接记录CDR话单生成模块；用于在Apache化doop集群构架的 Mapre化Ce计算框架中，采用深度包检测技术DPI将所述全量用户数据生成为原始呼叫直 接记录CDR话单； 重要维度字段话单生成模块：用于将所述原始呼叫直接记录CDR话单合成为重要 维度字段话单； 互联网真实质量获取模块；用于分析所述重要维度字段话单确定互联网真实质 量；其中，所述全量用户数据指用户使用网络时产生的数据流。 可选的，还包括原始呼叫直接记录话单存储模块；用于在采用深度包检测技术 DPI将所述全量用户数据生成为原始呼叫直接记录CDR话单之后，还将所述原始呼叫直接 记录CDR话单存储到分析服务器。 可选的，所述全量用户数据包括网络监控设备发出的流记录顿FlowRecord 化ame;所述数据采集模块具体包括： 流记录顿接收单元；用于通过采集服务器接收网络监控设备发出的流记录顿Flow 民ecordFrame。 可选的，所述重要维度字段话单包括ht化业务话单。 可选的，所述数据上传模块具体包括： 数据转换单元；用于将所述流记录顿FlowRecord化ame和http报文分别转换为 Rawflow文件和ht化记录文件； 精简和预处理单元；用于将所述Rawflow文件和ht化记录文件进行精简和预处 理； 上传单元；用于将精简和预处理后的Rawflow文件和ht化记录文件上传到 化doop集群架构中的化doop分布式文件系统皿FS。 可选的，重要维度字段话单生成模块包括： 重要维度字段数据提取单元：用于从所述全量用户数据中提取重要维度字段的数 据； 业务话单合成单元；用于将所述重要维度字段的数据合成业务话单。 可选的，所述重要维度字段至少包括连接时长、时延、速率、成功率； 所述连接时长为报文接收时间减去报文开始时间； 所述时延为连接H次握手成功的时间至接收到第一个get报文之间的时间差； 所述速率为单位时间的网络流量； 所述成功率为根据IP报文返回码所获知的识别成功次数占总次数的比例。 可选的，重要维度字段数据提取单元包括： 数据识别子单元；用于按照协议和访问类型对于所述全量用户数据中对应的字段 进行识别；数据发送子单元；用于按照预先设定的MapRe化Ce模型中的规律将所述识别后的 全量用户数据分发到化doop中的数据分析模块； 重要维度字段话单提取子单元；通过所述数据分析模块从所述识别后的全量用户 数据中提取重要维度字段的话单。 可选的，所述数据分析模块包括Pig数据分析模块，和/或化ve数据分析模块。 从上面所述可W看出，本专利技术提供的互联网真实质量监测方法和装置，可基于全 量用户使用互联网的数据对互联网真实质量进行检测，同时可W解决海量的全量用户数据 处理分析的问题，提高故障发现、处理、消除的效率。同时，本专利技术实施例可从多维度深层次 挖掘数据生成话单，有助于掌握互联网多方面的真实质量，允许互联网质量监测方针对不 同维度的质量问题提高互联网质量。【附图说明】 图1为本专利技术实施例提供的互联网真实质量监测方法流程示意图； 图2为本专利技术一种具体实施例中，运营商移动和总体质量进行对比、重要维度字 段数据为平均时延字段数据时，质量对比示意图； 图3为本专利技术实施例提供的互联网真实质量监测装置结构示意图。【具体实施方式】为了给出有效的实现方案，本专利技术提供了下述实施例，W下结合说明书附图对本 专利技术实施例进行说明。 本专利技术首先提供一种互联网真实质量监测方法，包括如图1所示的步骤： 步骤101;采集经过互联网出口的全量本文档来自技高网...

【技术保护点】
一种互联网真实质量监测方法，其特征在于，包括如下步骤：采集经过互联网出口的全量用户数据；将所述全量用户数据上传到Apache Hadoop集群架构中的Hadoop分布式文件系统HDFS；在Apache Hadoop集群构架的Mapreduce计算框架中，采用深度包检测技术DPI将所述全量用户数据生成为原始呼叫直接记录CDR话单；将所述原始呼叫直接记录CDR话单合成为重要维度字段话单；分析所述重要维度字段话单确定互联网真实质量；其中，所述全量用户数据指用户使用网络时产生的数据流。

【技术特征摘要】

【专利技术属性】
技术研发人员：杭星，
申请(专利权)人：中国移动通信集团广东有限公司，
类型：发明
国别省市：广东;44