移动通信网络测量分析系统及方法技术方案

本专利申请公开了移动通信系统测量数据分析系统，部署在HADOOP集群平台上，包括与OMC‑R服务器连接的监控及下载模块，用于在监控到OMC‑R服务器上生成了新的MR原始数据文件后，自动下载最新的MR原始数据文件；数据入库及分析模块，与监控及下载模块相连，用于在下载MR数据后，立即对MR原始数据进行基于HADOOP集群平台的MR数据入库进程；以及，用于在MR数据入库的同时，进行基于HADOOP集群平台应用的移动通信网络测量数据分析。本发明专利技术还公开了移动通信系统测量数据分析方法，具有可应对海量MR数据，处理效率更高的技术效果。

【技术实现步骤摘要】
移动通信网络测量分析系统及方法
本专利技术涉及移动通信领域，具体涉及一种移动通信网络测量分析系统及方法。
技术介绍
测量是TD-LTE系统的一项重要功能，LTE的测量报告数据主要产生于UE和eNodeB的物理层、RLC层以及用户在网络无线管理过程中形成的用户数据。原始的测量数据或经过简单统计的测量数据报送到OMC-R服务器以统计的数据形式进行存储。LTE系统的测量数据有两次测量方式，一种是周期性的测量，即用户在一定周期时间内上报无线网络测量数据；另一种是事件上报测量，事件测量报告是按照定义的事件为上报条件触发测量的。LTE测量数据为用户采样点级别的数据，数据量非常庞大。传统的LTE测量分析方法往往受限于大数据处理问题，难以提高分析效率,具体体现为：LTE测量数据（MR数据）是用户采样点级别的数据，数据量非常庞大，目前一类地市一天测量采样点总数在300亿个以上，二类地市采样点总数在100亿个以上。而现有的MR处理平台处理MR数据采用“数据下载—数据解析入库—数据分析”三步走的传统数据处理方式，具体为：A数据采集阶段；MR数据的测量方式有两种，一种是周期性上报的测量报告，用户可以定义上报周期；另外一种测量是事件触发的测量报告，也就是当某事件出现的时候用户上报测量。MR数据按照站点为单位，以15分钟为粒度输出一个文件到OMC-R服务器，输出的文件有三种类型的数据，分别是MRO\MRS\MRE文件，每天每个站点生成的文件数为96*3等于288个文件。通常下载MR数据的传统手段是用户通过登录OMC-R服务，然后选择对应日期文件夹下的数据下载到本地，通过这种方式下载数据，需要消耗大量的工作量，并会受限于网络带宽对传输速度的影响。B数据入库阶段；由A可知，MR数据是按照站点以15分钟为粒度输出一个文件，假设一类地市一万个站点计算，那么每天生产的文件数为96*10000*3等于288W的文件，传统的入库技术采用多线程+Oracle的方式，对数据量不大的情况下能满足入库要求，但无法满足处理大数据要求的入库效率问题。C数据分析阶段；入库和分析独立进行，等数据全部入库到存储设备后，才开展数据分析，好处是保证了数据的统一性和完整性，缺点是没有采取同步处理，延长了数据处理的时间，降低了数据处理效率。
技术实现思路
本专利技术所要解决的技术问题是提供一种可应对海量MR数据，处理效率更高的测量数据分析系统及方法。本专利技术的目的之一是提供一种移动通信系统测量数据分析系统，通过以下技术方案来实现的：移动通信系统测量数据分析系统，部署在HADOOP集群平台上，包括与OMC-R服务器连接的监控及下载模块，用于在监控到OMC-R服务器上生成了新的MR原始数据文件后，自动下载最新的MR原始数据文件；数据入库及分析模块，与监控及下载模块相连，用于在下载MR数据后，立即对MR原始数据进行基于HADOOP集群平台的MR数据入库进程；以及，用于在MR数据入库的同时，进行基于HADOOP集群平台应用的移动通信网络测量数据分析。本专利技术所称的Hadoop集群平台指的是利用Hadoop框架，采用多台服务器组成一个计算机集群，它通过集群拓扑知识决定如何在整个集群中分配作业和文件。用户基于Hadoop开发分布式程序，充分利用集群的威力进行高速运算和存储，它主要有以下几个优点：高可靠性、Hadoop按位存储和处理数据的能力值得人们信赖。高扩展性、Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。高效性、Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。高容错性、Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。低成本，与一体机、商用数据仓库以及QlikView、YonghongZ-Suite等数据集市（DataMart）相比，hadoop是开源的，项目的软件成本因此会大大降低。本专利技术的特点在于，在利用了HADOOP集群平台实现高速运算和存储的同时，利用OMC-R每隔一段时间（例如15分钟）新生成一次MR原始数据文件的特性，通过监控OMC-R服务器实现MR原始数据文件的自动下载，进而每次下载的数据量较小，降低了网络传输速度对系统性总体性能的影响；另外，数据分批入库，以及同步进行分析，将大的数据处理任务分解为不同时间进行的若干小的处理任务，避免了系统在短时间内进行大负荷的数据处理；进而可应对海量MR数据，处理效率更高。进一步，所述监控及下载模块，用于下载OMC-R服务器上生成的新的MR原始数据文件，将下载的MR原始数据平均分布到每个独立的磁盘上，实现方式为，设HADOOP集群平台由n台主机组成，每台主机有M块独立的磁盘，则MR原始数据文件平均分配为n×M份。这样，充分利用集群内所有计算机的存储能力。进一步，所述数据入库及分析模块内设有任务分解及合并模块，用于在集群内的每台主机上，启动M个运算任务，共启动n×M个运算进程，对MR数据进行如下处理，a)解压缩，包括通过n×M个运算进程，分别将相应分配的原始文件，解压缩为原始的xml文件；b)文件解析，包括通过n×M个运算进程，分别将原始的xml文件转换为txt文件；c)各进程解析完成后进行合并；d)将合并生成的文件存储于HADOOPHDFS文件系统；还设有数据库模块和入库模块，入库模块用于在HADOOP集群平台上，启动入库进程，使用标准的JDBC到将任务分解及合并模块合并生成的文件中的数据输入到数据库模块中。这样，充分利用集群内所有计算机的处理能力。进一步，所述数据入库及分析模块内还设有分析模块，用于，对任务分解及合并模块合并生成的文件进执行基于HADOOP集群平台应用的移动通信网络测量数据分析，并将分析结果输入到数据库模块内。进一步，还包括第二分析模块与所述数据库模块相连，用于在一个时间段后，基于该时间段内所有入库的数据进行分析操作，以验证最新一次下载原始数据所得的分析结果，如果两次结果不一致，则在数据库模块中保留第二分析模块得到的分析结果。这样，可以选择在一个系统相对负荷较小的时段，利用相对完成的数据进行分析操作；例如，每24小时进行一次基于该24小时内的所有MR数据的测量数据分析，时间点选在凌晨3点至4点；这样，用于分析的数据具有了较好的完整性，得到的结果更为准确和参考价值，同时也充分的利用了HADOOP集群的资源，避免了资源的闲置。本专利技术的目的之二是提供一种移动通信系统测量数据分析方法，通过以下技术方案来实现：1）HADOOP集群平台实时监测OMC-R服务器上MR原始数据文件的更新情况，如果OMC-R服务器生成了新的MR原始数据文件则将该MR原始数据文件下载至HADOOP平台上的HADOOPHDFS文件系统内；2）下载MR数据后，立即对MR原始数据进行基于HADOOP集群平台的MR数据入库进程；3）在MR数据入库的同时，进行基于HADOOP集群平台应用的移动通信网络测量数据分析。进一步的，步骤1）中将MR原始数据文件下载至HADOOP平台上的HADOOPHDFS文件系统内的步骤，包括：在HADOOP集群平台上，将MR数据平均分布到每个独立的磁盘上，实现方式为，设HADOOP集群平台由n台主机组成，每台主本文档来自技高网...

【技术保护点】
移动通信系统测量数据分析系统，其特征在于，部署在HADOOP集群平台上，包括与OMC‑R服务器连接的监控及下载模块，用于在监控到OMC‑R服务器上生成了新的MR原始数据文件后，自动下载最新的MR原始数据文件；数据入库及分析模块，与监控及下载模块相连，用于在下载MR数据后，立即对MR原始数据进行基于HADOOP集群平台的MR数据入库进程；以及，用于在MR数据入库的同时，进行基于HADOOP集群平台应用的移动通信网络测量数据分析。

【技术特征摘要】
1.移动通信系统测量数据分析系统，其特征在于，部署在HADOOP集群平台上，包括与OMC-R服务器连接的监控及下载模块，用于在监控到OMC-R服务器上生成了新的MR原始数据文件后，自动下载最新的MR原始数据文件；数据入库及分析模块，与监控及下载模块相连，用于在下载MR数据后，立即对MR原始数据进行基于HADOOP集群平台的MR数据入库进程；以及，用于在MR数据入库的同时，进行基于HADOOP集群平台应用的移动通信网络测量数据分析。2.根据权利要求1所述的移动通信系统测量数据分析系统，其特征在于：所述监控及下载模块，用于下载OMC-R服务器上生成的新的MR原始数据文件，将下载的MR原始数据平均分布到每个独立的磁盘上，实现方式为，设HADOOP集群平台由n台主机组成，每台主机有M块独立的磁盘，则MR原始数据文件平均分配为n×M份。3.根据权利要求2所述的移动通信系统测量数据分析系统，其特征在于：所述数据入库及分析模块内设有任务分解及合并模块，用于在集群内的每台主机上，启动M个运算任务，共启动n×M个运算进程，对MR数据进行如下处理，a)解压缩，包括通过n×M个运算进程，分别将相应分配的原始文件，解压缩为原始的xml文件；b)文件解析，包括通过n×M个运算进程，分别将原始的xml文件转换为txt文件；c)各进程解析完成后进行合并；d)将合并生成的文件存储于HADOOPHDFS文件系统；还设有数据库模块和入库模块，入库模块用于在HADOOP集群平台上，启动入库进程，使用标准的JDBC将任务分解及合并模块合并生成的文件中的数据输入到数据库模块中。4.根据权利要求3所述的移动通信系统测量数据分析系统，其特征在于：所述数据入库及分析模块内还设有分析模块，用于对任务分解及合并模块合并生成的文件执行基于HADOOP集群平台应用的移动通信网络测量数据分析，并将分析结果输入到数据库模块内。5.根据权利要求1-4所述的任意一种移动通信系统测量数据分析系统，其特征在于：还包括第二分析模块与所述数据库模块相连，用于在一个时间段后，基于该时间段内所有入库的数据进行分析操作，以验证最新一次下载原始数据所得的分析结果，...

【专利技术属性】
技术研发人员：黄奕杆，丁永，贾永锋，
申请(专利权)人：广州逸信电子科技有限公司，
类型：发明
国别省市：广东,44