一种信令大数据处理方法及电子设备技术

本发明专利技术提供一种信令大数据处理方法及电子设备，所述方法包括：利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理，并对提取的Counter进行库外计算；对Counter提取后的信令大数据进行入库计算处理。本发明专利技术能够有效提高信令大数据的处理效率，并有效减少硬件消耗，节省硬件投资，提升企业效益。

【技术实现步骤摘要】
一种信令大数据处理方法及电子设备
本专利技术涉及通信数据处理
，更具体地，涉及一种信令大数据处理方法及电子设备。
技术介绍
当前，拥有丰富大数据资源的各电信运营商已广泛建立起大量的信令监测系统，基于信令数据开展各种维度的分析已成为各电信运营商的关键能力。例如，基于信令数据，开展质差网元分析、端到端业务质量分析、客户感知溯源分析以及实时业务质量监测等。同时，由于移动互联网业务的飞速发展，信令数据规模庞大且在持续增长。爆炸式的数据增长以及现有架构十分缓慢的分析速度，给信令数据的处理效率带来了极大的挑战。传统的信令数据处理方法针对解析后的全量XDR，完全借助Hadoop集群的分布式计算能力，实现对Counter的提取及汇总计算。该方式将所有计算压力集中在Hadoop等大数据计算集群上，计算效率低，对硬件资源消耗大。主要体现在：直接将XDR进行入库计算，但因XDR详单中存在URI、User-Agent等占用存储大，同时又对业务指标统计无用字段，造成在计算过程中耗费较多的内存资源，降低了数据处理性能；参与计算数据量大，同时在SQL中包含了复杂的Counter提取逻辑判断，使部分业务指标统本文档来自技高网...

【技术保护点】
1.一种信令大数据处理方法，其特征在于，包括：利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理，并对提取的Counter进行库外计算；对Counter提取后的信令大数据进行入库计算处理。

【技术特征摘要】
1.一种信令大数据处理方法，其特征在于，包括：利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理，并对提取的Counter进行库外计算；对Counter提取后的信令大数据进行入库计算处理。2.根据权利要求1所述的方法，其特征在于，在所述利用预先建立的Counter预提取模型，对待处理信令大数据进行Counter提取处理的步骤之前，还包括：分别定义模型的Counter指标提取规则、Counter算法规则维护形式以及Counter算法的词法、语法分析逻辑；基于所述Counter指标提取规则、所述Counter算法规则维护形式以及所述Counter算法的词法、语法分析逻辑，通过定义代码生成及编译逻辑，建立所述Counter预提取模型。3.根据权利要求2所述的方法，其特征在于，定义所述Counter指标提取规则的步骤进一步包括：利用结构化查询语言SQL，定义所述Counter指标提取规则，实现数字化表示。4.根据权利要求2所述的方法，其特征在于，定义所述Counter算法规则维护形式的步骤进一步包括：设置可视化的Counter提取规则维护界面，以实现对所述Counter指标提取规则的实时调整与维护。5.根据权利要求2所述的方法，其特征在于，定义所述Counter算法的词法、语法分析逻辑的步骤进一步包括：基于写入的输入文件类型，利用Lex工具生成词法分析器；根据符合结构化查询语言SQL标准的程序字和词法、语法规则，编制Lex和Yacc源文件，并利用GNU中的构造工具Flex和...

【专利技术属性】
技术研发人员：王炳亮，王莹，徐晨，袁明明，
申请(专利权)人：北京天元创新科技有限公司，
类型：发明
国别省市：北京,11