一种基于网络信令记录的实时处理保障方法及系统技术方案

本发明专利技术公开了一种基于网络信令记录的实时处理保障方法及系统，本方案通过对海量网络信令数据进行过滤、小区维度分组、分多种统计维度、多种时间粒度计算用户数指标和各种业务量指标、按小区维度合并、按键key分组、按键key合并、分布式缓存的实时处理后，实现了对多种维度下的用户数指标和各种业务量指标的实时统计分析，从而快速有效的发掘网络信令数据中的价值，快速的发现问题、定位问题。解决了现阶段采用传统方式无法对海量信令数据实时有效的分析的问题。

【技术实现步骤摘要】

本专利技术涉及大数据处理领域，尤其涉及一种基于网络信令记录的实时处理保障方法及系统。
技术介绍
近年，随着通信技术的飞速发展，网络逐渐改变着人类的生产生活方式，人们对网络的依赖程度越来越高。对电信运营商而言，终端产生的信令数据规模也越来越大。数据采集、数据处理、数据存储带来了进一步的挑战。如何快速有效的发现网络信令数据中所蕴含的价值，成为了电信运营商亟待解决的问题。随着信令数据规模越来越大，传统的数据处理模式暴露出了很多问题：首先，采用传统的集中存储和集中计算的方式已经无法满足日益增长的海量数据所带来的挑战；其次，传统数据库读写性能已无法满足大数据的存储和分析要求；第三，传统的离线分析技术处理时延比较大，无法及时有效的挖掘和利用数据中蕴含的价值，无法及时定位问题、调整资源配置，使数据失去了时效性。
技术实现思路
本专利技术的目的在于提供一种基于网络信令记录的实时处理保障方法及系统，解决现有技术无法满足对海量网络信令数据的实时分析处理的问题。为了实现上述目的，本专利技术提供了一种基于网络信令记录的实时处理保障方法，包括以下步骤：采集网络信令数据；将所述网络信令数据按多种维度进行分组；将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算；读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并；将所述实时指标按键key进行分组；读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。所述多种维度包括全网、地市、小区、网元、设备和热点中的一个或多个。所述多种时间粒度包括分1分钟、5分钟和1小时的一个或多个。所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤，包括：根据指标算法，采用分布式流计算系统计算各类实时指标的值；将计算得到的所述实时指标生成键值对key-value形式的数据；将键key相同的所述实时指标的值value进行缓冲合并。所述实时指标包括：用户数指标；所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤，包括：先对用户IMSI号码反转，并对反转的IMSI号码计算哈希值；取哈希值的前8个字节，并用HyperLogLog算法对用户数进行去重统计，得到用户数指标的值。所述将所述网络信令数据按多种维度进行分组步骤，包括：按小区维度分组。所述键key为维度标识、维度、时间粒度、时间的组合。所述读取分布式缓存中与所述计算后的实时指标相匹配的数据进行增量合并步骤，包括：微批量读取分布式缓存中与所述计算后的实时指标小区维度相同的数据进行增量合并。所述读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并，包括：微批量读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。所述实时指标还包括业务量指标；所述业务量指标包括流量、http成功率、http时延。在执行所述将所述网络信令数据按多种维度进行分组步骤前，根据数据类型，过滤所述网络信令数据中的无用字段。所述采集网络信令数据步骤，包括：基于消息通知机制，采集网络信令数据。将所述读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并步骤和所述读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并步骤所得到的数据合并结果，均以异步微批量的方式写入分布式缓存中；外部应用可随时的从分布式缓存中读取所述合并的结果数据，进行包括实时性能预警、区域场景保障、实时人流监控的分析和使用。对应于本专利技术提供的上述方法，本专利技术还提供了一种基于网络信令的实时处理保障系统，其特征在于，包括：数据采集模块、第一分组模块、计算模块、第一合并模块、第二分组模块、第二合并模块、分布式缓存模块；所述数据采集模块，用于采集网络信令数据；所述第一分组模块，用于将所述过滤后的网络信令数据按多种维度分组；所述计算模块，用于将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算；所述第一合并模块，用于读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并；所述第二分组模块，用于将所述实时指标按键key进行分组；所述第二合并模块，用于读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并；所述分布式缓存模块，用于缓存所述增量合并的数据结果。通过采用本专利技术提供的一种基于网络信令记录的实时处理保障方法及系统，由于本方案在采集网络信令数据时，采用的是消息通知机制，当有数据生成时，则发送通知消息,采集系统收到通知后立即开始采集，避免在采集程序中通过扫描等其它机制时发生数据的时延，从而可降低数据采集过程的时延；由于内存中的对象经过网络传输时需要先进行序列化,再将对象转换成可传输的二进制数据.根据这一点，本方案根据数据类型过滤网络信令数据中的无效字段，从而减小网络信令中的字段数，网络信令中的字段数减少，则序列化过程中需要序列化的字段数也相应地减少，需要序列化的字段数减少则序列化后的二进制数据也相应地减少；因此，本方案根据数据类型过滤网络信令数据中的无效字段，减小了数据传输中的序列化开销和网络开销；由于小区维度的数据相较于上层维度的数据,具有在单位时间内随机，分散的特点，不会出现单位时间如1秒内，数据集中在某几个小区的情况，因此数据维度越细,越随机分散数据，越能够保证数据的均匀分布；本方案正是根据这一点，将数据流按小区维度分组，使数据在各模块处理单元上均匀分布，避免了高并发下由于数据单点、热点集中而造成系统瓶颈；且本方案将数据流按小区维度分组，使同一小区数据的读写操作都在同一模块处理单元内进行,避免出现多个模块处理单元操作同一份数据的情况,从而保证按小区维度分组后对小区数据合并时数据的一致性；同样地，本方案将数据流按键按key分组，使同一键key数据分到同一处理单元，不会出现相同key的数据被多个模块处理单元操作的情况，从而第二次分组后对数据合并时保证数据一致性。另外，由于本方案根据指标算法，通过分布式流计算系统，分全网、地市、小区、网元、设备和热点等多种维度和1分钟、5分钟和1小时等多种时间粒度计算去重用户数、业务量指标，并将计算的指标以键值对key-value形式在本地内存中缓冲合并，因此提高了系统吞吐量、降低了网络开销和分布式缓存系统的负荷；此外还有，本方案采用微批量读取，增量合并，微批量异步写入的方式，将本地缓存的数据同分布式缓存中的数据做合并，其中，微批量操作不同于批量操作，批量操作在提升性能的同时会较大地增大处理时延，而微批量操作在提升性能时,不会造成较大的时延；因此，以上微批量读取，增量合并，微批量异步写入的方式在保证系统吞吐量的同时降低数据处理时延。附图说明图1是本专利技术提供的一种基于网络信令记录的实时处理保障方法的流程图；图2是本专利技术实施例提供的一种基于网络信令记录的实时处理保障系统的结构示意图。具体实施方式下面通过附图和实施例，对本专利技术的技术方法做进一步的详细描述。如图1所示，本专利技术提供的一种基于网络信令记录的实时处理保障方法的具体过程为：S101：采集网络信令数据；基于消息通知机制，通过数据采集服务实时从数据源采集包括GN信令、Iups信令、LTE信令和Volte信令在内的各种网络信令；当有网络信令数据生成时,数据采集服务则根据通本文档来自技高网...

【技术保护点】
一种基于网络信令记录的实时处理保障方法，其特征在于，包括以下步骤：采集网络信令数据；将所述网络信令数据按多种维度进行分组；将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算；读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并；将所述实时指标按键key进行分组；读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。

【技术特征摘要】
1.一种基于网络信令记录的实时处理保障方法，其特征在于，包括以下步骤：采集网络信令数据；将所述网络信令数据按多种维度进行分组；将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算；读取分布式缓存中与所述计算后的实时指标维度相匹配的数据进行增量合并；将所述实时指标按键key进行分组；读取分布式缓存中与所述分组后的实时指标键key相同的数据进行增量合并。2.根据权利要求1所述的方法，其特征在于，所述多种维度包括全网、地市、小区、网元、设备和热点中的一个或多个。3.根据权利要求2所述的方法，其特征在于，所述多种时间粒度包括分1分钟、5分钟和1小时的一个或多个。4.根据权利要求3所述的方法，其特征在于，所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤，包括：根据指标算法，采用分布式流计算系统计算各类实时指标的值；将计算得到的所述实时指标生成键值对key-value形式的数据；将键key相同的所述实时指标的值value进行缓冲合并。5.根据权利要求4所述的方法，其特征在于，所述实时指标包括用户数指标；所述将所述分组后的网络信令数据按多种维度和多种时间粒度进行实时指标计算步骤，包括：先对用户IMSI号码反转，并对反转的IMSI号码计算哈希值；取哈希值的前8个字节，并用HyperLogLog算法对用户数进行去重统计，得到用户数指标的值。6.根据权利要求1、3、4或5任一权利要求所述的方法，其特征在于，所述将所述网络信令数据按多种维度进行分组步骤，包括：按小区维度分组。7.根据权利要求1所述的方法，其特征在于，所述键key为维度标识、维度、时间粒度、时间的组合。8.根据权利要求6所述的方法，其特征在于，所述读取分布式缓存中与所述计算后的实时指标相匹配的数据进行增量合并步骤，包括：微批量读取分布式缓存中与所述计算后的实时指标小区维度相同的数据进行增量合并。9.根据权利要求1...

【专利技术属性】
技术研发人员：娄瑶佳，蔡蓉，杨燕翊，虞驰，卞臻，毛广，段建平，
申请(专利权)人：杭州东方通信软件技术有限公司，
类型：发明
国别省市：浙江;33