数据处理、存储、查询方法和数据处理系统技术方案

本发明专利技术实施例提供一种数据处理、存储、查询方法和数据处理系统，所述数据处理方法包括：通过消息通知机制采集网络信令数据；按照维度将所述网络信令数据进行分组以及进行指标计算；将所述网络信令数据对应的指标计算结果发送给共享服务器。可实时定向采集网络信令数据，后续过滤分组步骤，可降低序列化开销和网络开销，将计算结果存储于共享服务器可以供第三方系统读取使用。

Data processing, storage, query method, and data processing system

The embodiment of the invention provides a data processing, storage, query method and data processing system, the data processing method includes: a notification mechanism through the message signaling data acquisition network; the network will be calculated according to the dimension of signaling data packet and the calculation of the index; network signaling data corresponding to the index and send the results to share server. The network signaling data can be collected in real time, and the subsequent filtering grouping steps can reduce the serialization overhead and the network overhead, and the calculation results are stored in a shared server for use by the third party system.

【技术实现步骤摘要】
数据处理、存储、查询方法和数据处理系统
本专利技术涉及数据处理
，尤其涉及一种数据处理、存储、查询方法和数据处理系统。
技术介绍
随着智能手机的普及，更多的人习惯使用移动网络，而花在移动网络上的平均时间呈逐年递升趋势，在此环境下，运营商为了更好的对用户提供服务，及时发现网络中的问题，保证用户使用感知，对全网进行了DPI采集。DPI数据的产生让数据规模也越来越大，在数据采集、数据处理、数据存储带来了进一步的挑战。在实现本专利技术过程中，专利技术人发现现有技术中存在以下问题：随着DPI数据规模越来越大，传统的数据处理模式已经无法满足日益增长的海量数据所带来的挑战，无法满足大数据的存储和分析要求。
技术实现思路
本专利技术实施例提供一种数据处理、存储、查询方法和数据处理系统，以解决传统的数据处理模式已经无法满足日益增长的海量数据所带来的挑战，无法满足大数据的存储和分析要求的问题。第一方面，本专利技术实施例提供一种数据处理方法，包括：通过消息通知机制采集网络信令数据；按照维度将所述网络信令数据进行分组以及进行指标计算；将所述网络信令数据对应的指标计算结果发送给共享服务器。可选地，所述指标计算包括：用户指标的计算和/或业务量指标的计算。可选地，所述业务量指标至少包括以下之一：流量、http成功率和http时延。可选地，所述按照维度将所述网络信令数据进行分组以及进行指标计算，包括：基于指标算法确定所述网络信令数据的类型以及确定所述网络信令数据中的数据字段；将所述数据字段按照第一维度进行分组；将分组后的所述数据字段按照第二维度和/或时间粒度进行指标计算。可选地，所述第一维度包括：小区；所述第二维度至少包括以下之一：全网、地市、小区、网元、IP地址、设备和热点；所述时间粒度至少包括以下之一：15min、60min和24h。可选地，所述进行指标计算，包括：计算流量的指标值；和/或，计算http成功率的指标值；和/或，计算http时延的指标值。第二方面，本专利技术实施例提供一种数据存储方法，包括：采集网络信令数据；按照分布KEY规则确定用户的KEY值；按照所述KEY值将所述网络信令数据存储于所述分布式文件系统。可选地，所述KEY至少包括以下之一：用户号码、XDR类型、时间的组合。第三方面，本专利技术实施例提供一种数据查询方法，包括：调用系统接口，获取用户输入的KEY值；根据所述号码/或时间段返回相应的XDR记录；其中，所述KEY值包括用户的号码和/或时间时段。第四方面，本专利技术实施例提供一种数据处理系统，包括：采集模块，用于通过消息通知机制采集网络信令数据；计算模块，用于按照维度将所述网络信令数据进行分组以及进行指标计算；发布模块，用于将所述网络信令数据对应的指标计算结果发送给共享服务器；加载模块，用于按照分布KEY规则确定用户的KEY值；按照所述KEY值将所述网络信令数据存储于所述分布式文件系统；查询模块，用于调用系统接口，获取用户输入的KEY值；根据所述号码/或时间段返回相应的XDR记录。本专利技术实施提供的数据处理方案，通过消息通知机制采集网络信令数据，按照维度将网络信令数据进行分组以及进行指标计算，将网络信令数据对应的指标计算结果发送给共享服务器；可实时定向采集网络信令数据，后续过滤分组步骤，可降低序列化开销和网络开销，将计算结果存储于共享服务器可以供第三方系统读取使用。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面附图中反映的仅仅是本专利技术的一部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得本专利技术的其他实施方式。而所有这些实施例或实施方式都在本专利技术的保护范围之内。图1为本专利技术实施例提供的一种数据处理方法的流程图；图2为本专利技术实施例提供的一种数据处理方法中一种可选方案的流程图；图3为本专利技术实施例提供的一种数据存储方法的流程图；图4为本专利技术实施例提供的一种数据查询方法的流程图；图5为本专利技术实施例提供的一种数据处理系统的结构示意图。具体实施方式下面将结合附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种数据处理方法的流程图，如图1所示，该方法具体包括如下步骤：S101、通过消息通知机制采集网络信令数据。基于消息通知机制，后台服务器实时从数据源中采集网络信令数据，网络信令数据可以是，但不限于：GN信令、Iups信令、LTE信令和Volte信令。具体地，当有网络信令数据生成时,根据消息通知机制生成通知消息，并将该通知消息向后台服务器发送，后台服务器根据该通知消息执行对网络信令数据的采集。基于消息通知机制，在实时采集网络信令数据的过程中降低了数据采集的时延。在本实施例的一种可选方案中，可将采集到的网络信令数据存储于分布式文件服务器中。S102、按照维度将网络信令数据进行分组以及进行指标计算。获取存储的网络信令数据(譬如，从分布式文件服务器中读取网络信令数据)，按照维度将网络信令数据进行分组以及进行指标计算，可以采用指标算法实现本步骤，还可以采用能够实现本步骤的其他算法，对此，本实施例不作具体限定。S103、将网络信令数据对应的指标计算结果发送给共享服务器。在本专利技术实施例的一种可选方案中，指标计算包括：用户指标的计算和/或业务量指标的计算。在本专利技术实施例的一种可选方案中，业务量指标至少包括以下之一：流量、http成功率和http时延。将对网络信令数据对应的计算结果数据转换为文件的形式，并将该文件发送给共享服务器，在本实施例共享服务器可以包括多个，如一个由多个共享服务器组成的FTP集群，根据计算周期的不同，生成不同周期的文件目录，每一个周期一个文件，在文件生成完成之后，发送文件落地消息，供第三方系统读取使用。在本专利技术实施例的一种可选方案中，S102可具体包括如下子步骤：S1021、基于指标算法确定网络信令数据的类型以及确定网络信令数据中的数据字段。S1022、将数据字段按照第一维度进行分组。S1023、将分组后的数据字段按照第二维度和/或时间粒度进行指标计算。根据指标算法确定网络信令数据的类型，过滤网络信令数据中的无用字段，保留有用字段(即数据字段)，降低后续步骤过程中，数据传输和处理时的序列化开销和网络开销。将过滤后的数据按照第一维度进行分组，使数据均匀地分布,便于后续步骤执行实时指标计算和数据合并的处理，避免高并发下由于数据单点、热点集中而造成系统瓶颈，拖慢处理流程。在本专利技术实施例的一种可选方案中，第一维度包括：小区；第二维度至少包括以下之一：全网、地市、小区、网元、IP地址、设备和热点；时间粒度至少包括以下之一：15min、60min和24h。在本专利技术实施例的一种可选方案中，S1023可包括如下指标计算：计算流量的指标值；和/或，计算http成功率的指标值；和/或，计算http时延的指标值。流量:对于LTE信令数据和GN信令数据中的每条信令记录,取上行流量和下行流量字段,计算上行流量+下行流量；htt本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，包括：通过消息通知机制采集网络信令数据；按照维度将所述网络信令数据进行分组以及进行指标计算；将所述网络信令数据对应的指标计算结果发送给共享服务器。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：通过消息通知机制采集网络信令数据；按照维度将所述网络信令数据进行分组以及进行指标计算；将所述网络信令数据对应的指标计算结果发送给共享服务器。2.根据权利要求1所述的方法，其特征在于，所述指标计算包括：用户指标的计算和/或业务量指标的计算。3.根据权利要求2所述的方法，其特征在于，所述业务量指标至少包括以下之一：流量、http成功率和http时延。4.根据权利要求1所述的方法，其特征在于，所述按照维度将所述网络信令数据进行分组以及进行指标计算，包括：基于指标算法确定所述网络信令数据的类型以及确定所述网络信令数据中的数据字段；将所述数据字段按照第一维度进行分组；将分组后的所述数据字段按照第二维度和/或时间粒度进行指标计算。5.根据权利要求4所述的方法，其特征在于，所述第一维度包括：小区；所述第二维度至少包括以下之一：全网、地市、小区、网元、IP地址、设备和热点；所述时间粒度至少包括以下之一：15min、60min和24h。6.根据权利要求3或5所述的方法，其特征在于，所述进行指标计算，包括：计算流量...

【专利技术属性】
技术研发人员：卞臻，许明，郑波，翟建桐，
申请(专利权)人：杭州东方通信软件技术有限公司，
类型：发明
国别省市：浙江,33