数据管理方法、系统、电子设备及存储介质技术方案

本发明专利技术实施例涉及数据处理领域，公开了一种数据管理方法、系统、电子设备及存储介质。本发明专利技术实施例中的数据管理方法应用于存储设备，包括：接收流控设备分发的数据；其中，数据由流控设备从多条输入链路获取，根据多条输入链路的流量大小和预先获取的各存储设备的存储性能参数，将每条输入链路的输入数据动态分发至多个存储设备；将数据分类为寻呼数据和非寻呼数据；将寻呼数据过滤存储，将非寻呼数据存储至预先打开的存储文件中。本发明专利技术实施例中的数据管理方法，可以降低存储成本。可以降低存储成本。可以降低存储成本。

【技术实现步骤摘要】
数据管理方法、系统、电子设备及存储介质


[0001]本申请实施例涉及数据处理领域，特别涉及一种数据管理方法、系统、电子设备及存储介质。

技术介绍

[0002]随着5G时代的到来，运营商的移动网络的部署规模与复杂程度越来越高，运维与参数调优成本越来越高。通过深度报文检测(Deep Packet Inspection，简称“DPI”)技术对移动网络中核心网与接入网中网元的间的交互信令进行分析，输出描述网元间交互的DPI数据(或信令数据)。同时针对网络优化、用户投诉等众多网络诊断需求，往往需要回溯到网元之间的信令交互，因此对DPI设备输出的DPI数据进行保存是非常必要的。
[0003]然而，随着网络规模的扩大，DPI设备输出的DPI数据的流量逐步增加，从而存储DPI数据的存储设备要求有较高的存储性能，导致存储DPI数据需要较高的存储成本。

技术实现思路

[0004]本申请实施例的主要目的在于提出一种数据管理方法、系统、电子设备及存储介质，可以实现降低存储成本。
[0005]为实现上述目的，本申请实施例提供了一种数据管理方法，应用于存储设备，包括：接收流控设备分发的数据；其中，数据由流控设备从多条输入链路获取，根据多条输入链路的流量大小和预先获取的各存储设备的存储性能参数，将每条输入链路的输入数据动态分发至多个存储设备；将数据分类为寻呼数据和非寻呼数据；将寻呼数据过滤存储，将非寻呼数据存储至预先打开的存储文件中。
[0006]为实现上述目的，本申请实施例还提供了一种数据管理方法，应用于流控设备，包括：从多条输入链路获取输入数据；根据多条输入链路的流量大小和预先获取的各存储设备的存储性能参数，将每条输入链路的输入数据动态分发至多个存储设备，供存储设备接收流控设备分发的数据，将数据分类为寻呼数据和非寻呼数据，将寻呼数据过滤存储，将非寻呼数据存储至预先打开的存储文件中。
[0007]为实现上述目的，本申请实施例还提供了一种数据管理系统，包括：流控设备和多个存储设备；其中，流控设备，用于从多条输入链路获取输入数据，根据多条输入链路的流量大小和预先获取的各存储设备的存储性能参数，将每条输入链路的输入数据动态分发至多个存储设备；存储设备，用于接收流控设备分发的数据，将数据分类为寻呼数据和非寻呼数据，将寻呼数据过滤存储，将非寻呼数据存储至预先打开的存储文件中。
[0008]为实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的应用于存储设备的数据管理方法，或者，如上述的应用于流控设备的数据管理方法。
[0009]为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算
机程序，计算机程序被处理器执行时实现上述的应用于存储设备的数据管理方法，或者，如上述的应用于流控设备的数据管理方法。
[0010]本申请提出的数据管理方法，通过流控设备对多条输入链路的输入数据，根据流量大小和预先获取的各存储设备的存储性能参数，对输入数据进行动态分发，即对存储设备的存储过程进行负载均衡，从而可以降低存储设备的性能要求，降低存储成本，通过存储设备对接收的数据进行分类，并对分类得到的寻呼数据进行过滤存储，可以减少存储的寻呼数据的数据量，节约存储空间，降低存储成本，由于打开存储文件需要耗费较多的时间，因此对分类得到的非寻呼数据存储至预先打开的存储文件，可以节省存储非寻呼数据需要的时间，从而无需对存储设备硬件进行改进，也可以实现快速存储，降低存储成本。
附图说明
[0011]图1是根据本专利技术一实施方式提供的应用于存储设备的数据管理方法流程示意图；
[0012]图2是根据本专利技术一实施方式提供的数据管理系统示意图；
[0013]图3是根据本专利技术一实施方式提供的Paging流程的数据的滤除流程示意图；
[0014]图4是根据本专利技术一实施方式提供的时域滑窗示意图；
[0015]图5是根据本专利技术一实施方式提供的时域滑窗与存储文件映射关系示意图；
[0016]图6是根据本专利技术一实施方式提供的窗口临界区示意图；
[0017]图7是根据本专利技术一实施方式提供的非寻呼数据的写入流程示意图；
[0018]图8是根据本专利技术一实施方式提供的超时窗口数据的存储机制示意图；
[0019]图9是根据本专利技术一实施方式提供的文件状态示意图；
[0020]图10是根据本专利技术一实施方式提供的应用于流控设备的数据管理方法流程示意图；
[0021]图11是根据本专利技术一实施方式提供的DPI设备的流量的分发流量示意图；
[0022]图12是根据本专利技术一实施方式提供的DPI数据二次分发示意图；
[0023]图13是根据本专利技术另一实施方式提供的数据管理系统示意图；
[0024]图14是根据本专利技术一实施方式提供的存储设备上报流程示意图；
[0025]图15是根据本专利技术一实施例提供的电子设备结构示意图。
具体实施方式
[0026]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
[0027]本专利技术的实施例涉及一种数据管理方法，应用于存储设备，如图1所示，方法具体包括：
[0028]步骤101，接收流控设备分发的数据；其中，数据由流控设备从多条输入链路获取，
根据多条输入链路的流量大小和预先获取的各存储设备的存储性能参数，将每条输入链路的输入数据动态分发至多个存储设备。
[0029]步骤102，将数据分类为寻呼数据和非寻呼数据；
[0030]步骤103，将寻呼数据过滤存储，将非寻呼数据存储至预先打开的存储文件中。
[0031]本实施例的数据管理方法，应用于如图2所示的数据管理系统，其中，系统中的流控设备和DPI设备集群之间、流控设备和存储设备集群之间通过交换机网络进行连接，基于TCP/IP协议为基础的通信协议进行通信。本实施例中不对交换机类型进行具体限定，只要交换机的带宽满足流量传输需求即可。同时，流控设备和存储设备集群可以处于同一个网段，也可以处于不同网段。流控设备和存储设备可以是X86_64或者ARM64架构的服务器。
[0032]在一些数据管理系统中，将各存储设备和各DPI设备的输出链路进行映射，将存储设备和DPI设备的进行绑定，由于DPI设备会存在输出流量突增的可能，因此要求存储设备拥有较高的存储性能。
[0033]本实施例中，通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理方法，其特征在于，应用于存储设备，包括：接收流控设备分发的数据；其中，所述数据由所述流控设备从多条输入链路获取，根据多条所述输入链路的流量大小和预先获取的各所述存储设备的存储性能参数，将每条输入链路的输入数据动态分发至多个所述存储设备；将所述数据分类为寻呼数据和非寻呼数据；将所述寻呼数据过滤存储，将所述非寻呼数据存储至预先打开的存储文件中。2.根据权利要求1所述的数据管理方法，其特征在于，所述寻呼数据包括完整寻呼数据组和超时寻呼数据组，所述完整寻呼数据组包括多条请求数据和一条响应数据，所述响应数据与多条所述请求数据中的其中一条匹配，所述超时寻呼数据组包括多条超时请求数据，所述超时请求数据不与任何响应数据匹配；所述将所述寻呼数据过滤存储，包括：存储所述完整寻呼数据组中的所述响应数据，以及与所述响应数据匹配的请求数据，过滤所述完整寻呼数据组中的其他请求数据；直接存储所述超时寻呼数据组。3.根据权利要求1或2所述的数据管理方法，其特征在于，所述将所述非寻呼数据存储至预先打开的存储文件中，包括：按非寻呼数据序列顺序读取所述非寻呼数据头部的时间戳，根据所述时间戳，获取与非寻呼数据序列对应的存储文件序列；通过时域滑窗管理所述存储文件序列，将位于所述时域滑窗的窗口内的存储文件预先打开，在窗口时间内，将所述非寻呼数据写入对应的存储文件。4.根据权利要求3所述的数据管理方法，其特征在于，所述时域滑窗包括临界区，位于所述临界区内的存储文件被禁止写入；所述在窗口时间内，将所述非寻呼数据写入对应的存储文件，包括：若所述窗口中不存在与所述非寻呼数据对应的存储文件，或者，与所述非寻呼数据对应的存储文件位于所述临界区，则将此非寻呼数据预存为超时窗口数据；在所述在窗口时间内，将所述非寻呼数据写入对应的存储文件后，所述方法还包括：判断是否存在所述超时窗口数据；若存在，则获取所述超时窗口数据对应的第一存储文件；判断文件管理容器中是否存在所述第一存储文件；其中，所述文件管理容器用于控制窗口中的存储文件在预设时长内保持打开状态；若所述文件管理容器中不存在所述第一存储文件，则打开所述第一存储文件，将所述超时窗口数据写入所述第一存储文件，并将所述第一存储文件存入所述文件管理容器中，根据所述预设时长计算所述第一存储文件的关闭时间；若所述文件管理容器中存在所述第一存储文件，则直接将所述超时窗口数据写入所述第一存储文件，并根据所述预设时长更新所述第一存储文件的关闭时间。5.一种数据管理方法，其特征在于，应用于流控设备，包括：从多条输入链路获取输入数据；根据多条所述输入...

【专利技术属性】
技术研发人员：付林舟，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：