一种DPI设备的数据处理方法及相关的DPI设备技术

本发明专利技术实施例涉及数据处理领域，尤其涉及一种DPI设备的数据处理方法及相关的DPI设备，用于减少存储数据的量。本发明专利技术实施例中，获取数据流信息并确定数据流信息的目标用户；确定目标用户的数据流记录；若确定数据流记录中存在与数据流信息的用户属性信息一致的第一记录，则根据数据流信息更新第一记录中的统计属性信息。由于本发明专利技术实施例中，确定目标用户的数据流记录中存在与获取到的数据流信息的用户属性一致的第一记录时，根据数据流信息更新第一记录中的统计属性信息，不需要将获取的数据进行存储，减少了存储的数据量；目标用户的数据流记录是以用户为存储单位，在整个网络中用户的数量远小于数据流的数量；因此，进一步减少存储的数据量。

【技术实现步骤摘要】
一种DPI设备的数据处理方法及相关的DPI设备
本专利技术实施例涉及数据处理领域，尤其涉及一种DPI设备的数据处理方法及相关的DPI设备。
技术介绍
近年来，网络的规模不断扩大，网络的用户数不断增加，网络应用和业务种类不断丰富，由此也带来了对网络分析的不便。如何高效分析网络状况、以及处理网络危机、快速感知用户行为，挖掘数据价值等等，成为了现今网络分析的重要难题。目前，常用的一种网络数据流量监控方法为深度包检测(DeepPacketInspection，简称：DPI)技术，它是一种7层协议分析，除了对4层以下(MAC地址、IP层、传输层)的数据业务进行分析外，还增加了应用层分析(应用层协议、载荷内容等)，数据包的连接状态等；可以识别各种应用类型，作为运营商对网络流量监控的一种辅助手段。通过DPI设备可以把链路信息、数据包信息、数据分析结果信息等保存下来，并展示在环球信息网(WorldWideWeb，简称WEB)。现有技术中DPI设备往往使用数据库来保存这些信息，将这些信息对应的数据流采用逐条插入的方式保存。然而，随着网络的发展，网络数据量越来越庞大、DPI设备保存的内容越多，会造成DPI设备保存的效率越低，而且业务方面也无法做到精细。特别是对于大型网络环境，采用多张网卡10Gb，数据流达几百万条每秒级别，DPI设备如果使用数据库逐条插入方式保存，需要保存的数据量也相当庞大，且需要占用大量存储空间。
技术实现思路
本专利技术实施例提供了一种DPI设备的数据处理方法及相关的DPI设备，用于减少DPI设备存储的数据量。本专利技术实施例提供一种DPI设备的数据处理方法，包括：获取数据流信息并确定所述数据流信息的目标用户；获取所述目标用户的数据流记录；若确定所述数据流记录中存在与所述数据流信息的用户属性信息一致的第一记录，则根据所述数据流信息更新所述第一记录中的统计属性信息。可选地，若确定所述数据流记录中不存在述第一记录，则根据所述数据流信息在所述目标用户的数据流记录中新增第二记录，所述第二记录的统计属性信息根据所述数据流记录中的统计属性信息来确定。可选地，所述确定所述数据流信息的目标用户，包括：根据网卡类型和相应的预设条件确定所述数据流信息的目标用户；其中，所述预设条件包括：在确定所述网卡类型为上/下行双网卡的情况下，将通过上行网卡的数据流信息中的源网络协议IP地址确定为所述目标用户，将通过下行网卡的数据流信息中的目的IP地址确定为目标用户；在确定所述网卡类型为单网卡的情况下：若确定所述数据流信息中的源IP地址为所述目标用户所在网段中的任一IP地址时，则确定所述源IP地址为目标用户；若确定所述数据流信息中的目的IP地址为所述目标用户所在网段中任一IP地址，则确定所述目的IP地址为目标用户；所述源IP地址与所述目的IP地址不在同一网段中。可选地，所述根据所述数据流信息更新所述第一记录中的统计属性信息之后，还包括：从所述目标用户的数据流记录中获取统计时间段内的目标数据流记录；针对所述目标数据流记录中的至少一个用户属性信息，执行：确定所述用户属性信息对应的统计属性信息在所述目标数据流记录的统计属性信息的总和中的占比。可选地，在预设时段，将存储于内存的所述目标用户的数据流记录导入数据库；其中，所述预设时段为网络流量低于流量阈值的时段。本专利技术实施例提供一种用于数据处理的DPI设备，包括：存储模块，用于存储各用户的数据流记录，每个用户的数据流记录中包含多条数据流记录，各条数据流记录的用户属性信息不完全相同；处理模块，用于获取数据流信息并确定所述数据流信息的目标用户；从所述存储模块中获取所述目标用户的数据流记录；若确定所述数据流记录中存在与所述数据流信息的用户属性信息一致的第一记录，则根据所述数据流信息更新所述第一记录中的统计属性信息。可选地，所述处理模块，还用于：若确定所述数据流记录中不存在述第一记录，则根据所述数据流信息在所述目标用户的数据流记录中新增第二记录，所述第二记录的统计属性信息根据所述数据流记录中的统计属性信息来确定。可选地，所述处理模块，用于：根据网卡类型和相应的预设条件确定所述数据流信息的目标用户；其中，所述预设条件包括：在确定所述网卡类型为上/下行双网卡的情况下，将通过上行网卡的数据流信息中的源网络协议IP地址确定为所述目标用户，将通过下行网卡的数据流信息中的目的IP地址确定为目标用户；在确定所述网卡类型为单网卡的情况下：若确定所述数据流信息中的源IP地址为所述目标用户所在网段中的任一IP地址时，则确定所述源IP地址为目标用户；若确定所述数据流信息中的目的IP地址为所述目标用户所在网段中任一IP地址，则确定所述目的IP地址为目标用户；所述源IP地址与所述目的IP地址不在同一网段中。可选地，所述处理模块，还用于：从所述目标用户的数据流记录中获取统计时间段内的目标数据流记录；针对所述目标数据流记录中的至少一个用户属性信息，执行：确定所述用户属性信息对应的统计属性信息在所述目标数据流记录的统计属性信息的总和中的占比。可选地，处理模块，还用于：在预设时段，将存储模块内存储的所述目标用户的数据流记录导入数据库；其中，所述预设时段为网络流量低于流量阈值的时段。由于本专利技术实施例中，获取到数据流信息并确定数据流信息的目标用户，在确定目标用户的数据流记录中存在与获取到的数据流信息的用户属性一致的第一记录时，根据所述数据流信息更新所述第一记录中的统计属性信息，更新的是目标用户的数据流统计属性信息，不需要对已有用户信息及数据流信息进行重复存储，进而减少了存储的数据量；而且，针对的是目标用户的数据流记录，是以用户为存储单位，在整个网络中用户的数量远小于数据流的数量；因此，以用户为索引可以提高查询效率。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。图1为本专利技术实施例提供的一种通信系统的架构示意图；图2为本专利技术实施例提供的一种DPI设备的数据处理方法流程示意图；图3为本专利技术实施例提供的另一种DPI设备的数据处理方法流程示意图；图4为本专利技术实施例提供的另一种DPI设备的数据处理方法流程示意图；图5为本专利技术实施例提供的一种数据处理设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1示出了应用本专利技术实施例的一种通信系统的架构示意图。如图1所示，该系统架构可以包括客户端101、服务器102以及数据处理设备，数据处理设备包括DPI设备，本专利技术实施例中以数据处理设备为DPI设备103时为例论述。DPI设备可以设置在网络的出口处、交换机的附近、路由器附件或者路由器内等位置，便于获取客户端和服务器之间通信的数据流。客户端101可以经无线接入网(RadioAccessNetwork，简称RAN)与一个或多个核心网进行通信的终端设备，可以指用户设备(UserEquipment，简称UE)、接入终端、用户单元、用户站、移动站本文档来自技高网...

【技术保护点】
1.一种深度包检测DPI设备的数据处理方法，其特征在于，包括：获取数据流信息并确定所述数据流信息的目标用户；获取所述目标用户的数据流记录；若确定所述数据流记录中存在与所述数据流信息的用户属性信息一致的第一记录，则根据所述数据流信息更新所述第一记录中的统计属性信息。

【技术特征摘要】
1.一种深度包检测DPI设备的数据处理方法，其特征在于，包括：获取数据流信息并确定所述数据流信息的目标用户；获取所述目标用户的数据流记录；若确定所述数据流记录中存在与所述数据流信息的用户属性信息一致的第一记录，则根据所述数据流信息更新所述第一记录中的统计属性信息。2.如权利要求1所述的方法，其特征在于，还包括：若确定所述数据流记录中不存在所述第一记录，则根据所述数据流信息在所述目标用户的数据流记录中新增第二记录，所述第二记录的统计属性信息根据所述数据流记录中的统计属性信息来确定。3.如权利要求1所述的方法，其特征在于，所述确定所述数据流信息的目标用户，包括：根据网卡类型和相应的预设条件确定所述数据流信息的目标用户；其中，所述预设条件包括：在确定所述网卡类型为上/下行双网卡的情况下，将通过上行网卡的数据流信息中的源网络协议IP地址确定为所述目标用户，将通过下行网卡的数据流信息中的目的IP地址确定为目标用户；在确定所述网卡类型为单网卡的情况下：若确定所述数据流信息中的源IP地址为所述目标用户所在网段中的任一IP地址时，则确定所述源IP地址为目标用户；若确定所述数据流信息中的目的IP地址为所述目标用户所在网段中任一IP地址，则确定所述目的IP地址为目标用户；所述源IP地址与所述目的IP地址不在同一网段中。4.如权利要求1所述的方法，其特征在于，所述根据所述数据流信息更新所述第一记录中的统计属性信息之后，还包括：从所述目标用户的数据流记录中获取统计时间段内的目标数据流记录；针对所述目标数据流记录中的至少一个用户属性信息，执行：确定所述用户属性信息对应的统计属性信息在所述目标数据流记录的统计属性信息的总和中的占比。5.如权利要求1-4中任一项所述的方法，其特征在于，包括：在预设时段，将存储于内存的所述目标用户的数据流记录导入数据库；其中，所述预设时段为网络流量低于流量阈值的时段。6.一种用于数据处理的DPI设备，其特征在于，包括：存储模块，用于存储各用户的数据流记录，每个用户的数据流记录中包含多条数据流记录，各条数据流记录的用户属性信息不完全相同；处理模块，用于获取数据流信息并确定所述数据流信息的目标...

【专利技术属性】
技术研发人员：程杜勇，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海,31