数据关联方法及装置制造方法及图纸

本公开涉及一种数据关联方法及装置。该方法包括：按照第一频率获取用户认证数据和终端在线数据，并将包括相同的标识的用户认证数据和终端在线数据进行整合处理，得到用户在线数据，将用户在线数据持久化到用户在线数据表中；实时获取流量日志，并对流量日志进行流式数据处理，得到网络行为数据，将网络行为数据持久化到网络行为数据表中；按照第二频率，从用户在线数据表、网络行为数据表和接入设备位置数据表中，将包括相同的标识的用户在线数据、网络行为数据和接入设备位置数据进行关联，由此能够将用户、用户在无线网络下的位置以及网络行为关联起来，为分析用户的网络行为提供数据支持，从而实现为用户提供更优质的网络服务或安防保障等。

【技术实现步骤摘要】
数据关联方法及装置
本公开涉及通信
，尤其涉及一种数据关联方法及装置。
技术介绍
目前，在学校、场馆和城市等场所部署无线网络和网络行为审计设备，在给用户提供上网服务的同时，监控无线网络覆盖下的用户的网络行为。通过大数据分析，从而实现为用户提供更优质的网络服务或安防保障等。其中，网络行为审计设备可以指能够对网络覆盖下的用户的网络行为进行监控的设备，例如DPI(DeepPacketInspection，深度报文检测)设备。例如，网络行为审计设备可以安装在主网络出口，用于对主网络出口的用户的网络行为进行监控。相关技术中，无线网络采用DHCP(DynamicHostConfigurationProtocol，动态主机配置协议)自动为用户分配IP(InternetProtocol，网络协议)地址，因此用户每次登录无线网络时都会被分配到不同的IP地址。由于用户与IP地址不具有长久的对应关系，将会造成网络行为审计设备只能对每个IP地址的网络行为进行监控，而无法对每个用户的网络行为进行监控。目前，可以将网络行为审计设备连接认证系统，实现将用户与IP地址进行关联，从而实现对用户的网络行为进行监控。但是流量日志的数据量较大，离线关联的效率较低，因此造成离线关联的时效性较差，无法实时将用户与IP地址进行关联。此外，即使实现将用户与IP地址进行关联，也无法确定用户的位置。
技术实现思路
有鉴于此，本公开提出了一种数据关联方法及装置，以解决相关技术中用户、用户在无线网络下的位置和网络行为关联效率低的问题。根据本公开的一方面，提供了一种数据关联方法，所述方法包括：按照第一频率获取用户认证数据和终端在线数据，并将包括相同的标识的所述用户认证数据和所述终端在线数据进行整合处理，得到用户在线数据，将所述用户在线数据持久化到用户在线数据表中；实时获取流量日志，并对所述流量日志进行流式数据处理，得到网络行为数据，将所述网络行为数据持久化到网络行为数据表中；按照第二频率，从所述用户在线数据表、所述网络行为数据表和接入设备位置数据表中，将包括相同的标识的所述用户在线数据、所述网络行为数据和接入设备位置数据进行关联。根据本公开的另一方面，提供了一种数据关联装置，所述装置包括：第一处理模块，用于按照第一频率获取用户认证数据和终端在线数据，并将包括相同的标识的所述用户认证数据和所述终端在线数据进行整合处理，得到用户在线数据，将所述用户在线数据持久化到用户在线数据表中；第二处理模块，用于实时获取流量日志，并对所述流量日志进行流式数据处理，得到网络行为数据，将所述网络行为数据持久化到网络行为数据表中；数据关联模块，用于按照第二频率，从所述用户在线数据表、所述网络行为数据表和接入设备位置数据表中，将包括相同的标识的所述用户在线数据、所述网络行为数据和接入设备位置数据进行关联。根据本公开的另一方面，提供了一种数据关联装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。本公开的数据关联方法及装置，按照第一频率获取用户认证数据和终端在线数据，并将包括相同的标识的用户认证数据和终端在线数据进行整合处理，得到用户在线数据，将用户在线数据持久化到用户在线数据表中，实时获取流量日志，并对流量日志进行流式数据处理，得到网络行为数据，将网络行为数据持久化到网络行为数据表中，按照第二频率，从用户在线数据表、网络行为数据表和接入设备位置数据表中，将包括相同的标识的用户在线数据、网络行为数据和接入设备位置数据进行关联，由此能够将用户、用户在无线网络下的位置以及网络行为快速及时地关联起来，为分析用户的网络行为提供数据支持，从而实现为用户提供更优质的网络服务或安防保障等。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。图1示出根据本专利技术一实施例的数据关联的示意图。图2示出根据本公开一实施例的数据关联方法的流程图。图3示出根据本专利技术一实施例的数据关联的示意图。图4示出根据本公开一实施例的数据关联装置的框图。图5示出根据本公开一实施例的数据关联装置的框图。图6示出根据本专利技术一实施例的数据关联装置的框图。具体实施方式以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。为了使本
的人员更好地理解本专利技术实施例中的技术方案，下面先对本专利技术实施例中涉及的部分技术术语进行简单说明。流量日志可以指网络行为审计设备对网络覆盖下的用户的网络行为进行监控产生的日志文件。其中，网络行为审计设备可以指能够对网络覆盖下的用户的网络行为进行监控的设备，例如DPI设备。网络行为可以指通过网络进行的各种操作，包括访问网站、收发邮件、上传/下载、即时通信和网络游戏等，本公开对此不作限制。通过对流量日志进行流式数据处理，能够得到网络行为数据。网络行为数据表可以指用于存储网络行为数据的数据库。网络行为数据可以指记录用户的网络行为的数据。表1示出根据本专利技术一实施例的网络行为数据。如表1所示，网络行为数据包括但不限于以下内容：账号名(UserName)、用户IP地址(UserIP)、应用名称(AppName)、上传流量(UP)、下载流量(Down)、统计开始时间(CreateTime)和统计结束时间(EndTime)。需要说明的是，无线网络采用DHCP自动为用户分配IP地址，用户每次登录无线网络时都会被分配到不同的IP地址。因此，如表1所示，虽然网络行为数据包括账号名和用户IP地址，但是账号名并没有包含真正的账号名，而是采用用户IP地址进行代替。由此网络行为数据仅能够对应于用户IP地址，而无法对应于具体的用户。表1字段字段名称说明UserName账号名默认为用户IP地址UserIP用户IP地址用户使用网络获取的IP地址AppName应用名称使用应用名称UP上传流量用户的上传流量Down下载流量用户的下载流量CreateTime统计开始时间统计开始时间EndTime统计结束时间统计结束时间………………用户认证数据可以指记录用户的认证情况的数据。AAA(AuthenticationAuthorizationAccounting，验证、授权和记账)服务器可以指能够处理用户访问请求、提供验证授权以及帐户服务的设备。AAA服务器对用户进行验证、授权和记账，并将用户认证数据存储至通用的关系型数据库中，例如Mysq本文档来自技高网...

【技术保护点】
1.一种数据关联方法，其特征在于，所述方法包括：按照第一频率获取用户认证数据和终端在线数据，并将包括相同的标识的所述用户认证数据和所述终端在线数据进行整合处理，得到用户在线数据，将所述用户在线数据持久化到用户在线数据表中；实时获取流量日志，并对所述流量日志进行流式数据处理，得到网络行为数据，将所述网络行为数据持久化到网络行为数据表中；按照第二频率，从所述用户在线数据表、所述网络行为数据表和接入设备位置数据表中，将包括相同的标识的所述用户在线数据、所述网络行为数据和接入设备位置数据进行关联。

【技术特征摘要】
1.一种数据关联方法，其特征在于，所述方法包括：按照第一频率获取用户认证数据和终端在线数据，并将包括相同的标识的所述用户认证数据和所述终端在线数据进行整合处理，得到用户在线数据，将所述用户在线数据持久化到用户在线数据表中；实时获取流量日志，并对所述流量日志进行流式数据处理，得到网络行为数据，将所述网络行为数据持久化到网络行为数据表中；按照第二频率，从所述用户在线数据表、所述网络行为数据表和接入设备位置数据表中，将包括相同的标识的所述用户在线数据、所述网络行为数据和接入设备位置数据进行关联。2.根据权利要求1所述的方法，其特征在于，按照第一频率获取用户认证数据和终端在线数据，包括：按照所述第一频率，通过应用程序编程接口API分别获取所述用户认证数据和所述终端在线数据。3.根据权利要求1所述的方法，其特征在于，对所述流量日志进行流式数据处理，得到网络行为数据，包括：将实时获取的所述流量日志分发到消息队列，并根据解析协议对所述消息队列输出的流量日志进行解析处理，得到所述网络行为数据。4.根据权利要求1至3任一所述的方法，其特征在于，所述用户认证数据包括用户IP地址和帐号名；所述终端在线数据包括用户IP地址和接入设备序列号；所述网络行为数据包括用户IP地址、应用名称、上传流量、下载流量、统计开始时间和统计结束时间；所述接入设备位置数据包括接入设备序列号和对应的接入设备位置。5.根据权利要求4所述的方法，其特征在于，将包括相同的标识的所述用户认证数据和所述终端在线数据进行整合处理，得到用户在线数据，包括：将包括相同的用户IP地址的所述用户认证数据和所述终端在线数据进行整合处理，得到所述用户在线数据；所述用户在线数据包括：用户IP地址、帐号名和接入设备序列号。6.根据权利要求5所述的方法，其特征在于，将包括相同的标识的所述用户在线数据、所述网络行为数据和接入设备位置数据进行关联，包括：将包括相同的用户IP地址的所述用户在线数据和所述网络行为数据进行关联；将包括相同的接入设备序列号的所述用户在线数据和所述接入...

【专利技术属性】
技术研发人员：朱磊，吴昊，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南,41