一种采集用户数据的方法及装置制造方法及图纸

本发明专利技术提供一种采集用户数据的方法和装置，应用于路由器，路由器连接局域网和广域网，在方法中，分别于路由器的网络适配器的接收端和发送端截取自局域网向广域网发送的报文；装置包括：接收端截取模块，与路由器的网络适配器的接收端相连，用以于接收端处截取自局域网向广域网发送的报文；发送端截取模块，与网络适配器的发送端相连，用以于发送端处截取自局域网向广域网发送的报文。在有线网卡和无线网卡的驱动的发送端中增加报文采集功能，降低了报文采集对协议栈的依赖和加速模块的限制，提高了性能。

【技术实现步骤摘要】

本专利技术涉及通信
，尤其涉及一种采集用户数据的方法及装置。
技术介绍
在大数据背景下，分析用户上网行为成为创造商业价值的一种手段。而在现有技术中，分析用户的上网行为主要通过采集用户的使用浏览器时产生HTTP(Hyper Text Transfer Protocol，超文本传输协议)报文数据，抓取用户的HTTP报文通常在路由器的TCP/IP的协议栈中去实现。在协议栈中读取流经本机的报文，解析报文的内容，并将内容记录下，存放到日志中。但是，现在的技术方案主要在路由器的协议栈中实现，协议栈是处理网络数据包的核心模块。它处理的数据包括用户主动发送到网络的数据和其他转发数据，非常的繁忙。如果直接在协议栈中抽取用户数据，会对本来已经很繁忙的协议栈加重任务，影响整个路由器处理包的性能。其次，很多路由器厂商，为了强化路由器的性能，增加了加速模块功能，很多用户数据不经过协议栈，直接由加速模块将用户数据输出到网络适配器出口。因此，如果只是在TCP/IP协议栈中获取用户数据，就会丢失很多有用的用户数据，这不利于后续对用户行
为的分析。所以，提供一种高效且准确的用户数据采集方法，成为目前亟待解决的问题。
技术实现思路
鉴于上述问题，本申请记载了一种采集用户数据的方法，应用于路由器，所述路由器连接局域网和广域网，分别于所述路由器的网络适配器的接收端和发送端截取自所述局域网向所述广域网发送的报文。较佳的，提供一存储结构，将截取的所述报文以所述存储结构进行保存。较佳的，从所述发送端获取所述报文的过程包括步骤：对将要从所述发送端发送至所述广域网的所述报文进行过滤，以保存有效报文；其中，所述有效报文为所述局域网向所述广域网发送的上行TCP报文。较佳的，对将要从所述发送端发送至所述广域网的所述报文进行过滤的过程包括步骤：查询所述报文的物理地址帧头，于所述物理地址帧头中的目标物理地址为广播地址或组播地址时判定所述报文不是有效报文并丢弃。较佳的，对将要从所述发送端发送至所述广域网的所述报文进行过滤的过程还包括步骤：查询所述报文中是否记录了所述网络适配器的所述网络适配器
类型，于未记录所述网络适配器类型时判定所述报文不是有效报文并丢弃。较佳的，对将要从所述发送端发送至所述广域网的所述报文进行过滤的过程还包括步骤：提供一预设长度，于所述报文长度小于等于所述预设长度时判定所述报文不是有效报文并丢弃。较佳的，于所述接收端截取自所述局域网向所述广域网发送的所述报文后，在所述报文中添加源物理地址。较佳的，于所述接收端截取自所述局域网向所述广域网发送的所述报文后，还包括步骤：判断所述网络适配器的是否为无线网络适配器；若是，将所述报文进行解析以转换为以太网帧的格式；否则，不做处理。本专利技术还提供了一种采集用户数据的装置，应用于路由器，所述路由器连接局域网和广域网，所述装置包括：接收端截取模块，与所述路由器的网络适配器的接收端相连，用以于所述接收端处截取自所述局域网向所述广域网发送的报文；发送端截取模块，与所述网络适配器的发送端相连，用以于所述发送端处截取自所述局域网向所述广域网发送的报文。较佳的，所述发送端截取模块包括：过滤单元，与所述发送端相连，对将要从所述发送端发送至所述广域网的所述报文进行过滤，以保存有效报文；其中，所述过滤单元包括：目标物理地址查询子单元，与所述发送端相连，用以查询所述报文的物理地址帧头，于所述物理地址帧头中的目标物理地址为广播地址或组播地址时判定所述报文不是有效报文并丢弃；网络适配器类型查询子单元，与所述发送端相连，用以查询所述报文中是否记录了所述网络适配器的所述网络适配器类型，于未记录所述网络适配器类型时判定所述报文不是有效报文并丢弃；长度判断子单元，与所述发送端相连，用以于所述报文长度小于等于预设长度时判定所述报文不是有效报文并丢弃；以及所述接收端截取模块包括：类型判定单元，与所述接收端相连，用以于所述接收端截取自所述局域网向所述广域网发送的所述报文后判断所述网络适配器的是否为无线网络适配器；解析单元，与所述类型判定单元相连，用以于所述网络适配器为无线网络适配器时将所述报文进行解析以转换为以太网帧的格式。上述技术方案具有如下优点或有益效果：(1)在有线网络适配器和无线网络适配器的驱动的发送端中增加报文采集功能，降低了报文采集对协议栈的依赖和加速模块的限制，提高了性能；(2)在网络适配器的接收端的保存的报文中增加了网络适配器类型和源物理地址的记录，有效的记录了网络来源，为大数据分析做了基础；(3)本专利技术避开了在协议栈和加速模块中处理网络报文，减轻了协议栈的负担，又避免了在加速模块中添加重复代码的问题，能比较好的适应
类似博通公司定制化较深的路由器；(4)在网络适配器的接收端和发送端添加报文采集功能，简洁易懂。附图说明参考所附附图，以更加充分的描述本专利技术的实施例。然而，所附附图仅用于说明和阐述，并不构成对本专利技术范围的限制。图1为本专利技术一种采集用户数据的装置中接收端截取方法的流程示意图；图2为本专利技术一种采集用户数据的装置中接收端截取模块的结构示意图；图3为本专利技术一种采集用户数据的装置中发送端截取模块的结构示意图。具体实施方式下面结合附图和具体实施例对本专利技术一种采集用户数据的方法及装置进行详细说明。实施例一如图1所示，一种采集用户数据的方法中，应用于路由器，该路由器连接局域网和广域网，在该方法中，分别从路由器的网络适配器的接收端和发送端截取报文。根据这些报文，可以用于分析用户的上网行为。近一步来讲，在本实施例提供的方法中，还包括提供一存储结构，
将截取的报文以该存储结构进行保存。在实际应用中，该存储结构可以为sk_buff结构。近一步来讲，于接收端截取自局域网向广域网发送的报文后，还需要在报文中添加源物理地址。近一步来讲，于接收端截取自局域网向广域网发送的报文后，还包括步骤：判断网络适配器的是否为无线网络适配器；若是，将报文进行解析以转换为以太网帧的格式；否则，不做处理。具体来说，本实施例提供的方法主要从路由器的网络适配器的接收端和发送端截取报文，根据这些报文，可以用于分析用户的上网行为。因为实际应用中，所有的流经路由器的网络数据包都会经过路由器的物理网络适配器的接收端和发送端，物理网络适配器的驱动会在接收端收到所有需要路由器处理的报文，并在发送端发送所有由协议栈和加速模块处理完毕的报文。所以，只需要截取接收端和发送端的报文数据，不但能够避开繁忙的协议栈数据处理，减轻数据处理的工作量，同时不需要在加速模块和协议栈中两个模块中增加代码，降低功能的耦合性。具体来说，在从接收端获取报文的过程中，首先在接收端接收到报文后，将报文按照一存储结构存储至协议栈中，然后需要判断网络适配器类型是否为无线网络适配器。因为，在实际应用中，有线网络适配器接收端接收到的报文的结构是按照标准的以太网帧的格式出
现，无线网络适配器接收端接收到的报文则需要进行解析，将其转换为以太网帧的格式。表1为以太网帧头具体格式：表1MAC帧头格式目标MAC地址源MAC地址类型此外，由于本实施例提出的方法的主要是用于抓取局域网发送来的数据报文，而路由器会将访问局域网的报文的物理地址全部改成路由器自身的物理地址，这本文档来自技高网...

【技术保护点】
一种采集用户数据的方法，应用于路由器，所述路由器连接局域网和广域网，其特征在于，分别于所述路由器的网络适配器的接收端和发送端截取自所述局域网向所述广域网发送的报文。

【技术特征摘要】
1.一种采集用户数据的方法，应用于路由器，所述路由器连接局域网和广域网，其特征在于，分别于所述路由器的网络适配器的接收端和发送端截取自所述局域网向所述广域网发送的报文。2.根据权利要求1所述的采集用户数据的方法，其特征在于，提供一存储结构，将截取的所述报文以所述存储结构进行保存。3.根据权利要求2所述的采集用户数据的方法，其特征在于，从所述发送端获取所述报文的过程包括步骤：对将要从所述发送端发送至所述广域网的所述报文进行过滤，以保存有效报文；其中，所述有效报文为所述局域网向所述广域网发送的上行TCP报文。4.根据权利要求3所述的采集用户数据的方法，其特征在于，对将要从所述发送端发送至所述广域网的所述报文进行过滤的过程包括步骤：查询所述报文的物理地址帧头，于所述物理地址帧头中的目标物理地址为广播地址或组播地址时判定所述报文不是有效报文并丢弃。5.根据权利要求3所述的采集用户数据的方法，其特征在于，对将要从所述发送端发送至所述广域网的所述报文进行过滤的过程还包括步骤：查询所述报文中是否记录了所述网络适配器的所述网络适配器类型，于未记录所述网络适配器类型时判定所述报文不是有效报文并丢弃。6.根据权利要求3所述的采集用户数据的方法，其特征在于，对将要从所述发送端发送至所述广域网的所述报文进行过滤的过程还包括步骤：提供一预设长度，于所述报文长度小于等于所述预设长度时判定所述报文不是有效报文并丢弃。7.根据权利要求1所述的采集用户数据的方法，其特征在于，于所述接收端截取自所述局域网向所述广域网发送的所述报文后，在所述报文中添加源物理地址。8.根据权利要求1所述的采集用户数据的方法，其特征在于，于所述接收端截取自所述局域网向所述广域网发送的...

【专利技术属性】
技术研发人员：方迪，
申请(专利权)人：上海斐讯数据通信技术有限公司，
类型：发明
国别省市：上海;31