一种真实mac采集机制系统及方法技术方案

本发明专利技术提供了一种真实mac采集机制系统及方法，包括如下步骤:根据指针所在地理位置，选择合适的ssid列表，构建probe response对移动设备进行回复，移动设备接收到probe response时，如果probe中的ssid是设备曾经连接过的，会尝试连接，返回真实设备mac给探针，探针同时自动创建一个隐藏ssid，移动设备返回的directed probe request包含该终端过往已连接的ssid list，外放，获取真实mac，数据处理模块200将探针采集到的probe request进行处理，将mac存入数据中间件模块500，将ssid存入ssid库300，并根据权重不断更新ssid，存入ssid库300，数据处理模块200进行数据处理，将得到的mac发送给数据中间件模块500，数据中间件模块500利用真实mac数据模型400判断mac真伪性，这种真实mac采集机制，识别成本低，识别机制自动化程度高，能透过伪mac获取到真实mac，降低垃圾数据的干扰。

【技术实现步骤摘要】
一种真实mac采集机制系统及方法
本专利技术涉及信息技术行业，用于通过无线嗅探获取到数据后，进行数据清洗，降低ios、android系统伪mac机制对数据分析准确性、完整性的影响。
技术介绍
mac地址是用于标识网络设备的唯一身份，具有wifi功能的设备也属于网络设备，因此也具有全球唯一的mac地址，现有的识别方法需要依赖很多前提条件，一方面实现成本高，另一方面准确性存在问题，伪mac机制时长更新现有识别方法不是动态的，并且主要是为了区分真假mac，并不能获得伪mac对应的真实mac，来更好的完成数据分析。
技术实现思路
本专利技术要解决的技术问题在于，提供一种能针对伪mac机制的更新进行自我调整，降低垃圾数据的干扰，识别成本低，识别机制自动化程度高，能通过伪mac获取到真实mac的真实mac采集机制系统及方法。为了达到以上目的，本专利技术采用的技术方案是：提供一种真实mac采集机制系统，包括数据采集模块100、数据处理模块200、ssid库300、真实mac识别数据模型400和数据中间件模块500；ssid库300是包含位置信息、权重、ssid、bssid无线热点的数据库；数据采集模块100通过ssid库300对所有移动终端无线数据包的mac层及以上协议解析，对数据进行分类，将解析数据发给数据处理模块200；数据处理模块200进行数据处理，将得到的真实mac发送给数据中间件模块500,将更新的ssid存入ssid库300；数据中间件模块500利用真实mac识别数据模型400对真伪mac进行分析且标识。其中，数据采集模块100、数据处理模块200和数据中间件模块500依次交互，完成mac、ssid等wifi数据的采集和初步处理。其中，数据采集模块100、数据处理模块200、ssid库300、真实mac识别数据模型400依次交互，根据嗅探命中率，持续对ssid库300、真实mac识别数据模型400进行优化，将更新的ssid存入ssid库300，将真实mac存入真实mac识别数据模型400。其中，数据处理模块200、ssid库300、真实mac识别数据模型400和数据中间件模块500依次交互，实现提取真实mac和对真伪mac的判断。数据采集模块是一种wifi数据包采集协议，作用是通过捕获探针区域内的所有移动终端无线数据包，对mac层以及mac层以上的协议数据进行解析，并对数据进行分类，将解析数据发给数据处理模块。数据处理模块是一种数据清洗、数据处理、数据关联的实时流式标准化处理方式，作用是将处理完成的数据发送给数据中间件模块，实现无线数据的积累和存储，将非结构化数据经过清洗、关联后转为结构化数据，便于开展后续的基于业务角度的数据分析流程。ssid库是一种包含位置信息、权重、ssid、bssid等无线热点的数据库，作用是用于确定数据采集模块的采集策略。真实mac数据模型是一种真实mac判断模型，包括了聚类模型和基础真实mac数据库，作用是将采集到的mac进行聚类分析，根据真伪mac进行打标签，并标明置信度。数据中间件模块是一种数据存储及分析处理的方法，作用是为业务需求提供进一步支持。一种真实mac采集机制方法包括以下步骤：S1、根据探针移动设备所在的地理位置，从ssid库300中选择合适的ssid列表，针对每一个ssid构建proberesponse对移动设备进行回复；S2、探针同时自动创建一个隐藏ssid；S3、在数据处理模块200中，将探针采集到的proberequest进行处理，将mac存入数据中间件模块500，将ssid存入ssid库300；S4、数据中间件模块500利用真实mac数据模型400对探针嗅探采集移动设备mac。本专利技术货物单件分离装置的有益效果是，ssid库300用来确定数据采集模块100的采集策略，运用数据采集模块100将数据进行分类、解析，发送给数据处理模块200，数据处理模块200实现无线数据的积累和存储，真实mac识别数据模型400对真伪mac进行区分，数据中间件模块500暂时存储数据，这种系统的识别机制自动化程度高，针对伪mac机制的更新能进行自我调整，通过探针所在位置选择ssid列表，对每一个ssid构建proberesponse对移动设备进行回复，同时自动创建一个隐藏ssid，获取到真实mac地址，将更新的ssid存入ssid库300，在数据中间件模块500利用真实mac识别数据模型400对真伪mac进行区分，识别机制成本低，不用积累大量的真实的mac库通过撞库完成真伪mac识别，通过真实mac识别数据模型400就可以完成真伪mac识别，既能识别真假mac，还可以从得到伪mac获得对应的真实mac。其中，步骤s1包括以下步骤：S11、移动设备，包括ios和android，在接收到proberesponse时，probe中的ssid是设备曾经连接过的，尝试连接；S12、探针同时需要采集周边空间的ssid信息，加入到ssid列表。其中，步骤s2还包括以下步骤：S21、探针自动创建的隐藏ssid，触发移动设备发送带ssid的directedproberequest；S22、移动设备返回的directedproberequest包含该终端过往已连接的ssidlist，探针根据ssidlist构建一个ssid，外放，获取真实mac，外放是通过ssid权重确定轮播规律，按轮播规律进行播放。其中，步骤s3还包括以下步骤：S31、数据处理模块根据ssid采集的位置、外放该ssid信号命中真实mac的成功率、该ssid在其它区域的过往权重，确定ssid在某个物理位置的权重，并更新到ssid库300，将ssid存入ssid库，权重越高，探针外放该ssid的时长和频率越高。其中，s4还包括以下步骤：S41、采集到的mac包括真实mac和疑似伪mac，根据该mac出现的次数、频率判断mac真伪性，将真的mac存储到真实mac识别数据模型400，采集到的mac包括真实mac和疑似伪mac，首先根据真实mac库与疑似伪mac进行匹配，吻合的标为真实mac，其他mac标为可疑mac，然后对可疑mac进行处理，根据macoui库匹配，剔除无法匹配到设备厂商的mac。然后对剩余的疑似伪mac进行处理，根据该mac出现的次数、频率判断mac真伪性，将真的mac存储到真实mac识别数据模型400；S42、同时定期对采集到的伪mac进行真伪性操作，避免遗漏。附图说明图1为本实施例的流程步骤图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清晰的理解，现对照附图详细说明本专利技术的具体实施方式。图1是本专利技术一种真实mac采集机制系统及方法的流程步骤图，包括数据采集模块100、数据处理模块200、ssid库300、真实mac识别数据模型400和数据中间件模块500的；...

【技术保护点】
1.一种真实mac采集机制系统，其特征在于：包括数据采集模块(100)、数据处理模块(200)、ssid库(300)、真实mac识别数据模型(400)和数据中间件模块(500)；/n所述ssid库(300)是包含位置信息、权重、ssid、bssid无线热点的数据库；/n所述数据采集模块(100)通过ssid库(300)对所有移动终端无线数据包的mac层及以上协议解析，对数据进行分类，将解析数据发给数据处理模块(200)；/n所述数据处理模块(200)进行数据处理，将得到的真实mac发送给数据中间件模块(500),将更新的ssid存入ssid库(300)；/n所述数据中间件模块(500)利用真实mac识别数据模型(400)对真伪mac进行分析且标识。/n

【技术特征摘要】
1.一种真实mac采集机制系统，其特征在于：包括数据采集模块(100)、数据处理模块(200)、ssid库(300)、真实mac识别数据模型(400)和数据中间件模块(500)；
所述ssid库(300)是包含位置信息、权重、ssid、bssid无线热点的数据库；
所述数据采集模块(100)通过ssid库(300)对所有移动终端无线数据包的mac层及以上协议解析，对数据进行分类，将解析数据发给数据处理模块(200)；
所述数据处理模块(200)进行数据处理，将得到的真实mac发送给数据中间件模块(500),将更新的ssid存入ssid库(300)；
所述数据中间件模块(500)利用真实mac识别数据模型(400)对真伪mac进行分析且标识。


2.根据权利要求1所述一种真实mac采集机制系统，其特征在于：所述数据采集模块(100)、数据处理模块(200)和数据中间件模块(500)依次交互，对mac、ssid等wifi数据进行采集和初步处理。


3.根据权利要求1所述一种真实mac采集机制系统，其特征在于：所述数据采集模块(100)、数据处理模块(200)、ssid库(300)、真实mac识别数据模型(400)依次交互，根据嗅探命中率，持续对所述ssid库(300)、真实mac识别数据模型(400)进行优化，将更新的ssid存入ssid库(300)，将真实mac存入真实mac识别数据模型(400)。


4.根据权利要求1所述一种真实mac采集机制系统，其特征在于：所述数据处理模块(200)、ssid库(300)、真实mac识别数据模型(400)和数据中间件模块(500)依次交互，提取真实mac和对真伪mac的判断。


5.一种真实mac采集机制系统及方法，其特征在于：采用上述权利要求1-4中的任意一项所述真实mac采集机制系统，包括以下步骤：
S1、根据探针移动设备所在的地理位置，从ssid库(300)中选择合适的ssid列表，针对每一个ssid构建proberes...

【专利技术属性】
技术研发人员：彭海斐，
申请(专利权)人：苏州盈虚有数信息科技有限公司，
类型：发明
国别省市：江苏;32