提高现网动态用户和静态用户识别精度的方法技术

本发明专利技术涉及计算机网络技术领域，公开了一种提高现网动态用户和静态用户识别精度的方法，通过分析radius信令报文和http访问报文的原始数据，结合NoSql数据库、本地缓存、分布式缓存同步技术、用户缓存老化机制，异步访问数据库方式提高现网动态用户和静态用户的识别精度。弥补了在大数据下用户的分类识别的缺陷，能够有效区别动态用户和静态用户，提高用户识别的准确率。

【技术实现步骤摘要】
提高现网动态用户和静态用户识别精度的方法
本专利技术涉及计算机网络
，特别是一种提高现网动态用户和静态用户识别精度的方法。
技术介绍
用户分析是网络分析中一个重要的组成部分，在分析用户之前必须首先能够识别每个用户，区分出哪些是动态用户，哪些是静态用户。目前有以下几种常用的用户识别的方法：1、基于IP或IP+Agent的用户识别IP地址是最容易获取的信息，在WEB日志中一般都会包含IP地址和Agent信息，但由于伪IP、代理、动态IP、局域网共享同一公网IP出口等情况的存在，这种方式的准确性低。2、基于用户ID的用户识别基于用户ID的用户识别是最为准确，因为一般情况下用户不同共享他的用户ID。但是要使用用户ID来识别用户要求必须提供用户注册登录服务，并在点击流数据中记录用户ID。3、基于cookie的用户识别Cookie字段是网络中通常用来标识用户身份的字段，采用分析cookie的方法来获得用户的相关信息是比较准确的，如CN201310134318.4《一种识别用户的方法及装置》中所记载的一种识别用户的方法，通过统计的方式得到各个网站的对应的长期的用来唯一标识用户身份的cookie字段，然后根据用户访问报文的跳转关系，将这些cookie都关联起来，生成用户cookie-value关系表及其对应的用户ID；采集用户发送的访问报文；根据用户cookie-value关系表及其对应的用户ID对访问报文进行标记进行用户识别，从而替代使用ADSL、IP等信息进行用户识别，能够有效提高用户识别的准确性和识别效率。但是用户ID作为用户隐私信息只有相应的网站才知道其在cookie的设置及存放位置，cookie的获取的途径比较复杂。另外，采用分析cookie的方法来获得用户的相关信息，用户属性比较单一。
技术实现思路
（一）本专利技术解决的技术问题：针对现有技术的缺陷，本专利技术提出了一种提高现网动态用户和静态用户识别精度的方法，弥补了在大数据下用户的分类识别，有效区别动态用户和静态用户，提高用户识别的准确率。（二）技术方案为实现上述目的，本专利技术提出了一种新的解决方案，通过分析信令报文和访问报文的原始数据，结合NoSql数据库、本地缓存、分布式缓存同步技术、用户缓存老化机制，异步访问数据库方式提高现网动态用户和静态用户的识别精度。一方面，本专利技术提供一种提高现网动态用户和静态用户识别精度的方法，其特征在于，所述方法包括步骤：（1）使用radius报文的上线报文识别动态用户和静态用户；（2）使用http报文识别动态用户和静态用户。（3）重复步骤（1）和（2）直至精确识别出动态用户和静态用户。如权利要求1所述的方法，其特征在于：对于用户的标记有两个：用户类型、用户状态，用户类型分为动态用户和静态用户；用户状态为有效用户和无效用户，用来辅助识别动态用户和静态用户。优选地，步骤（1）中使用radius报文的上线报文识别动态用户和静态用户具体步骤如下：S1：抓取上线报文，查询本地缓存；S2：如果本地缓存中没有UID记录则转步骤S7；如果本地缓存存在UID记录，则判断缓存中的UID和radius报文中的UID是否相等；若相等，转步骤S3，若不相等，转步骤S5；S3：判断用户是否有效；S4：若为有效用户，则先让用户下线，然后存入本地缓存，转步骤S7；若为无效用户，则直接存入本地缓存，转步骤S7；S5：判断用户是否有效；S6：若为有效用户，则标记该用户为动态用户；若为无效用户，则存入本地缓存，转步骤S7；S7：标记用户为动态用户，并同步其它缓存和更新NoSql数据库。优选地，步骤（2）中使用http报文识别动态用户和静态用户具体步骤如下：S1：抓取http报文，查询本地缓存；S2：如果本地缓存中没有对应的记录，则转步骤S7；如果本地缓存中存在对应的记录，转步骤S3；S3：判断用户是否有效；S4：若为有效用户，则转步骤S5；若为无效用户，则转步骤S7；S5：判断用户是否为静态用户；S6：若不是静态用户，则标记该用户为动态用户；若是静态用户，则判断该用户是否超出老化时间，若没有超出老化时间则确定为静态用户，若超出老化时间，则需要删除本地记录，同时同步其它缓存，保存数据库；S7：查询此用户是否为此运营商用户，如果是运营商用户则以异步的方式查询NoSql数据库；如果不是运营商用户则说明此流量为过境流量，将该报文直接过滤。优选地，缓存为分布式缓存，缓存之间的同步采用分布式缓存的同步方式。优选地，步骤（1）中还可以采用radiu报文的更新报文来识别动态用户和静态用户，采用更新报文识别动态用户和静态用户的步骤与上线报文一致。（三）技术效果本专利技术提出了本地缓存和NoSql数据库结合的方式，采用本地缓存分布式同步机制，异步访问数据库的方式，能够利用运营商记录的用户数据，有效弥补现有技术在处理大数据下用户的分类识别的缺陷，更加精确地识别出用户为动态用户还是静态用户。附图说明图1是本专利技术中提高现网动态用户和静态用户识别精度的方法流程示意图；图2是本专利技术中采用radius报文的上线报文识别动态用户和静态用户的方法流程示意图；图3是本专利技术中采用http报文识别动态用户和静态用户的方法流程示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所其他实施例，都属于本专利技术保护的范围。本专利技术的方法通过分析现有网络的原始流量中的radius报文和http报文相结合的方式来区别出动态用户和静态用户。采用NoSql数据库，利用本地缓存技术，异步访问模式和分布式缓存同步机制，提高现网中静态用户和动态用户识别的精度。数据来源为运营商中心机房原始镜像流量。网络中通过用户名和密码每次拨号上网的用户为动态用户；用户只有上网行为，没有拨号上网的用户，则认为是静态用户。本专利技术中设定对于用户的标记有两个：用户类型、用户状态。用户类型分为动态用户和静态用户；用户状态为有效用户和无效用户，用来辅助识别动态用户和静态用户。采用NoSql数据库存储用户数据，在本地缓存中保存用户的UID以及用户的状态，分布式的缓存中保存用户的UID、用户是否有效（根据是否下线判断），用户的属性（动态用户或静态用户）图1是本专利技术中提高现网动态用户和静态用户识别精度的方法流程示意图，方法包括步骤：（1）使用radius报文的上线报文识别动态用户和静态用户；（2）使用http报文识别动态用户和静态用户。（3）重复步骤（1）和（2）直至精确识别出动态用户和静态用户。图2是本专利技术中采用radius报文的上线报文识别动态用户和静态用户的方法流程示意图。radius报文，是为拨号用户进行认证和计费。Radius报文有三种类型的报文：上线报文、更新报文和下线报文。通过解析可以得到报文中的用户账户UID和IP地址，其中账户名需要用MD5加密。方法的具体步骤如下：S1：抓取上线报文，查询本地缓存；S2：如果本地缓存中没有UID记录则转步骤S7；如果本地缓存存在UID记录，则判断缓存中的UID和radius报文中的UID是否相等；若相等，转本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提高现网动态用户和静态用户识别精度的方法，其特征在于，所述方法包括步骤：(1)使用radius报文的上线报文识别动态用户和静态用户；(2)使用http报文识别动态用户和静态用户；(3)重复步骤(1)和(2)直至精确识别出动态用户和静态用户；对于用户的标记有两个：用户类型、用户状态，用户类型分为动态用户和静态用户；用户状态为有效用户和无效用户，用来辅助识别动态用户和静态用户；其中，步骤(1)具体步骤如下：S1：抓取上线报文，查询本地缓存；S2：如果本地缓存中没有UID记录则转步骤S7；如果本地缓存存在UID记录，则判断缓存中的UID和radius报文中的UID是否相等；若相等，转步骤S3，若不相等，转步骤S5；S3：判断用户是否有效；S4：若为有效用户，则先让用户下线，然后存入本地缓存，转步骤S7；若为无效用户，则直接存入本地缓存，转步骤S7；S5：判断用户是否有效；S6：若为有效用户，则标记该用户为动态用户；若为无效用户，则存入本地缓存，转步骤S7；S7：标记用户为动态用户，并同步其它缓存...

【专利技术属性】
技术研发人员：崔晶晶，林佳婕，刘立娜，窦乐健，
申请(专利权)人：北京集奥聚合科技有限公司，
类型：发明
国别省市：