网络流量去重的方法和系统技术方案

本发明专利技术涉及一种网络流量去重的方法，其包括：接收来自用户终端的HTTP请求；利用标准API采集设备特征ID；利用私有API获得的设备特征ID；采集基于用户使用信息的特征ID；和利用采集到的设备特征ID和基于用户使用信息的特征ID回溯真实用户，从而消除重复流量。本发明专利技术还涉及一种用于网络流量去重的系统。

Methods and systems for network traffic deweighting

The invention relates to a method, a network traffic to includes receiving from a user terminal HTTP request; using standard API acquisition equipment characteristics of ID; the equipment characteristics of ID obtained by the private API; acquisition characteristics of ID users based on information; and the equipment characteristics of ID using the ID user information and features based on backtracking real users, thereby eliminating the repeated traffic. The invention also relates to a system for network traffic deweighting.

【技术实现步骤摘要】
网络流量去重的方法和系统
本专利技术属于网络反作弊领域，涉及一种网络流量去重的方法。本专利技术还涉及一种网络流量去重的系统。
技术介绍
长久以来，稳定而且可信赖的用户设备标识，是诸多行业最为基础的数据支持。目前，有很多方法来帮助系统生产不同的ID用以标识用户。最基础的方法，就通过生产随机数，分配给不同的用户，这种常用于含有账户体系的业务场景。例如腾讯QQ，给每一个用户都分配一个不重复的QQ号码，作为其系统服务的ID。除此以外，也有通过采集设备使用者的信息来生产ID，例如通过采集音频数据、加速传感器数据或者生物指纹传感器的数据，这种可以服务于跨设备的用户标识。但是如上两种方法，很难满足于移动广告行业反作弊的需求。原因主要有以下两点：1.移动广告交易主要是以设备为单元进行消耗的计费，例如CPC(按照点击设备数计费)、CPM(按照曝光设备数计费)、CPA(按照激活设备数计费)，那么针对持有多设备的用户以及不具有账户体系的广告平台，随机数的方法是不适用的。2.广告作弊者主要是通过变换较为常见的设备标识进行伪装，例如利用虚拟设备伪装点击、曝光或激活行为，从广告主那里获取额外的收入，使广告主的利益蒙受损失。然而，通过采集使用者信息标识设备会有较多局限：第一是采集方法都是基于特质的传感器，不适用于大部分移动设备；第二是用户识别的方法复杂并且精准度有限。随着广告支出越来越向移动端倾斜，市场上虚拟设备的拟真程度越来越高，亟需一种有效的识别虚拟设备的方案，以减少无谓的广告支出，保护广告主的利益。现有技术中，通常使用单一的方法来进行虚拟设备判断，并以此作为数据去重的标准。但是随着作弊手段越来越隐蔽，单一的标准有可能误伤有效的数据，或是对作弊判断不足。因此专利技术人希望能够提供一种不易被作弊者篡改的ID系统，能够长期、稳定地作为判断依据。
技术实现思路
有鉴于此，本专利技术提供了一种设备特征ID方法和系统，可以解决现有技术基于操作系统的设备标识无法避免虚拟设备生成不真实标识码的问题。本专利技术通过以下技术方案实现：通过采集基于用户使用信息的设备信息，包括：用户的Wifi历史、系统应用创建时间、设备的传感器列表，将以上信息利用有加密性质的哈希算法进行计算得到字符串，对所得字符串进行组合，从而获得用户的唯一标识，由于其ID熵值足够大，能够唯一确定一台设备并且适合绝大部分设备与操作系统。提高了结果的准确性和方法的适用性。根据本专利技术的第一方面，本专利技术提供了一种网络流量去重的方法，其包括：接收来自用户终端的HTTP请求；利用标准API采集设备特征ID；利用私有API获得的设备特征ID；采集基于用户使用信息的特征ID作为设备特征ID；和利用采集到的设备特征ID和基于用户使用信息的特征ID回溯真实用户，从而消除重复流量。优选地，从私有API获得的设备特征ID库中包括MAC、IMEI、IMSI、IDFA、和/或CID。在本专利技术的一些实施方式中，所述回溯真实用户包括：当利用标准API采集设备特征ID和对应的利用私有API获得的设备特征ID不同时，以利用私有API获得的设备特征ID作为去重标准。在本专利技术的一些实施方式中，所述基于用户使用信息的特征ID所用的信息包括：用户的Wifi历史、系统应用创建时间、和设备的传感器列表。优选地，所述基于用户使用信息的特征ID通过将用户的Wifi历史、系统应用创建时间、和设备的传感器列表利用哈希算法转换成字符串而获得。优选地，所述回溯真实用户包括：利用基于用户使用信息的特征ID作为去重标准。在本专利技术的一些实施方式中，将采集到的设备特征ID和基于用户使用信息的特征ID与设备特征ID库的用户库中的对应信息进行比对，并对每个项目进行打分，当总得分超过阈值时，进行去重。根据本专利技术的第二方面，本专利技术提供一种用于网络流量去重的系统，其包括：采集单元，用于采集设备特征ID和基于用户使用信息的特征ID；设备特征ID库，用于存储采集到的设备特征ID数据，并按照数据的来源形成用户库；判断单元，用于将新采集到的设备特征ID和基于用户使用信息的特征ID与用户库中的数据进行比对，打分；和去重单元，对得分超过阈值的数据去重。优选地，所述设备特征ID是通过标准API和私有API采集的。在本专利技术的一些实施方式中，所述去重包括给数据添加标签。在本专利技术的另一些实施方式中，所述去重包括删除数据。显然地，去重也包括在给数据添加标签之后删除数据的情况。在本专利技术的一些实施方式中，所述系统还包括转换单元，用于将用户的Wifi历史、系统应用创建时间、和设备的传感器列表利用哈希算法转换成字符串。根据本专利技术的第三方面，本专利技术提供一种判断网络作弊的方法，其包括：接收来自用户终端的HTTP请求；采集设备特征ID；将采集到的设备特征ID在从私有API获得的设备特征ID库中查询是否有匹配，有匹配时，判断为作弊；和/或将采集到的设备特征ID在基于用户使用信息的特征ID库中查询是否有匹配，有匹配时，判断为作弊。优选地，私有API获得的设备特征ID库中包括MAC、IMEI、IMSI、IDFA、和/或CID。优选地，所述基于用户使用信息的特征ID所用的信息包括：用户的Wifi历史、系统应用创建时间、和设备的传感器列表。优选地，所述基于用户使用信息的特征ID通过将用户的Wifi历史、系统应用创建时间、和设备的传感器列表利用哈希算法转换成字符串而获得。通过本专利技术的方法和系统，可以提供能解决移动设备ID的稳定性以及实用性，具体来讲解决如下三个问题：安全性，让作弊者难以篡改对应的设备ID；适用性，对于不同的设备和操作系统都能支持；和支持对虚拟设备的甄别。本专利技术的技术方案载体是可以集成在移动设备的SDK或者代码类库。使用上只用引用在开发者自己的代码中即可。因而使用流程以及对应ID服务逻辑非常简单。附图说明本专利技术的下列附图在此作为本专利技术的一部分用于理解本专利技术。图1是示意地表示本专利技术一些实施方式的方法的流程图。图2是示意地表示本专利技术又一些实施方式的方法的流程图。图3是示意地表示本专利技术一些实施方式的系统的结构图。具体实施方式在下文的描述中，给出了大量具体的细节以便提供对本专利技术更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本专利技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本专利技术发生混淆，对于本领域公知的一些技术特征未进行描述。本专利技术中的术语“设备特征ID”是指用以描述设备的特征参数，其与设备唯一对应，包括设备特征码、MAC地址、网络IP、国际移动用户识别码MSI、国际移动设备识别码IMEI、电子序列号ESN、MEID等。所述设备特征ID还包括通过整合设备信息，利用例如哈希算法等数学工具计算出的值。所述设备信息包括但不限于所述用户设备的任意可直接获取的信息，如所述用户设备的IP地址、所述用户设备的实时网速或某一时间段内的平均网速、所述用户设备的操作系统名称、所述用户设备的操作系统版本号、所述用户设备的开发框架名称、所述用户设备的开发框架版本号、所述用户设备的系统配置等。特别的，所述设备信息还包括设备的硬件信息，包括但不限于整机的品牌、型号、序列号；芯片品牌、型号、序列号；传感器品牌、型号、序列号；传感器参数值、角速度、加速度；主板品牌、型号、序列号等。所述设备信息还可以包括所本文档来自技高网...

【技术保护点】
一种网络流量去重的方法，其包括：接收来自用户终端的HTTP请求；利用标准API采集设备特征ID；利用私有API获得的设备特征ID；采集基于用户使用信息的特征ID作为设备特征ID；利用采集到的设备特征ID和基于用户使用信息的特征ID回溯真实用户，从而消除重复流量。

【技术特征摘要】
1.一种网络流量去重的方法，其包括：接收来自用户终端的HTTP请求；利用标准API采集设备特征ID；利用私有API获得的设备特征ID；采集基于用户使用信息的特征ID作为设备特征ID；利用采集到的设备特征ID和基于用户使用信息的特征ID回溯真实用户，从而消除重复流量。2.根据权利要求1所述的方法，其中从私有API获得的设备特征ID库中包括MAC、IMEI、IMSI、IDFA、和/或CID。3.根据权利要求2所述的方法，其中回溯真实用户包括：当利用标准API采集设备特征ID和对应的利用私有API获得的设备特征ID不同时，以利用私有API获得的设备特征ID作为去重标准。4.根据权利要求1所述的方法，其中所述基于用户使用信息的特征ID所用的信息包括：用户的Wifi历史、系统应用创建时间、和设备的传感器列表。5.根据权利要求4所述的方法，其中所述基于用户使用信息的特征ID通过将用户的Wifi历史、系统应用创...

【专利技术属性】
技术研发人员：龚如，
申请(专利权)人：精硕科技北京股份有限公司，
类型：发明
国别省市：北京,11