一种网络购票异常行为的识别方法、系统及设备技术方案

本发明专利技术提供一种网络购票异常行为的识别方法、系统及设备。该方法包括：将网络购票行为记录中的用户IP、Cookie和访问代理环境Agent哈希化为一个全局唯一的编码字符串IP+Cookie+Agent，形成唯一用户标识；提取所述用户标识的历史网络购票行为记录和实时网络购票行为记录中的网络购票行为属性；识别所述网络购票行为属性中的异常行为属性的用户IP，将异常行为属性的用户IP存入黑名单进行隔离。本发明专利技术提供的一种网络购票异常行为的识别方法、系统及设备，确定识别黄牛的各种阀值，为判别黄牛提供数据判断依据。实时记录用户的行为特征，能够为实时黄牛拦截提供实时依据；能够建立黑名单，能够基于黑名单，提前拦截黄牛，使资源的分配更具合理性和公平性。

【技术实现步骤摘要】

本专利技术涉及异常行为识别
，尤其涉及一种网络购票异常行为的识别方法、系统及设备。
技术介绍
现场演出票由于价钱高资源少，会引来大量的黄牛前来刷票(网络购票异常行为)，然后高价倒卖，黄牛的出现，损害用户的利益，极大的降低了网上购票的用户体验和平台的用户粘性。黄牛为了抢票，必须进行高频，大量的访问，以最快的速度下单占有资源。所以黄牛一般会通过程序进行刷票。目前识别黄牛大都是通过统计用户的访问来源，访问频次，访问周期，从中找出异于大多数用户的访问异常，从而判定为黄牛。建立黄牛黑名单。黄牛的定义并不一定是一个真正的用户，也可以是一个资源，黄牛使用该资源进行刷票，将此资源也纳入到黄牛黑名单中，因而，会有IP黑名单，Cookie黑名单，账号黑名单等。当前的识别黄牛的方式主要通过监控访问日志，通过解析，计算日志中的IP，Cookie，设备，账号的访问频次，访问时间间隔，来识别异常访问，这在一定程度上能够防止黄牛。但是应用上述技术的时候，专利技术人发现，单一维度的识别，不能够唯一判别用户设备，容易误杀正常用户，比如IP，黄牛和正常用户在同一个楼或是小区，用同一个出口IP，如果使用IP识别，容易误杀正常用户。第二，频次识别只能是在一定程度上识别黄牛，当黄牛拉大访问间隔，降低访问频次，就不好判定。而且黄牛会模拟不同的客户端，多渠道的进行刷票。黄牛为了快速抢票，会走捷径，不会像正常用户操作，因而其行为轨迹也缺失关键步骤，所以当前基于流量访问异常的识别方法，已不满足识别黄牛的需要。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种网络购票异常行为的识别方法、系统及设备，可以将网络购票异常行为特征从正常购票行为特征中识别出来，进行隔离，并降低误识别概率，使资源的分配更具合理性和公平性。本专利技术一方面提供了一种网络购票异常行为的识别方法，包括：将网络购票行为记录中的用户IP、Cookie和访问代理环境Agent哈希化为一个全局唯一的编码字符串IP+Cookie+Agent，形成唯一用户标识；提取所述用户标识的历史网络购票行为记录和实时网络购票行为记录中的网络购票行为属性；识别所述网络购票行为属性中的异常行为属性的用户IP，将所述异常行为属性的用户IP存入黑名单进行隔离。进一步的，所述将网络购票行为记录中的用户IP、Cookie和访问代理环境Agent哈希化为一个全局唯一的编码字符串IP+Cookie+Agent，形成唯一用户标识，包括：通过哈希函数将网络购票行为记录中的用户IP、Cookie和访问代理环境Agent哈希化为一个全局唯一的编码字符串IP+Cookie+Agent，形成唯一用户标识。进一步的，所述识别所述网络购票行为属性中的异常行为属性的用户IP，将所述异常行为属性的用户IP存入黑名单进行隔离，包括：识别所述网络购票行为属性中的频次阀值和黑名单，所述频次阀值包括但不限于：不同IP访问频次、每个IP的访问不同url的频次、IP+cookie+agent访问频次或IP+cookie+agent访问不同url的频次中的一种或多种；通过所述频次阀值和黑名单识别出异常行为的用户IP，将所述识别出的用户IP存入黑名单进行隔离。进一步的，所述提取所述用户标识的历史网络购票行为记录和实时网络购票行为记录中的网络购票行为属性，包括：提取所述用户标识中的历史行为记录中的历史频次阀值和历史黑名单；提取所述用户标识中的历史交易行为记录中存在潜在的购买行为异常阀值和超出购买行为异常阀值的异常注册用户的黑名单；实时采集用户标识的当前访问行为记录中的当前用户访问频次和路径。进一步的，所述提取所述用户标识中的历史行为记录中的历史频次阀值，包括以下步骤：将历史行为记录中的日志文件内容载入到大数据数仓Hive中，在Hive中建立日志文件格式化数据表，将日志文件内容格式化到数据表中；在数据表中，计算访问频次，并将计算结果存入大数据数仓中；所述访问频次包括但不限于不同IP访问频次、每个IP的访问不同url的频次、IP+cookie+agent访问频次或IP+cookie+agent访问不同url的频次中的一种或多种；使用直方图，观察频次分布，自定义确定历史频次阀值并存储所述历史频次阀值。进一步的，所述提取所述用户标识中的历史行为记录中的历史黑名单，包括以下步骤：将ngnix代理服务器集群中不同的服务器上的前一天的用户访问日志文件集中到分布式存储系统HDFS上；将日志文件内容载入到大数据数仓Hive中，在Hive中建立日志文件格式化数据表，将日志文件内容格式化到数据表中；在Hive中，计算不同IP访问频次，每个IP的访问不同url的频次，IP+cookie+agent访问频次，IP+cookie+agent访问不同url的频次；将计算结果存入大数据数仓中；使用直方图，观察频次分布，自定义确定历史频次阀值；基于确定的历史频次阀值和频次计算结果，识别出异常的客户，存入到黑名单表中。进一步的，所述提取所述用户标识中的历史交易行为记录中存在潜在的购买行为异常阀值，包括以下步骤：导入历史交易行为记录到数据仓库中；计算每个用户IP的单场次购票数，购买项目数，平均购票数；使用直方图，观察单场次购票数，购买项目数，平均购票数分布，根据自定义规则分析确定存在潜在的购买行为异常阀值，并存储所述存在潜在的购买行为异常阀值。进一步的，所述提取所述用户标识中的历史交易行为记录中超出购买行为异常阀值的异常注册用户的黑名单，包括以下步骤：导入前一天所有交易记录和至少一年的交易记录到数据仓库中；计算每个用户IP一年之内的单场次购票数，购买项目数，平均购票数；使用直方图，观察单场次购票数，购买项目数，平均购票数分布，根据自定义规则分析确定存在潜在的购买行为异常阀值；基于确定的潜在的购买行为异常阀值和频次计算结果，识别出超出购买行为异常阀值的异常注册用户，存入到黑名单表中。进一步的，所述购买行为异常，包括：购买品类、地区和票价有较大的跨度的购买行为。进一步的，所述实时采集用户标识的当前访问行为记录中的当前用户访问频次和异常访问路径，包括：实时读取nginx的访问日志文件并发送到日志处理系统；日志处理系统实时接收日志采集系统发送的日志，以一秒钟为一个计算窗口，计算IP访问频次，每个IP的访问url的频次，IP+cookie+agent访问频次，IP+cookie+agent访问url的频次和异常访问路径，并将计算结果存储到缓存中。进一步的，所述异常访问路径，包括：缺失至少一个主要访问路径的支付行为。本专利技术还提供了一种网络购票异常行为的识别系统，包括：标识模块，用于将网络购票行为记录中的用户IP、Cookie和访问代理环境Agent哈希化为一个全局唯一的编码字符串IP+Cookie+Agent，形成唯一用户标识；提取模块，用于提取所述用户标识的历史网络购票行为记录和实时网络购票行为记录中的网络购票行为属性；识别模块，用于识别所述网络购票行为属性中的异常行为属性的用户IP，将所述异常行为属性的用户IP存入黑名单进行隔离。进一步的，所述标识模块，包括：标识单元，用于通过哈希函数将网络购票行为记录中的用户IP、Cookie和访问代理环境Agent哈希化为一个全局唯一的编码字符串IP+Coo本文档来自技高网...

【技术保护点】
一种网络购票异常行为的识别方法，其特征在于，包括：将网络购票行为记录中的用户IP、Cookie和访问代理环境Agent哈希化为一个全局唯一的编码字符串IP+Cookie+Agent，形成唯一用户标识；提取所述用户标识的历史网络购票行为记录和实时网络购票行为记录中的网络购票行为属性；识别所述网络购票行为属性中的异常行为属性的用户IP，将所述异常行为属性的用户IP存入黑名单进行隔离。

【技术特征摘要】
1.一种网络购票异常行为的识别方法，其特征在于，包括：将网络购票行为记录中的用户IP、Cookie和访问代理环境Agent哈希化为一个全局唯一的编码字符串IP+Cookie+Agent，形成唯一用户标识；提取所述用户标识的历史网络购票行为记录和实时网络购票行为记录中的网络购票行为属性；识别所述网络购票行为属性中的异常行为属性的用户IP，将所述异常行为属性的用户IP存入黑名单进行隔离。2.如权利要求1所述的方法，其特征在于，所述将网络购票行为记录中的用户IP、Cookie和访问代理环境Agent哈希化为一个全局唯一的编码字符串IP+Cookie+Agent，形成唯一用户标识，包括：通过哈希函数将网络购票行为记录中的用户IP、Cookie和访问代理环境Agent哈希化为一个全局唯一的编码字符串IP+Cookie+Agent，形成唯一用户标识。3.如权利要求1或2所述的方法，其特征在于，所述识别所述网络购票行为属性中的异常行为属性的用户IP，将所述异常行为属性的用户IP存入黑名单进行隔离，包括：识别所述网络购票行为属性中的频次阀值和黑名单，所述频次阀值包括但不限于：不同IP访问频次、每个IP的访问不同url的频次、IP+cookie+agent访问频次或IP+cookie+agent访问不同url的频次中的一种或多种；通过所述频次阀值和黑名单识别出异常行为的用户IP，将所述识别出的用户IP存入黑名单进行隔离。4.如权利要求1-3之一所述的方法，其特征在于，所述提取所述用户标识的历史网络购票行为记录和实时网络购票行为记录中的网络购票行为属性，包括：提取所述用户标识中的历史行为记录中的历史频次阀值和历史黑名单；提取所述用户标识中的历史交易行为记录中存在潜在的购买行为异常阀值和超出购买行为异常阀值的异常注册用户的黑名单；实时采集用户标识的当前访问行为记录中的当前用户访问频次和路径。5.如权利要求4所述的方法，其特征在于，所述提取所述用户标识中的历史行为记录中的历史频次阀值，包括以下步骤：将历史行为记录中的日志文件内容载入到大数据数仓Hive中，在Hive中建立日志文件格式化数据表，将日志文件内容格式化到数据表中；在数据表中，计算访问频次，并将计算结果存入大数据数仓中；所述访问频次包括但不限于不同IP访问频次、每个IP的访问不同url的频次、IP+cookie+agent访问频次或IP+cookie+agent访问不同url的频次中的一种或多种；使用直方图，观察频次分布，自定义确定历史频次阀值并存储所述历史频次阀值。6.如权利要求4所述的方法，其特征在于，所述提取所述用户标识中的历史行为记录中的历史黑名单，包括以下步骤：将ngnix代理服务器集群中不同的服务器上的前一天的用户访问日志文件集中到分布式存储系统HDFS上；将日志文件内容载入到大数据数仓Hive中，在Hive中建立日志文件格式化数据表，将日志文件内容格式化到数据表中；在Hive中，计算不同IP访问频次，每个IP的访问不同url的频次，IP+cookie+agent访问频次，IP+cookie+agent访问不同url的频次；将计算结果存入大数据数仓中；使用直方图，观察频次分布，自定义确定历史频次阀值；基于确定的历史频次阀值和频次计算结果，识别出异常的客户，存入到黑名单表中。7.如权利要求4所述的方法，其特征在于，所述提取所述用户标识中的历史交易行为记录中存在潜在的购买行为异常阀值，包括以下步骤：导入历史交易行为记录到数据仓库中；计算每个用户IP的单场次购票数，购买项目数，平均购票数；使用直方图，观察单场次购票数，购买项目数，平均购票数分布，根据自定义规则分析确定存在潜在的购买行为异常阀值，并存储所述存在潜在的购买行为异常阀值。8.如权利要求4所述的方法，其特征在于，所述提取所述用户标识中的历史交易行为记录中超出购买行为异常阀值的异常注册用户的黑名单，包括以下步骤：导入前一天所有交易记录和至少一年的交易记录到数据仓库中；计算每个用户IP一年之内的单场次购票数，购买项目数，平均购票数；使用直方图，观察单场次购票数，购买项目数，平均购票数分布，根据自定义规则分析确定存在潜在的购买行为异常阀值；基于确定的潜在的购买行为异常阀值和频次计算结果，识别出超出购买行为异常阀值的异常注册用户，存入到黑名单表中。9.如权利要求7或8所述的方法，其特征在于，所述购买行为异常，包括：购买品类、地区和票价有较大的跨度的购买行为。10.如权利要求4所述的方法，其特征在于，所述实时采集用户标识的当前访问行为记录中的当前用户访问频次和异常访问路径，包括：实时读取nginx的访问日志文件并发送到日志处理系统；日志处理系统实时接收日志采集系统发送的日志，以一秒钟为一个计算窗口，计算IP访问频次，每个IP的访问url的频次，IP+cookie+agent访问频次，IP+cookie+agent访问url的频次和异常访问路径，并将计算结果存储到缓存...

【专利技术属性】
技术研发人员：曹杰，冯雨晖，宿晓坤，杨睿，周宇红，
申请(专利权)人：北京红马传媒文化发展有限公司，
类型：发明
国别省市：北京;11