实时反作弊检测监控方法和系统以及计算设备技术方案

本公开是关于一种实时反作弊检测监控方法，包括：接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；对所述时序数据进行预估，并检测时序异常；以及对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略。根据本公开的方案，能够实现时序预估和特征分布异常两种检测的协调工作，从而达到实时异常召回和策略监控预警的双重效果。

Real-time anti cheating monitoring and monitoring method and system and computing equipment

The public is a real-time anti spam detection method comprises: receiving real-time monitoring, log files, and after pretreatment were obtained from time series data and real-time data; on the time-series data prediction, and sequential detection and detection of abnormal; abnormal distribution of the characteristics of real-time data, and according to the generated monitoring timing strategy of abnormal test results. According to the scheme of this disclosure, we can realize the coordination between two kinds of detection of time series prediction and feature distribution anomaly, so as to achieve the double effect of Real-time Anomaly recall and policy monitoring and early warning.

【技术实现步骤摘要】
实时反作弊检测监控方法和系统以及计算设备
本公开涉及互联网
，尤其涉及一种实时反作弊检测监控方法和系统以及计算设备。
技术介绍
随着互联网技术的发展，O2O(OnlinetoOffline，线上到线下)已经兴起成为一种为广大消费者所接受的商业模式。O2O的基本商业逻辑是，用户在线上平台预先支付，然后到线下消费体验，商家实时追踪其营销效果，由此形成闭环的商业服务和体验过程。由于品牌效应和聚集效应的作用，越来越多的商家选择依附于已成规模的互联网平台来推广和提供商品和劳务等服务，与之相应的也衍生出通过互联网平台来投放广告的O2O业务。针对近年来日益猖獗的网络黑色产业(简称“黑产”)，各大互联网平台公司为保护平台利益的风险控制场景繁多，包括反刷单、反套现、反虚假交易、反爬虫等等(可统称为“反作弊”)。同样与之相应的，对于承揽O2O广告业务的互联网平台公司，依照目前CPC(CostPerClick，单次点击计费)、CPM(CostPerImpressions，千次曝光计费)等主流计费方式，反作弊的主要手段以反虚假点击/曝光为主。业界反作弊系统设计不尽相同，但都拥有图1所示一些模块中的大部分，包括系统平台11、规则平台12、监控系统13、数据系统14及运营系统15，其中的监控系统13和运营系统15组成的监控体系在不同公司的业务场景中都具有举足轻重的作用，决定了是否能扭转由于平台在明而黑产在暗所造成的被动。上述监控系统一般通过技术手段发现作弊并告警相关人员，从而达到及时止损或补救损失、提升商户体验、降低由于感知异常带来投诉的目的。图2示出相关技术中的反作弊监控流程，包括以下步骤：在步骤S201中，采集基于监控产生的各业务离线数据；在步骤S202中，进行特征工程，将离线数据整理清洗成检测及规则识别所需的特征数据，输出给检测或规则模型；在步骤S203中，基于检测算法和规则识别对于输入特征进行挖掘；其中，检测算法常用采取无监督的各种聚类、图模型等，规则识别则依靠过往的异常挖掘及案例总结的规则进行识别；在步骤S204中，若识别出可用已知规则覆盖的异常作弊，则直接进行通用规则开发上线或更新；在步骤S205中，运营系统对新收到的投诉及新发现的攻击案例进行流程处理，整理并存储入异常数据库中；在步骤S206中，对于汇总到的异常进行数据扩展等处理以便进行分析判断；在步骤S207中，对于异常相关数据进行统计等提炼总结并发布相关告警或通知，同时技术、产品或运营人员判断是否进行策略迭代或采取其他措施；在步骤S208中，对于判断为造成一定损失的异常作弊，进行后续补救措施；例如实时回退、返现、冻结下线等。专利技术人发现，上述相关技术中的反作弊监控流程至少存在以下缺陷：1、规则及离线挖掘无法对诸如短时消耗突增等商户能实际感知到的异常做针对性的发现及处理，从而不能实现主动彻底杜绝此类异常；2、案例收集及离线挖掘受限于反馈和日志时间的延迟，不能快速及时的主动发现新的作弊位置与模式，也不能预警即将到来的规模作弊；3、在监控体系中太多依赖人工处理，对于新发现的异常需要人工分析判断并操作；以及4、无法直接给出作弊的影响范围及数量，也就无法预估到没有作弊产生时正常情况下的数据。
技术实现思路
本公开的目的是提供一种实时反作弊检测监控方法和系统以及计算设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的上述一个或者多个问题。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开实施例的第一方面，提供一种实时反作弊检测监控方法，包括：接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；对所述时序数据进行预估，并检测时序异常；以及对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略。根据本公开实施例的第二方面，提供一种实时反作弊检测监控装置，包括：数据处理模块，设置为接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；时序检测模块，设置为对所述时序数据进行预估，并检测时序异常；以及策略生成模块，设置为对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果求交生成监控策略。根据本公开实施例的第三方面，提供一种存储有计算机程序的存储介质，所述计算机程序在由计算机的处理器运行时，使所述计算机执行如上所述的实时反作弊检测监控方法实施例的步骤。根据本公开实施例的第四方面，提供一种计算设备，包括：处理器；存储器，存储有可由所述处理器执行的指令；其中所述处理器被配置为执行如上所述的实时反作弊检测监控方法实施例的步骤。本公开的实施例提供的技术方案可以包括以下有益效果：联合用于异常召回的时间序列预估和检测，以及用于作弊准确判断的异常分布检测和原因回溯，实现两种异常检测的协调工作，从而达到实时异常召回和策略监控预警的双重效果。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明图1为相关技术中反作弊系统的示意框图；图2为相关技术中反作弊系统的工作流程示意图；图3为根据本公开实施例的实时反作弊检测监控方法的流程示意图；图4为根据本公开实施例的实时反作弊检测监控方法中时序异常检测的流程示意图；图5为根据本公开实施例的实时反作弊检测监控方法中特征异常检测的流程示意图；图6为根据本公开实施例的实时反作弊检测监控方法中用于特征异常检测的高斯混合模型训练的流程示意图；图7为根据本公开实施例的实时反作弊检测监控装置的结构框图；图8为根据本公开实施例的实时反作弊检测监控设备的结构框图。具体实施方式下面将参考若干示例性实施方式来描述本专利技术的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本专利技术，而并非以任何方式限制本专利技术的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。本领域技术人员知道，本专利技术的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。根据本专利技术的实施方式，提出了一种实时反作弊检测监控方法和系统以及计算设备，可广泛应用于互联网平台的风险控制、O2O广告反作弊以及其他类似的异常检测领域。下面参考本专利技术的若干代表性实施方式，详细阐释本专利技术的原理和精神。根据本专利技术的一个方面，提出一种实时反作弊检测监控方法，其例如可由服务提供商的服务器或与其通信的其他设备来执行。如图3所示，该方法包括以下步骤S301-S303。在步骤S301中，接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据。本步骤涉及源数据的产生和预处理，其中源数据例如是所述服务器根据自用户处收到的浏览、点击及其全站浏览、预定等操作而实时产生并不断更新的日志文件。根据后续处理方向的不同，本步骤接收到的源数据分别进行两种预处理；一种是针对时序异常检测流程，这部分源数据(下文也称第一范围数据)与点击和曝光相关，其预处理目标是过滤出商户最关注也最容易引起商户投诉的时序数据；另一种则针对分布异常检测流程，这部分源数据(下文也称第二范围数据)与用户属性相关，其预处理本文档来自技高网...

【技术保护点】
一种实时反作弊检测监控方法，包括：接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；对所述时序数据进行预估，并检测时序异常；以及对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略。

【技术特征摘要】
1.一种实时反作弊检测监控方法，包括：接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；对所述时序数据进行预估，并检测时序异常；以及对所述实时特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略。2.如权利要求1所述的实时反作弊检测监控方法，其中所述接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据包括：获取实时源数据日志；将所述实时源数据日志中与点击和曝光相关的第一范围数据按预设时间窗计算成所述时序数据；以及基于所述实时源数据日志中与用户属性相关的第二范围数据使用预设特征编码生成所述实时特征数据。3.如权利要求1所述的实时反作弊检测监控方法，其中所述对时序数据进行预估，并检测时序异常包括：基于所述时序数据使用多个时间序列模型得到多个时序预估结果，并选用预估误差最小的目标时间序列模型对所述时序数据进行预估；接收所述时序数据和基于所述目标时间序列模型得到的预估数据，并使用所述密度异常检测模型进行异常检测；以及基于阈值控制从异常检测结果中选取影响较大的异常结果。4.如权利要求1所述的实时反作弊检测监控方法，其中所述对特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略包括：基于历史日志文件提取历史特征数据，由高斯混合模型训练得到模型参数；将所述实时特征数据输入已确定所述模型参数的所述高斯混合模型，计算得到异常特征数据；以及将所述异常特征数据与检测到的所述时序异常检测结果进行求交运算以生成监控策略。5.如权利要求4所述的实时反作弊检测监控方法，其中所述对特征数据进行分布异常的检测，并根据时序异常检测结果生成监控策略还包括：基于所述监控策略对后续接收的实时日志文件进行过滤；以及根据在预设时间内的过滤量来确定是否删除该监控策略。6.如权利要求1-5任一项所述的实时反作弊检测监控方法，其中还包括：基于检测到的所述时序异常检测结果以及所述实时特征数据的分布异常分别发布告警通知。7.一种实时反作弊检测监控装置，包括：数据处理模块，设置为接收实时日志文件，并经预处理后分别得到时序数据和实时特征数据；时序检测模块，设置为对所述时序数据进行预估，并检测时序异常；以及策略生成模块，设置为对所述实时特征数据进行分布异常的检测，并根据时序异...

【专利技术属性】
技术研发人员：李忆纯，柳明海，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京,11