一种反欺诈流式计算装置及方法制造方法及图纸

本发明专利技术公开了一种反欺诈流式计算装置及方法，属于流式计算技术领域。所述方法包括：数据采集模块，用于采集用户数据；实时分析服务模块，用于通过基于预设流式计算和预设规则引擎的MapReduce计算模型对所述用户数据进行实时分析，以获取用于指导反欺诈的数据名单；业务服务模块，用于根据所述数据名单进行相应业务服务操作。本发明专利技术能够为企业量身定制符合自身业务的账号保护服务，有效应对撞库、盗号、恶意注册等安全问题，具备风险拦截和识别的能力，可应用于进行业务安全问题防护的多种业务场景。

An Anti-fraud Flow Computing Device and Method

The invention discloses an anti-fraud flow computing device and method, belonging to the technical field of flow computing. The method includes: data acquisition module for collecting user data; real-time analysis service module for real-time analysis of user data through MapReduce computing model based on preset flow calculation and preset rule engine to obtain data list for guiding anti-fraud; business service module for root. According to the data list, corresponding business service operations are performed. The invention can provide customized account protection services for enterprises that conform to their own business, effectively cope with security problems such as collision, theft, malicious registration, and has the ability of risk interception and identification, and can be applied to a variety of business scenarios for business security protection.

【技术实现步骤摘要】
一种反欺诈流式计算装置及方法
本专利技术涉及流式计算
，特别涉及一种反欺诈流式计算装置及方法。
技术介绍
随着互联网行业的快速发展，撞库，盗号，恶意注册等安全问题时常发生。互联网金融，保险，电商、O2O、P2P、游戏等不同行业的营销和支付场景对于这些恶意行为风险拦截和识别需求日益增加，并且非常迫切。但由于行业的多样性，各种业务场景下的互动反作弊、刷单、抽奖作弊、投票作弊等等业务安全问题防护要求不尽相同。同时，反欺诈数据量非常大，对于实时性要求较高。MapReudce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担。它借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。Jstorm是一款企业级快速稳定的流式处理引擎。程序运行速度快，支持EnterpriseExactly-onceFramework。JStorm不仅是一个流式处理引擎。同时也是实时需求的一个解决方案，即整个实时生态系统。整个JStorm系统中共存三类不同的Daemon进程，分别是Nimbus、Supervisor和Worker。Nimbus：JStorm中的主控节点，Nimbus负责接收和验证客户端提交的Topology，分配任务，向Zookeeper写入任务相关的元信息，此外，Nimbus还负责通过Zookeeper来监控节点和任务健康情况，当有Supervisor节点变化或者Worker进程出现问题时及时进行任务重新分配。Nimbus分配任务的结果不是直接下发给Supervisor，也是通过Zookeeper维护分配数据进行过渡。Supervisor：JStorm中的工作节点，Supervisor订阅Zookeeper分配到该节点的任务数据，根据Nimbus的任务分配情况启动/停止工作进程Worker。Supervisor需要定期向Zookeeper写入活跃端口信息以便Nimbus及时监控。Supervisor不执行具体的数据处理工作，所有的数据处理工作都交给Worker完成。Worker：JStorm中任务执行者，所有实际的数据处理工作最后都在Worker内执行完成。Worker需要定期向Supervsior汇报心跳，由于在同一节点，同时为保持节点的无状态，Worker定期将状态信息写入本地磁盘，Supervisor通过读本地磁盘状态信息完成心跳交互过程。Worker绑定一个独立端口，Worker内所有单元共享Worker的通信能力。Esper是用于复杂事件处理(CEP)和流式分析的软件。Esper能够快速开发处理大量传入消息或事件的应用程序，而不管传入消息是历史还是实时消息。Esper以各种方式过滤和分析事件，并对感兴趣的条件做出响应。Esper和事件处理语言(EPL)为在线和实时到达数据提供高度可扩展的，内存高效的内存计算，符合SQL标准，延时小，可用于实时流式处理大数据处理引擎以及历史事件分析。Esper并不局限于在单台机器上运行，并且在分布式流处理框架内运行良好。Esper可以在任何架构和任何容器中运行，因为它不依赖于外部服务，并且不需要任何特定的线程模型或时间推进模型，不需要任何外部存储。Esper可以很好地处理基于时间和基于基线的数据。Esper的设计重点是：1.低延迟和高吞吐量；2.EPL语言的表现力，简洁性和可扩展性；3.遵守标准和最佳实践；4.在内存，CPU和IO使用方面轻量级。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种反欺诈流式计算装置及方法。所述技术方案如下：第一方面，提供了一种反欺诈流式计算装置，包括：数据采集模块，用于采集用户数据；实时分析服务模块，用于通过基于预设流式计算和预设规则引擎的MapReduce计算模型对所述用户数据进行实时分析，以获取用于指导反欺诈的数据名单；业务服务模块，用于根据所述数据名单进行相应业务服务操作。结合第一方面，在第一种可能的实现方式中，所述预设流式计算为jstorm流式计算，和/或，所述预设规则引擎为esper规则引擎。结合第一方面，在第二种可能的实现方式中，所述装置还包括：规则管理服务模块，用于进行所述实时分析服务模块所用的规则配置。结合第一方面的第二种可能实现方式，在第三种可能实现方式中，所述规则配置是进行所述实时分析服务模块所用的过滤规则和/或分析规则的配置。结合第一方面的第三种可能实现方式，在第四种可能实现方式中，所述过滤规则配置包括进行规则名称、输出表名、规则描述、索引、类型、字段名称和/或过滤条件的信息配置；和/或，所述分析规则配置包括Mapper规则配置和Reducer规则配置。结合第一方面及第一方面的第一至第四种中任一种可能实现方式，在第五至九种可能实现方式中，所述数据采集模块以js埋点方式，自研js脚本采集用户行为数据和设备指纹数据。结合第五至九种中任一种可能实现方式，在第十至十四种可能实现方式中，所述装置还包括：埋点数据转发服务模块，用于将通过http协议传输至其的前端埋点数据发送至kafka消息队列服务；所述实时分析服务模块，通过对包括设备指纹、会话id和/或场景id在内的特征字段的分数实时计算生成灰名单和黑名单数据，并支持定时同步MapReduce规则。结合第一方面及第一方面的第一至四及第十至十四种种任一种可能实现方式，在第十五至二十四种可能实现方式中，所述装置还包括：反欺诈服务模块，用于设置业务服务特征字段查询接口，对接所述实时分析服务模块获取的数据名单的数据；所述业务服务模块，用于接收前端页面发出的http请求服务，对于所述请求数据中的数据特征字段调用所述反欺诈服务模块获取风险识别结果，根据所述风险识别结果处理业务请求。第二方面，提供了一种反欺诈流式计算方法，包括：采集用户数据；通过基于预设流式计算和预设规则引擎的MapReduce计算模型对所述用户数据进行实时分析，以获取用于指导反欺诈的数据名单；根据所述数据名单进行相应业务服务操作。结合第二方面，在第一种可能的实现方式中，所述预设流式计算为jstorm流式计算，和/或，所述预设规则引擎为esper规则引擎。优选地，上述方案中，所述方法包括：进行所述实时分析所用的过滤规则和/或分析规则的配置；以js埋点方式，自研js脚本采集用户行为数据和设备指纹数据；将通过http协议传输至其的前端埋点数据发送至kafka消息队列服务；通过对包括设备指纹、会话id和/或场景id在内的特征字段的分数实时计算生成灰名单和黑名单数据，并支持定时同步MapReduce规则；设置业务服务特征字段查询接口，对接所述实时分析获取的数据名单的数据；接收前端页面发出的http请求服务，对于所述请求数据中的数据特征字段调用所述查询接口获取风本文档来自技高网...

【技术保护点】
1.一种反欺诈流式计算装置，其特征在于，包括：数据采集模块，用于采集用户数据；实时分析服务模块，用于通过基于预设流式计算和预设规则引擎的MapReduce计算模型对所述用户数据进行实时分析，以获取用于指导反欺诈的数据名单；业务服务模块，用于根据所述数据名单进行相应业务服务操作。

【技术特征摘要】
1.一种反欺诈流式计算装置，其特征在于，包括：数据采集模块，用于采集用户数据；实时分析服务模块，用于通过基于预设流式计算和预设规则引擎的MapReduce计算模型对所述用户数据进行实时分析，以获取用于指导反欺诈的数据名单；业务服务模块，用于根据所述数据名单进行相应业务服务操作。2.根据权利要求1所述的装置，其特征在于，所述预设流式计算为jstorm流式计算，和/或，所述预设规则引擎为esper规则引擎。3.根据权利要求1所述的装置，其特征在于，所述装置还包括：规则管理服务模块，用于进行所述实时分析服务模块所用的规则配置。4.根据权利要求3所述的装置，其特征在于，所述规则配置是进行所述实时分析服务模块所用的过滤规则和/或分析规则的配置。5.根据权利要求4所述的装置，其特征在于，所述过滤规则配置包括进行规则名称、输出表名、规则描述、索引、类型、字段名称和/或过滤条件的信息配置；和/或，所述分析规则配置包括Mapper规则配置和Reducer规则配置。6.根据权利要求1至5任一项所述的装置，其特征在于，所述数据采集模块以js埋点方式，自研js脚本采集用户行为数据和设备指纹数据。7.根据权利要求6所述的装置，其特征在于，所述装置还包括：埋点数据转发服务模块，用于将通过http协议传输至其的前端埋点数据发送至kafka消息队列服务；所述实时分析服务模块，通过对包括设备指纹、会话id和/或场景id在内的特征字段的分数实时计算生成灰名单和黑名单数据，并支持定时同步MapReduce规则。8.根据权利要求1、2、3、4、5、7任一项所述的装置，其特征在于，所述装置还包括：反欺诈服务模块...

【专利技术属性】
技术研发人员：张春春，王明博，
申请(专利权)人：众安信息技术服务有限公司，
类型：发明
国别省市：广东,44