一种基于策略中间层的数据采集与同步方法和系统技术方案

本申请提供一种基于策略中间层的数据采集与同步方法及系统、计算设备和计算机可读存储介质，其中所述方法通过埋点方式获取客户端用户行为数据，同时转发给实时计算模块和离线计算模块进行用户风险特征计算；其中实时计算模块生成了多个包含用户实时风险特征数据的实时数据集合和哈希表，并与离线计算模块的结果一起同步到缓存服务，以便高效响应策略中间层请求并返回风险特征数据，实现了灵活、高效且全面的反作弊方法。且全面的反作弊方法。且全面的反作弊方法。

【技术实现步骤摘要】
一种基于策略中间层的数据采集与同步方法和系统


[0001]本申请涉及计算机安全
，特别涉及一种基于策略中间层的数据采集与同步方法和系统、计算设备和计算机可读存储介质。

技术介绍

[0002]目前，对于互联网业务系统的反作弊功能主要依靠一些常规手段实现，比如在用户注册时禁止虚拟手机号注册、对设备的IP或设备ID注册账号的数量进行限制等，但是对于黑色产业链上的工作室来说，其攻击手段多种多样，使得常规的防护手段很容易被绕过，现有的技术并不能及时、全面地满足实时监控和预警的需要，尤其在进行实时判断时能够使用的手段不多。因此亟需一种高效、灵活且全面的反作弊方法来应对可能出现的各种情况。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种基于策略中间层的数据采集与同步方法及系统、计算设备和计算机可读存储介质，以解决现有技术中存在的技术缺陷。
[0004]根据本申请实施例的第一方面，提供了一种基于策略中间层的数据采集与同步方法，包括：
[0005]通过埋点的方式收集客户端的用户行为数据；
[0006]将所述用户行为数据转发给实时计算模块，由所述实时计算模块计算用户的第一风险特征；并且，
[0007]将所述用户行为数据转发给离线计算模块，由所述离线计算模块计算用户的第二风险特征；
[0008]将所述第一风险特征和所示第二风险特征同步到缓存服务；
[0009]由所述缓存服务响应策略中间层的请求并返回结果。
[0010]根据本申请实施例的第二方面，一种基于策略中间层的数据采集和同步系统，其特征在于，所述系统包括：
[0011]埋点采样模块，用于接收和转发客户端发送的用户行为数据；
[0012]实时计算模块，用于根据所述用户行为数据计算用户的第一风险特征；
[0013]离线计算模块，用于根据所述用户行为数据计算用户的第二风险特征；
[0014]同步模块，用于将所述第一风险特征和所述第二风险特征同步到缓存服务；
[0015]缓存服务，用于响应策略中间层的请求并返回结果。
[0016]根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述指令时实现所述基于策略中间层的数据采集与同步方法的步骤。
[0017]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时实现所述基于策略中间层的数据采集与同步方法的步骤。
[0018]与现有技术相比，本申请实施例中，除了使用离线计算的风险特征外，还通过实时计算模块对新出现的用户数据进行计算。其中，在实时计算模块中生成多个不同的实时数据集合和实时哈希表，通过该方式实现和生成了多种代表用户实时风险特征数据，并与离线计算模块计算得到的风险特征一起按不同的周期同步到缓存服务，实现了一种灵活、高效且全面的反作弊方法，对各种可能出现的作弊行为实现了良好的应对。
附图说明
[0019]图1是本申请实施例提供的计算设备的结构框图；
[0020]图2是本申请实施例提供的一种基于策略中间层的数据采集与同步方法的流程示意图；
[0021]图3是本申请实施例提供的一种基于策略中间层的数据采集与同步系统的架构示意图。
具体实施方式
[0022]在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
[0023]在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0024]应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“响应于确定”。
[0025]在本申请中，提供了一种基于策略中间层的数据采集与同步方法及系统、计算设备和计算机可读存储介质，在下面的实施例中逐一进行详细说明。
[0026]图1示出了根据本申请一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接，数据库150用于保存数据。
[0027]计算设备100还包括接入设备140，接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi
‑
MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
[0028]在本申请的一个实施例中，计算设备100的上述部件以及图1中未示出的其他部件
也可以彼此相连接，例如通过总线。应当理解，图1所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
[0029]计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
[0030]其中，处理器120可以执行图2所示的基于策略中间层的数据采集与同步方法中的步骤。图2示出了根据本申请一实施例的基于策略中间层的数据采集与同步方法的流程图，包括步骤202至步骤206。
[0031]步骤202：通过埋点的方式收集客户端的用户行为数据；
[0032]在该步骤中，在客户端的应用程序中使用SDK组件，通过SDK组件获取用户在日常使用应用程序时的日志信息；其中，SDK组件通过程序代码埋点的方式获取并记录用户在使用应用程序过程中产生的各类用户行为数据，包括但不限于：客户端信息、应用程序版本信息、用户操作的事件类型、时间戳、IP地址、设备指纹等等，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于策略中间层的数据采集与同步方法，其特征在于，包括：通过埋点的方式收集客户端的用户行为数据；将所述用户行为数据转发给实时计算模块，由所述实时计算模块计算用户的第一风险特征；并且，将所述用户行为数据转发给离线计算模块，由所述离线计算模块计算用户的第二风险特征；将所述第一风险特征和所示第二风险特征同步到缓存服务；由所述缓存服务响应策略中间层的请求并返回结果。2.根据权利要求1所述的方法，其中，将所述用户行为数据转发给实时计算模块，由所述实时计算模块计算用户的第一风险特征包括：将所述用户行为数据发送到消息处理系统，基于所述消息处理系统的消费者完成所述第一风险特征的计算。3.根据权利要求2所述的方法，其中，由所述实时计算模块计算用户的第一风险特征包括：生成多个不同的实时数据集合，每个实时数据集合代表特定的用户行为特征并包括符合这种行为特性的账户ID；和或生成多个不同的实时哈希表，每个实时哈希表记录了特定用户行为特征的多个属性。4.根据权利要求3所述的方法，其中，生成多个不同的实时数据集合包括：根据用户行为数据生成实时数据集合的key；将符合所述key定义的账户ID插入到所述实时数据集合中。5.根据权利要求3所述的方法，其中，生成多个不同的实时哈希表包括：根据用户行为数据生成实时哈希表的key；将属于所述key定义的属性数据插入到所述实时哈希表中。6.根据权利要求1所述的方法，其中，将所述用户行为数...

【专利技术属性】
技术研发人员：韩腾辉，田文，李贝贝，李罗威，刘晓倩，请求不公布姓名，梁前武，
申请(专利权)人：北京云游互动网络科技有限公司，
类型：发明
国别省市：