一种采集用户行为数据的方法及装置制造方法及图纸

本申请公开了一种采集用户行为数据的方法及装置，该方法包括：当检测到任一操作行为发生时，生成与该操作行为对应的操作行为数据；将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；将具有相同关键词的操作行为数据存储到预设的存储空间。本申请公开的方法和装置通过实时的预计算处理，将任一操作行为发生时候，则及时的将操作行为数据按照多个条件进行分类存储使用户操作行为数据的描述更加丰富，并提升了用户行为数据的分析精度。

【技术实现步骤摘要】
一种采集用户行为数据的方法及装置
本申请涉及网络
，尤其涉及一种采集用户行为数据的方法及装置。
技术介绍
CTU是网络加护系统中的风险控制管理核心监控系统。主要对盗用、欺诈、盗卡风险进行实时以及非实时监控，控制这些风险导致的资金损失，保障客户资金安全以及交易安全。即用户通过计算机在互联网站上的行为，如在支付宝的登录、修改信息、支付资金等操作。原有方案，在对用户操作行为数据进行分析时(由于性能瓶颈，只能查询到最长为当前时间起前6个小时)，再从海量数据中查询最长当前时间前6小时段的所有原始操作流水记录，获取到数据后，再进行筛选、分类、统计、汇总，即现用现计算处理。现有技术缺点:由于现有技术中数据分析是在分析的时候，再从海量数据中查询最长当前时间前6小时段的所有原始操作流水记录，获取到数据后，再进行筛选、分类、统计、汇总，即现用现计算处理，因此性能及效率会比较差。同时，现有技术未将当前原始用户操作行为数据进行预先设好的多个条件进行筛选、分类、统计、汇总，因此在事后随着时间的推移，这些历史数据将无法获取到当时的一些数据场景快照，或者说获取到的成本非常闻。
技术实现思路
本申请提供一种采集用户行为数据的方法及装置，本申请所提供的方法和装置解决现有技术中数据分析从海量数据中查询目标数据，因此数据查询性能及效率会比较差的问题。本申请提供一种采集用户行为数据的方法，该方法包括:当检测到任一操作行为发生时,生成与该操作行为对应的操作行为数据；将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；将具有相同关键词的操作行为数据存储到预设的存储空间。当从存储的历史操作行为数据中获取任一用户对任一事件的历史操作行为数据，该方法还包括:接收获取所述任一用户的历史操作行为数据的数据获取请求；从所述数据获取请求中获取与所述任一事件对应的数据筛选统计项，并根据获取的数据筛选统计项生成筛选统计策略标识；将生成的筛选统计策略标识与所述任一用户的唯一标识组合生成关键词；将生成的关键词与所述数据结构中保存的关键词进行匹配，如果匹配到相同的，则获取关键词对应的历史操作行为数据。本申请根据上述方法还提供一种采集用户行为数据的装置，该装置包括:数据接收单元，用于当检测到任一操作行为发生时，获取与该操作行为对应的操作行为数据；筛选统计策略标识确定单元，用于将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；关键词生成单元，用于将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；数据存储单元，用于将具有相同关键词的操作行为数据存储到预设的存储空间。当从所述预设的存储空间中获取任一用户对任一事件的操作行为数据，则该装置还包括:查询单元，用于接收获取任一用户的历史操作行为数据的数据获取请求；从所述数据获取请求中获取与所述任一事件对应的数据筛选统计项，并根据获取的数据筛选统计项生成筛选统计策略标识；将生成的筛选统计策略标识与所述任一用户的唯一标识组合生成关键词；将生成的关键词与所述数据结构中保存的关键词进行匹配，如果匹配到相同的，则获取关键词对应的历史操作行为数据。上述技术方案中的一个或两个，至少具有如下技术效果:本申请实施例所提供的方法和装置通过提前实时的预计算处理，将当前用户对应的历史操作行为数据进行预先设好的多个条件进行筛选、分类、统计、汇总，这样即解决了原来无法解决的对历史操作行为数据快照问题，使原始用户操作行为数据的描述更加丰富，以此大大提升用户行为分析的精度。【附图说明】图1为本申请实施例一种采集用户行为数据的方法的流程图；图2为本申请实施例在本申请实施例中关键词的结构示意图；图3为本申请实施例数据结构中缓存队列的结构示意图；图4为本申请实施例中基于某一筛选策略的缓存队列结构示意图；图5为本申请实施例一种采集用户行为数据装置的结构示意图；图6为本申请实施例中数据存储单元的结构示意图。【具体实施方式】本申请实施例提供一种采集用户行为数据的方法，该方法包括:当检测到任一操作行为发生时，生成与该操作行为对应的操作行为数据；将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；将所述关键词相同的操作行为数据组合存储到预设的存储空间。本申请通过实时的预计算处理，当检测到任一用户当前正在执行某一操作时，根据预先设好的多个筛选规则(多个筛选规则组成筛选统计策略)将当前执行网络操作的用户操作行为数据进行筛选、分类、统计、汇总，这样即解决了原来无法解决的对历史操作行为数据快照问题，使用户操作行为数据的描述更加丰富，以此大大提升用户行为分析的精度。本申请实施例中所公开的用户操作行为数据是指用户通过计算机在互联网站上进行操作时，服务器针对用户的操作行为生成的描述相关操作行为的数据，如在支付宝的登录、修改信息、支付资金等操作行为时，则对应的会生成记录登录、修改信息、支付资金的操作行为数据。例如:某一用户执行了登录操作，则对应的操作行为数据可以是:用户账号、登录时间、登录设备IP、登录是否成功等等信息。本申请所提供的方法是通过对实时的用户操作行为数据进行筛选、分类、统计、汇总等预计算加工处理，使风险行为分析系统在分析当前用户的操作行为时只需要从预计算加工处理后的数据中查询所需数据结果即可，不需要在分析的过程中再进行以上对用户操作行为的分类、统计、汇总，再加上通过使用筛选统计策略标识(Key) +采集的数据块(Value)的方式缓存到服务器，使原有的海量数据查询每次平均需要25ms，提升到获取数据只需要平均5ms，所以大大提升了风险分析的性能及效率。如图1所示，基于上述目的本申请实施例提供一种采集用户行为数据的方法，下面结合说明书附图对本申请的【具体实施方式】进行详细说明:步骤101,当检测到任一操作行为发生时,获取与该操作行为对应的操作行为数据；在本申请实施例中，当一个用户操作行为发生时接收业务系统以消息事件的形式发送来的数据；例如:当用户A对被监控的某一网站页面执行操作行为时，则对应会触发风险监控系统获取该用户A所执行的操作行为对应的操作行为数据。因为业务系统的多样性以及业务系统功能的多样性，所以不同业务系统应用的数据会存在一定的差异，进而接收到的用户操作行为数据会存在不同的数据格式。为了便于数据的筛选和统计本申请实施例还在接收业务系统发送来的用户操作行为数据之后，还进一步将接收到的用户操作行为数据转为相同的数据格式。步骤102，将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；所述数据筛选统计项包括待采集数据的业务条件、数据采集的累积时长和待采集数据的对应事件本文档来自技高网...

【技术保护点】
一种采集用户行为数据的方法，其特征在于，该方法包括：当检测到任一操作行为发生时，生成与该操作行为对应的操作行为数据；将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识；将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词；将具有相同关键词的操作行为数据存储到预设的存储空间。

【技术特征摘要】
1.一种采集用户行为数据的方法，其特征在于，该方法包括: 当检测到任一操作行为发生时，生成与该操作行为对应的操作行为数据； 将所述操作行为数据中的数据项与预设的多个筛选统计策略中的策略项进行匹配，若与任一筛选统计策略匹配成功，则获取与所述任一筛选统计策略对应的第一筛选统计策略标识； 将第一筛选统计策略标识与所述操作行为数据中的用户唯一标识组合生成关键词； 将具有相同关键词的操作行为数据存储到预设的存储空间。2.如权利要求1所述的方法，其特征在于，将所述关键词相同的操作行为数据组合存储到预设的存储空间包括: 根据预设的时间片将所述关键词相同的操作行为数据划分为多个数据块； 按照所述操作行为数据的生成时间将所述数据块组合存储到预设的存储空间。3.如权利要求1所述的方法，其特征在于，所述用户唯一标识包括用户终端的IP地址，用户的网络注册账号或者用户终端的MAC地址。4.如权利要求1所述的方法，其特征在于，所述数据筛选统计项包括待采集数据的业务条件、数据采集的累积时长和待采集数据的对应事件。5.如权利要求4所述的方法，其特征在于，所述根据预设的时间片将所述关键词相同的操作行为数据划分为多个数据块: 从所述第一筛选统计策略标识中获取数据采集的累积时长； 将所述累积时长与第一阈值进行比较，若所述累积时长大于第一阈值，则根据第一预设时间片将所述第一历史操作行为数据划分为多个数据块；若所述累积时长不大于第一阈值，则根据第二预设时间片将所述第一历史操作行为数据划分为多个数据块；其中，所述第二预设时间片小于第一预设时间片。6.如权利要求1所述的方法，其特征在于，该方法还包括获取任一用户对任一事件的历史操作行为数据还包括: 接收获取所述任一用户的历史操作行为数据的数据获取请求； 从所述数据获取请求中获取与所述任一事件对应的数据筛选统计项，并根据获取的数据筛选统计项生成筛选统计策略标识； 将生成的筛选统计策略标识与所述任一用户的唯一标识组合生成关键词； 将生成的关键词与所述数据结构中保存的关...

【专利技术属性】
技术研发人员：雷鑫，陈锣斌，孙宏发，沈涛，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：