【技术实现步骤摘要】
一种数据采集方法及装置
本专利技术涉及金融科技(Fintech)
，尤其涉及一种数据采集方法及装置。
技术介绍
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，然而由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。数据采集是金融行业常用的数据处理方法，通过采集预设时段内的用户行为数据，并基于用户行为数据建立业务预测模型，可以使用业务预测模型分析未来一段时间的业务执行情况，从而有助于建立更好的决策应对机制；比如，通过采集某一商品在一定时段的用户行为数据，并建立该商品对应的用户流失模型，可以对该商品在未来一段时间内的用户流失情况进行分析，如此，营销部门可以调整该商品的营销策略，从而降低用户流失情况。现有技术一般采用即收即发的策略执行数据采集过程，具体地说，业务系统只要检测到业务触发埋点事件，就会生成埋点事件对应的采集事件，并同时将采集事件上报给采集服务器。然而，现阶段的业务系统通常支持并行处理，因此，若多个埋点事件被同时触发，则业务系统会同时...
【技术保护点】
1.一种数据采集方法，其特征在于，所述方法包括：/n检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件；/n通过多次上报过程上报所述多条采集事件；在每次上报过程中，将所述多条采集事件中未上报的一条或多条采集事件上报给采集服务器。/n
【技术特征摘要】 【专利技术属性】
1.一种数据采集方法，其特征在于，所述方法包括：
检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件；
通过多次上报过程上报所述多条采集事件；在每次上报过程中，将所述多条采集事件中未上报的一条或多条采集事件上报给采集服务器。
2.根据权利要求1所述的方法，其特征在于，所述通过多次上报过程上报所述多条采集事件，包括：
将所述多条采集事件依次存储在预设队列中；
在每次上报过程中，在确定上一次上报过程上报的采集事件成功上报给所述采集服务器后，将所述预设队列中未上报的一条采集事件上报给所述采集服务器。
3.根据权利要求2所述的方法，其特征在于，所述将所述预设队列中未上报的一条采集事件上报给所述采集服务器，包括：
获取所述预设队列中预设游标指示的位置相邻的后一位置存储的采集事件，并上报给所述采集服务器；所述预设游标用于指示每次上报过程中上报的采集事件在所述预设队列中的位置；
使用所述预设游标指示的位置相邻的位置更新所述预设游标。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
在确定上一次上报过程上报的采集事件未成功上报给所述采集服务器后，重复上报所述上一次上报过程上报的采集事件，且在重复上报的次数超过预设次数时，将所述预设队列中所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件缓存至预设位置；
在故障排除后，将所述预设位置缓存的采集事件上报给采集服务器。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
若所述预设游标指示的位置为所述预设队列末端的位置，或者，若所述预设游标指示的位置至所述预设队列末端的位置之间的采集事件已缓存至所述预设位置，则删除所述预设队列。
6.根据权利要求4或5所述的方法，其特征在于，所述将所述多条采集事件依次存储在预设队列之前，还包括：
查询所述预设位置是否缓存有采集事件，若是，则使用所述预设队列的初始位置存储所述预设位置缓存的采集事件，再从所述预设队列的初始位置之后的位置依次存储所述多条采集事件；若否，则从所述预设队列的初始位置开始依次存储所述多条采集事件。
7.根据权利要求2所述的方法，其特征在于，所述将所述预设队列中未上报的一条采集事件上报给所述采集服务器，包括：
获取所述预设队列中起始位置存储的采集事件，并上报给所述采集服务器；
若确定本次上报过程上报的采集事件成功上报给所述采集服务器，则删除所述预设队列中起始位置存储的采集事件，并依次将所述预设队列中各位置存储的采集事件前移一个位置；其中，所述预设队列中位于所述起始位置之后的位置存储的采集事件移动至所述起始位置。
8.一种数据采集装置，其特征在于，所述装置包括：
处理模块，用于检测到用户触发预设操作后，在执行所述预设操作对应的任务时生成对应的多条采集事件；每条采集事件用于记录执行所述任务中的每个子任务的事件；
技术研发人员：谢雪彦，林挺，卢道和，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。