一种支撑跨平台实时数据采集的方法技术

本发明专利技术公开了一种支撑跨平台实时数据采集的方法，括以下步骤：A初始化跨平台数据拉取配置；B分布式定时任务调度，拉取实时数据，进行第一次简单数据组装发送；C数据二次清洗加工，整合所有待处理数据并发送最终数据落地存储；D将落地数据计算整理后，输出数据侧api，提供管理后台系统调用后展示给运营人员提供实时投放情况监控，以及支持投放决策；E每间隔规定时间重复一次上述工作，将数据的变动实时的体现到管理系统对应数据观测功能中。本发明专利技术解决跨平台拉取采集数据的问题，处理各个平台数据字段不一致的繁杂性；解决实时拉取数据等待时间过长的问题；解决因提前一天拉取导致的数据时效性较低，无法及时指导运营人员改进工作的问题。的问题。的问题。

【技术实现步骤摘要】
一种支撑跨平台实时数据采集的方法
[0001]

[0002]本专利技术涉及的是大数据采集
，具体涉及一种支撑跨平台实时数据采集的方法。

技术介绍

[0003]随着流量和大数据时代的到来，基于平台引流变现的应用也成为市场主流应用之一，投放比和客户转化类指标也成为了运营人员关注的重中之重。然而因为各个投放平台之间的差异，以及运营人员管理着非常多的不同的账号，运营人员常常会面临以下的问题：1、查看相关指标需要在不同的平台以及账户间来回切换，看了上一个账号的数据，再去看下一个账号的数据，一个平台一个平台的分别统计；2、统计平台数据后还得与自身系统数据进行对比计算之后才能得到一个结论，数据量较大，统计计算耗时好礼，不能快速的获取到一个直观的数据用来作为决策的依据。
[0004]3、各平台的实时数据也在实时的修复和变化，可能5分钟之前的统计的数据并不准确，导致投放和停放的决策其实是有误差的。
[0005]现有技术大多采用两种方式应对以上的问题：第一种方式：实时调用拉取各个平台的数据，通过接口的方式返回给运营人员；缺点：实时拉取受限于网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支撑跨平台实时数据采集的方法，其特征在于，包括以下步骤：(A)初始化跨平台数据拉取配置；(B)分布式定时任务调度，拉取实时数据，进行第一次简单数据组装发送；(C)数据二次清洗加工，整合所有待处理数据并发送最终数据落地存储；(D)将落地数据计算整理后，输出数据侧api，提供管理后台系统调用后展示给运营人员提供实时投放情况监控，以及支持投放决策；(E)每间隔规定时间重复一次上述工作，将数据的变动实时的体现到管理系统对应数据观测功能中。2.根据权利要求1所述的一种支撑跨平台实时数据采集的方法，其特征在于，所述的步骤(A)包括：(1) 在后台管理系统中配置相关投放平台的账号信息，远程调用信息；(2) 一次性拉取账号所属的层级，保存到本地数据库中，保证最终数据汇总后所属关系正常。3.根据权利要求1所述的一种支撑跨平台实时数据采集的方法，其特征在于，所述的步骤(B)包括；(1)使用分布式定时调度技术，部署多个调度器，将整个拉取数据的工作均分为多个调度任务，并行的...

【专利技术属性】
技术研发人员：马江龙，罗浩，
申请(专利权)人：成都优选仓科技有限公司，
类型：发明
国别省市：