【技术实现步骤摘要】
本公开涉及计算机,尤其涉及大数据、信息流,具体涉及数据处理方法、装置、设备、介质以及计算机程序产品。
技术介绍
1、在商业广告系统中,数据流承担着链接用户、广告系统、广告主的角色,平台用户与广告交互产生的日志数据通过端打点、广告主回传等方式进入数据流,并经过流式系统统一计算标准化后分发至不同业务进行应用。
技术实现思路
1、本公开提供了一种数据处理方法、装置、设备、介质以及计算机程序产品。
2、根据本公开的一方面,提供了一种数据处理方法,包括:响应于流式计算请求,基于从广告系统的流式链路中采集的指标数据进行数据评估,得到数据评估结果;在数据评估结果表示广告系统的数据流中存在异常现象的情况下,对数据流进行校正处理,得到目标数据流;以及基于目标数据流进行流式计算。
3、根据本公开的另一方面,提供了一种数据处理装置,包括:
4、数据评估模块,用于响应于流式计算请求,基于从广告系统的流式链路中采集的指标数据进行数据评估,得到数据评估结果;
5、数据校
...【技术保护点】
1.一种数据处理方法,包括:
2.根据权利要求1所述的方法,其中,所述指标数据包括第一类指标数据和第二类指标数据,所述第一类指标数据为以事件触发时刻为基准进行对齐的数据,所述第二类指标数据为以事件执行时刻为基准进行对齐的数据;
3.根据权利要求2所述的方法,其中,所述基于所述第一类指标数据,得到完整性评估结果,包括:
4.根据权利要求2所述的方法,其中,所述基于所述第二类指标数据,得到正确性评估结果,包括:
5.根据权利要求2所述的方法,其中,所述流式链路包括多个作业,所述多个作业中相邻的两个所述作业之间通过消息中间件进
...
【技术特征摘要】
1.一种数据处理方法,包括:
2.根据权利要求1所述的方法,其中,所述指标数据包括第一类指标数据和第二类指标数据,所述第一类指标数据为以事件触发时刻为基准进行对齐的数据,所述第二类指标数据为以事件执行时刻为基准进行对齐的数据;
3.根据权利要求2所述的方法,其中,所述基于所述第一类指标数据,得到完整性评估结果,包括:
4.根据权利要求2所述的方法,其中,所述基于所述第二类指标数据,得到正确性评估结果,包括:
5.根据权利要求2所述的方法,其中,所述流式链路包括多个作业,所述多个作业中相邻的两个所述作业之间通过消息中间件进行交互;
6.根据权利要求5所述的方法,其中,所述对所述流式链路包括的多个所述消息中间件中各自记录的作业数据流进行数据采集,以分别得到所述第一类指标数据和所述第二类指标数据,包括:
7.根据权利要求6所述的方法,其中,所述以事件触发时刻为时间基准,分别对多个所述消息中间件中各自记录的作业数据流进行数据采集,得到所述第一类指标数据,包括:
...【专利技术属性】
技术研发人员:陈妍佳,宋云蛟,张师哲,回子帆,
申请(专利权)人:百度国际科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。