多数据流的数据拼接触发方法、装置、电子设备和介质制造方法及图纸

本申请公开了一种多数据流的数据拼接触发方法、装置、电子设备和介质，涉及大数据处理技术领域。具体实现方案为：接收多个数据流的数据，其中多个数据流包括一个主数据流和至少一个从数据流；对于主数据流，基于主数据流的主数据中携带的主事件时间，确定主数据流对应的主低水位值；对于各从数据流，基于从数据流的从数据中携带的从事件时间，确定从数据流对应的从低水位值；根据主低水位值和从低水位值，触发执行对当前时间窗口内的主数据和从数据进行拼接的操作。由于低水位值反映数据流的数据到达进度，因此基于各数据流分别对应的低水位值，触发执行数据拼接操作，无需设置一个较大时间窗口，可有效减少资源开销，提升数据拼接的时效性。拼接的时效性。拼接的时效性。

【技术实现步骤摘要】
多数据流的数据拼接触发方法、装置、电子设备和介质


[0001]本申请实施例涉及互联网
，尤其涉及大数据处理
，具体涉及了一种多数据流的数据拼接触发方法、装置、电子设备和介质。

技术介绍

[0002]Low Watermark(低水位)相关技术近年来被大量应用于流式计算领域，采用Low Watermark(低水位)技术可以确定对流式数据进行统计计算的触发时间点，以保证在需要的数据全部到达时再进行统计计算。
[0003]目前针对多数据流，且需要对多个数据流进行数据拼接的情况，通常将多数据流作为一个数据流来看待，基于各数据流的数据所携带的事件时间(Event Time)，确定一个统一的Low Watermark值(低水位值)，然后在该统一的Low Watermark值(低水位值)到达时间窗口的结束时间时，触发执行数据拼接操作。
[0004]然而，上述这种触发多数据流的数据进行数据拼接的方法仍存在一定不足：在多数据流的数据的事件时间差异较大时，为了保证拼接成功率及精度，需要选择一个相对较大的时间窗口。然而，较大的时间窗口需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多数据流的数据拼接触发方法，其特征在于，包括：接收多个数据流的数据，其中，所述多个数据流包括一个主数据流和至少一个从数据流；对于所述主数据流，基于所述主数据流的主数据中携带的主事件时间，确定所述主数据流对应的主低水位值；对于各所述从数据流，基于所述从数据流的从数据中携带的从事件时间，确定所述从数据流对应的从低水位值；根据所述主低水位值和所述从低水位值，触发执行对当前时间窗口内的主数据和从数据进行拼接的操作。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对于所述主数据流，基于所述主数据流的主数据中携带的主事件时间，确定所述主数据是否落入当前时间窗口；对于各所述从数据流，基于所述从数据流的从数据中携带的主事件时间，确定所述从数据是否落入当前时间窗口。3.根据权利要求1所述的方法，其特征在于，根据所述主低水位值和所述从低水位值，触发执行对当前时间窗口内的主数据和从数据进行拼接的操作，包括：判断所述主低水位值和所述从低水位值是否满足预设条件集合中的任一预设条件；若是，则触发执行对当前时间窗口内的主数据和从数据进行拼接的操作。4.根据权利要求3所述的方法，其特征在于，各所述预设条件包括：所述主低水位值达到第一预设值，所述从低水位值达到第二预设值。5.根据权利要求4所述的方法，其特征在于，各所述预设条件中的第一预设值相同，各所述预设条件中的第二预设值不同。6.根据权利要求1-5中任一项所述的方法，其特征在于，所述主数据流为推广信息的展现日志数据流，所述从数据流为推广信息的转化日志数据流。7.一种多数据流的数据拼接触发装置，其特征在于，包括：接收模块，用于接收多个数据流的数据，其中，所述多个数据流包括一个主数据流和至少一个从数据流；第一确定模块，用于对于所述主数据流，基于所述主数据流的主数据中携带的主事件时间，确定所述主数据流对应的主低水位值；第二确...

【专利技术属性】
技术研发人员：程怡，张小虎，石然，谭伟良，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：