【技术实现步骤摘要】
数据实时处理方法、装置、介质和电子设备
本公开涉及数据处理领域，具体地，涉及一种数据实时处理方法、装置、介质和电子设备。
技术介绍
大数据处理领域中，一个典型的场景是做数仓建设以及指标计算，将异构数据源的数据导入到Hive中，实现数据处理和数据同步，以供下游对数据的使用。然而现有技术中，通常是是采用批处理的方式，在将数据全部写入Hive中后，统一生产Hive分区，难以实现数据实时处理。
技术实现思路
提供该
技术实现思路
部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该
技术实现思路
部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。第一方面，本公开提供一种数据实时处理方法，所述方法包括：确定多个数据处理任务对应的最小归档时间，其中，所述最小归档时间是基于所述多个数据处理任务已处理的数据的事件时间确定的；针对每一所述数据处理任务，根据所述最小归档时间，确定该数据处理任务接收到的待处理数据的目标存储位置，所述目...
【技术保护点】
1.一种数据实时处理方法，其特征在于，所述方法包括：/n确定多个数据处理任务对应的最小归档时间，其中，所述最小归档时间是基于所述多个数据处理任务已处理的数据的事件时间确定的；/n针对每一所述数据处理任务，根据所述最小归档时间，确定该数据处理任务接收到的待处理数据的目标存储位置，所述目标存储位置用于指示所述待处理数据对应的时段目录；/n将所述待处理数据存储至所述目标存储位置，并更新所述多个数据处理任务对应的最小归档时间；/n根据更新后的最小归档时间，生成Hive分区。/n
【技术特征摘要】
1.一种数据实时处理方法，其特征在于，所述方法包括：
确定多个数据处理任务对应的最小归档时间，其中，所述最小归档时间是基于所述多个数据处理任务已处理的数据的事件时间确定的；
针对每一所述数据处理任务，根据所述最小归档时间，确定该数据处理任务接收到的待处理数据的目标存储位置，所述目标存储位置用于指示所述待处理数据对应的时段目录；
将所述待处理数据存储至所述目标存储位置，并更新所述多个数据处理任务对应的最小归档时间；
根据更新后的最小归档时间，生成Hive分区。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定每一所述数据处理任务对应的数据源分区；
所述确定多个数据处理任务对应的最小归档时间，包括：
针对每一所述数据处理任务，根据该数据处理任务对应的数据源分区的归档时间，将所述数据源分区的归档时间中最早的归档时间确定为该数据处理任务的归档时间，其中，所述数据源分区的归档时间为所述数据源分区中已处理的数据对应的最晚的事件时间；
将所述多个数据处理任务的归档时间中最早的归档时间确定为所述多个数据处理任务对应的最小归档时间。
3.根据权利要求2所述的方法，其特征在于，所述根据所述最小归档时间，确定该数据处理任务接收到的待处理数据的目标存储位置，包括：
在确定所述待处理数据的事件时间满足归档条件的情况下，将所述事件时间对应的存储位置确定为所述目标存储位置；
在确定所述待处理数据的事件时间未满足所述归档条件的情况下，将所述待处理数据的处理时间对应的存储位置确定为所述目标存储位置；
其中，所述归档条件为所述待处理数据的事件时间晚于所述最小归档时间，并且所述事件时间晚于所述待处理数据对应的容错归档时间，所述容错归档时间是基于所述待处理数据所属的数据源分区的归档时间确定的。
4.根据权利要求1所述的方法，其特征在于，所述根据更新后的最小归档时间，生成Hive分区，包括：
在所述更新后的最小归档时间到达与所述更新后的最小归档时间对应的分区生成时间的情况下，根据已存储的数据生成所述Hive分区。
5.根据权利要求1-4中任一项所述的方法，其特征在于，每一目标存储位置对应的时段目录下包含多个子目录；
...
【专利技术属性】
技术研发人员：李畅，罗齐，郝科，田博修，王宇飞，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。