数据准备就绪检测方法、装置、设备及存储介质制造方法及图纸

本申请提供一种数据准备就绪检测方法、装置、设备及存储介质，属于数据校验领域，该方法包括：获取待调用的目标数据，并获取所述目标数据所属的数据湖对应的元数据文件，所述元数据文件包括所述数据湖中的每个数据各自对应的元数据；从所述元数据文件中获取所述目标数据的元数据，并从所述目标数据的元数据中获取所述目标数据的准备进度信息；在确定所述准备进度信息满足预设进度条件的情况下，确定所述目标数据已准备就绪。本申请极大地提高了目标数据准备就绪判断的效率和准确性，进而极大地提高了数据调用的效率。本申请还涉及区块链技术，该元数据文件可存储至区块链中。

【技术实现步骤摘要】

本申请涉及数据校验，尤其涉及一种数据准备就绪检测方法、装置、设备及存储介质。

技术介绍

1、hudi是一个开源的数据湖工具，用于管理大规模数据湖中的数据，hudi在数据调用过程中包括上游部分和下游部分，下游部分应用会用到批流融合场景，特别是流转批场景下游调度通知尤为重要。目前开源技术没有提供直接的技术就绪查验方案，仅依赖业务添加标识数据就绪的时间戳字段，下游部分通过消耗字段启动spark或hive任务轮询查询该业务字段，进而判断数据就绪状态，这种数据就绪查验方式存在效率低、成本大、以及会导致下游部分任务运行不及时的缺陷。

2、因此，如何检测待调用的数据是否准备就绪是目前亟待解决的问题。

技术实现思路

1、本申请的主要目的在于提供一种数据准备就绪检测方法、装置、设备及存储介质，旨在提高检测数据准备就绪的准确性和效率。

2、第一方面，本申请提供一种数据准备就绪检测方法，所述数据准备就绪检测方法包括以下步骤：

3、获取待调用的目标数据，并获取所述目标数据所属的数据湖对应的元数据文本文档来自技高网...

【技术保护点】

1.一种数据准备就绪检测方法，其特征在于，包括：

2.如权利要求1所述的数据准备就绪检测方法，其特征在于，所述目标数据包括多个子任务；所述获取待调用的目标数据之前，还包括：

3.如权利要求2所述的数据准备就绪检测方法，其特征在于，所述对于所述数据湖中的每个写入数据，根据所述写入数据的每个子任务的执行时间，确定所述写入数据的第一更新时间，包括：

4.如权利要求1所述的数据准备就绪检测方法，其特征在于，所述准备进度信息包括第一更新时间和第二更新时间；所述在确定所述准备进度信息满足预设进度条件的情况下，确定所述目标数据已准备就绪，包括：</p>

5.如权...

【技术特征摘要】

1.一种数据准备就绪检测方法，其特征在于，包括：

2.如权利要求1所述的数据准备就绪检测方法，其特征在于，所述目标数据包括多个子任务；所述获取待调用的目标数据之前，还包括：

3.如权利要求2所述的数据准备就绪检测方法，其特征在于，所述对于所述数据湖中的每个写入数据，根据所述写入数据的每个子任务的执行时间，确定所述写入数据的第一更新时间，包括：

4.如权利要求1所述的数据准备就绪检测方法，其特征在于，所述准备进度信息包括第一更新时间和第二更新时间；所述在确定所述准备进度信息满足预设进度条件的情况下，确定所述目标数据已准备就绪，包括：

5.如权利要求1所述的数据准备就绪检测方法，其特征在于，所述准备进度信息包括第一更新时间和第二更新时间；所述在确定所述准备进度信息满足预设进度条件的情况下，确定所述目标数据已准备就绪，包括：

6.如权利要求5所述的数据准备就绪检测方法，其...

【专利技术属性】
技术研发人员：李小卓，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：