一种数据加载状态的查询方法、系统、设备及存储介质技术方案

本申请公开了一种数据加载状态的查询方法、系统、设备及存储介质，可应用于金融领域或大数据领域。其中，方法包括：在第一轮询时刻，基于数据到齐时刻和第一历史查询记录，对预设信号量加载表进行数据筛选操作，获得多个新增数据各自对应的索引数据组，基于各索引数据组生成各索引数据组各自对应的索引标识和状态反馈标识，并将各新增数据各自对应的索引标识和状态反馈标识存储至预设数据库的缓存中，在接收到数据加载状态查询请求时，判断预设数据库的缓存中是否存在与数据加载状态查询请求中的查询数据对应的索引标识，若是，则基于与索引标识对应的状态反馈标识生成反馈文本并进行展示。本申请提高了对数据加载状态的查询效率。效率。效率。

【技术实现步骤摘要】
一种数据加载状态的查询方法、系统、设备及存储介质


[0001]本专利技术涉及大数据
，特别是涉及一种数据加载状态的查询方法、系统、设备及存储介质。

技术介绍

[0002]银行的上游系统每天会下发大量的业务文件给数据湖(Data Lake)，数据湖会将业务文件数据加载至相应的数据湖表中以供下游用户使用。
[0003]但是，由于数据湖表未记录有明显的信号加载状态标记，使得下游用户只能通过查询数据湖加载日志的方式人工判断数据湖表中的数据是否加载完毕。又由于数据湖加载日志表中记录有全量的数据，这就使得由调用和查询加载日志表带来的大量读写操作会大量占用数据湖的运行内存，从而导致用户对数据加载状态的查询效率降低。

技术实现思路

[0004]本专利技术实施例的目的在于提供一种数据加载状态的查询方法、系统、设备及存储介质，以实现提高对数据加载状态的查询效率。具体技术方案如下：
[0005]一种数据加载状态的查询方法，所述方法包括：
[0006]在第一轮询时刻，基于数据到齐时刻和第一历史查询记录，对预设信号量加载表进行数据筛选操作，获得多个新增数据各自对应的索引数据组，基于各所述索引数据组生成各所述索引数据组各自对应的索引标识和状态反馈标识，并将各所述新增数据各自对应的所述索引标识和所述状态反馈标识存储至预设数据库的缓存中，其中，所述索引数据组包括：数据湖中存储有所述新增数据的数据库名、数据表名、所述新增数据的所述数据到齐时刻和所述新增数据的第二信号量，所述第二信号量是表征所述新增数据完成加载的标识，所述新增数据是所述数据到齐时刻晚于所述第一历史查询记录中各数据的所述数据到齐时刻的数据，所述第一轮询时刻与所述第一历史查询记录具有对应关系；
[0007]在接收到数据加载状态查询请求时，判断所述预设数据库的缓存中是否存在与所述数据加载状态查询请求中的查询数据对应的所述索引标识，若是，则基于与所述索引标识对应的所述状态反馈标识生成反馈文本并进行展示。
[0008]可选的，所述方法还包括：
[0009]在所述预设数据库的缓存中不存在与所述数据加载状态查询请求中的查询数据对应的所述索引标识的情况下，判断所述预设信号量加载表中是否存在与所述查询数据对应的索引数据组，若是，则基于与所述查询数据对应的索引数据组中的所述第二信号量生成所述反馈文本并进行展示。
[0010]可选的，所述方法还包括：
[0011]在构建所述预设信号量加载表时，将数据湖到齐表中信号量类型为第一信号量的多个数据确定为所述新增数据，并将各所述新增数据及其各自对应的所述第一信号量添加至预设信号量到齐表中，以触发对各所述新增数据的加载操作；
[0012]在对各所述新增数据的所述加载操作执行完毕后，将所述预设信号量到齐表中各所述新增数据的所述第一信号量修改为第二信号量，并将各所述新增数据各自对应的所述索引数据组和所述第二信号量分别添加至所述预设信号量加载表中，完成对所述预设信号量加载表的构建。
[0013]可选的，所述基于各所述索引数据组生成各所述索引数据组各自对应的索引标识和状态反馈标识，包括：
[0014]对各所述索引数据组：
[0015]对该索引数据组中的所述数据库名、所述数据表名和所述数据到齐时刻进行字段拼接，并将经所述字段拼接获得的索引键值确定为所述索引标识；
[0016]根据该索引数据组中的所述第二信号量，将与所述索引键值对应的数据结构类型设置为预设类型，并将所述数据结构类型的值确定为所述状态反馈标识。
[0017]可选的，所述方法还包括：
[0018]在第二轮询时刻前，基于各所述新增数据各自对应的索引数据组对所述第一历史查询记录进行更新，获得第二历史查询记录，以使在所述第二轮询时刻，基于所述数据到齐时刻和所述第二历史查询记录，执行对所述预设信号量加载表进行的所述数据筛选操作，所述第二轮询时刻晚于所述第一轮询时刻，所述第二轮询时刻与所述第二历史查询记录具有对应关系。
[0019]一种数据加载状态的查询系统，所述系统包括：
[0020]数据缓存单元，用于在第一轮询时刻，基于数据到齐时刻和第一历史查询记录，对预设信号量加载表进行数据筛选操作，获得多个新增数据各自对应的索引数据组，基于各所述索引数据组生成各所述索引数据组各自对应的索引标识和状态反馈标识，并将各所述新增数据各自对应的所述索引标识和所述状态反馈标识存储至预设数据库的缓存中，其中，所述索引数据组包括：数据湖中存储有所述新增数据的数据库名、数据表名、所述新增数据的所述数据到齐时刻和所述新增数据的第二信号量，所述第二信号量是表征所述新增数据完成加载的标识，所述新增数据是所述数据到齐时刻晚于所述第一历史查询记录中各数据的所述数据到齐时刻的数据，所述第一轮询时刻与所述第一历史查询记录具有对应关系；
[0021]数据查询单元，用于在接收到数据加载状态查询请求时，判断所述预设数据库的缓存中是否存在与所述数据加载状态查询请求中的查询数据对应的所述索引标识，若是，则基于与所述索引标识对应的所述状态反馈标识生成反馈文本并进行展示。
[0022]可选的，所述数据查询单元还被设置为：
[0023]在所述预设数据库的缓存中不存在与所述数据加载状态查询请求中的查询数据对应的所述索引标识的情况下，判断所述预设信号量加载表中是否存在与所述查询数据对应的索引数据组，若是，则基于与所述查询数据对应的索引数据组中的所述第二信号量生成所述反馈文本并进行展示。
[0024]可选的，所述系统还包括：
[0025]数据表构建单元，用于在构建所述预设信号量加载表时，将数据湖到齐表中信号量类型为第一信号量的多个数据确定为所述新增数据，并将各所述新增数据及其各自对应的所述第一信号量添加至预设信号量到齐表中，以触发对各所述新增数据的加载操作；
[0026]在对各所述新增数据的所述加载操作执行完毕后，将所述预设信号量到齐表中各所述新增数据的所述第一信号量修改为第二信号量，并将各所述新增数据各自对应的所述索引数据组所述第二信号量分别添加至所述预设信号量加载表中，完成对所述预设信号量加载表的构建。
[0027]可选的，所述数据缓存单元在基于各所述索引数据组生成各所述索引数据组各自对应的索引标识和状态反馈标识时被设置为：
[0028]对各所述索引数据组：
[0029]对该索引数据组中的所述数据库名、所述数据表名和所述数据到齐时刻进行字段拼接，并将经所述字段拼接获得的索引键值确定为所述索引标识；
[0030]根据该索引数据组中的所述第二信号量，将与所述索引键值对应的数据结构类型设置为预设类型，并将所述数据结构类型的值确定为所述状态反馈标识。
[0031]可选的，所述数据缓存单元还被设置为：
[0032]在第二轮询时刻前，基于各所述新增数据各自对应的索引数据组对所述第一历史查询记录进行更新，获得第二历史查询记录，以使在所述第二轮询时刻，基于所述数据到齐时刻和所述第二历史查本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据加载状态的查询方法，其特征在于，所述方法包括：在第一轮询时刻，基于数据到齐时刻和第一历史查询记录，对预设信号量加载表进行数据筛选操作，获得多个新增数据各自对应的索引数据组，基于各所述索引数据组生成各所述索引数据组各自对应的索引标识和状态反馈标识，并将各所述新增数据各自对应的所述索引标识和所述状态反馈标识存储至预设数据库的缓存中，其中，所述索引数据组包括：数据湖中存储有所述新增数据的数据库名、数据表名、所述新增数据的所述数据到齐时刻和所述新增数据的第二信号量，所述第二信号量是表征所述新增数据完成加载的标识，所述新增数据是所述数据到齐时刻晚于所述第一历史查询记录中各数据的所述数据到齐时刻的数据，所述第一轮询时刻与所述第一历史查询记录具有对应关系；在接收到数据加载状态查询请求时，判断所述预设数据库的缓存中是否存在与所述数据加载状态查询请求中的查询数据对应的所述索引标识，若是，则基于与所述索引标识对应的所述状态反馈标识生成反馈文本并进行展示。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述预设数据库的缓存中不存在与所述数据加载状态查询请求中的查询数据对应的所述索引标识的情况下，判断所述预设信号量加载表中是否存在与所述查询数据对应的索引数据组，若是，则基于与所述查询数据对应的索引数据组中的所述第二信号量生成所述反馈文本并进行展示。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在构建所述预设信号量加载表时，将数据湖到齐表中信号量类型为第一信号量的多个数据确定为所述新增数据，并将各所述新增数据及其各自对应的所述第一信号量添加至预设信号量到齐表中，以触发对各所述新增数据的加载操作；在对各所述新增数据的所述加载操作执行完毕后，将所述预设信号量到齐表中各所述新增数据的所述第一信号量修改为第二信号量，并将各所述新增数据各自对应的所述索引数据组和所述第二信号量分别添加至所述预设信号量加载表中，完成对所述预设信号量加载表的构建。4.根据权利要求1所述的方法，其特征在于，所述基于各所述索引数据组生成各所述索引数据组各自对应的索引标识和状态反馈标识，包括：对各所述索引数据组：对该索引数据组中的所述数据库名、所述数据表名和所述数据到齐时刻进行字段拼接，并将经所述字段拼接获得的索引键值确定为所述索引标识；根据该索引数据组中的所述第二信号量，将与所述索引键值对应的数据结构类型设置为预设类型，并将所述数据结构类型的值确定为所述状态反馈标识。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：在第二轮询时刻前，基于各所述新增数据各自对应的索引数据组对所述第一历史查询记录进行更新，获得第二历史查询记录，以使在所述第二轮询时刻，基于所述数据到齐时刻和所述第二历史查询...

【专利技术属性】
技术研发人员：操庐宁，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：