【技术实现步骤摘要】
本申请涉及大数据，尤其涉及一种数据质量检测方法、装置、设备及存储介质。
技术介绍
1、随着信息技术的发展和互联网的普及，我们已经进入了一个数据爆炸的时代，每时每刻都会产生大量的数据。为了能够更好地利用这些数据并从中获取价值，大数据应运而生。大数据可以被定义为数据量巨大、来源多样、结构复杂、需要高效处理、分析和管理的数据。为了能够在大数据中获取高质量的价值，因此大数据的数据质量尤为重要。
2、现有技术中，对于数据表的质量检测通常是通过用户设定定时检测任务进行定时质量检测。
3、然而，对于数据量大并且更新较慢的数据表，根据用户设定的时间定时检测，可能会出现数据表未更新，而重复检测的情况，进而浪费了大量的资源，降低了数据表的质量检测效率。
技术实现思路
1、本申请提供一种数据质量检测方法、装置、设备及存储介质，用以解决如何提高数据质量检测效率的问题。
2、第一方面，本申请提供一种数据质量检测方法，包括：
3、响应于触发指令，根据待检测数据表的标识，在预先设定的元数据模块中获取所述待检测数据表的更新时间，并在预先设定的数据质量模块中获取所述待检测数据表上一次质量检测的检测时间，所述触发指令用于指示对所述待检测数据表进行质量检测，所述元数据模块中包括至少一个数据表，每个数据表的标识、更新时间、，所述数据质量模块中包括所述至少一个数据表的检测未执行次数、每次质量检测的检测时间和检测结果；
4、根据所述触发指令、所述更新时间和所述检测时
5、若确定在所述检测时间之后所述待检测数据表不存在更新，则在所述数据质量模块中对所述待检测数据表累计一次检测未执行，并生成第一提示信息，所述第一提示信息用于提示用户所述待检测数据表未更新；
6、将所述第一提示信息发送至所述用户。
7、结合第一方面，在一些实施例中，所述方法还包括：
8、若确定在所述检测时间之后所述待检测数据表存在更新，则根据所述触发指令、所述待检测数据表的标识和预先设定的数据标准，对所述待检测数据表进行质量检测，得到新的检测时间和检测结果；
9、将所述新的检测时间和所述检测结果存储在所述数据质量模块，并将所述检测结果发送至所述用户。
10、结合第一方面，在一些实施例中，在响应于触发指令，根据待检测数据表的标识，在预先设定的元数据模块中获取所述待检测数据表的更新时间，并在预先设定的数据质量模块中获取所述待检测数据表上一次质量检测的检测时间之前，所述方法还包括：
11、接收所述用户发送的质量检测请求，所述质量检测请求中包括所述待检测数据表的标识。
12、结合第一方面，在一些实施例中，所述质量检测请求中还包括定时检测任务的检测指令和检测间隔时间，则所述方法还包括：
13、根据所述待检测数据表的标识和所述元数据模块，对所述待检测数据表的检测时长进行预测计算，得到所述待检测数据表对应的目标检测时长；
14、根据所述目标检测时长，确定所述检测间隔时长是否大于或等于所述目标检测时长；
15、确定所述检测间隔时长小于所述目标检测时长，则生成第二提示信息，并向所述用户发送所述第二提示信息，所述第二提示信息中包括所述目标检测时长，所述第二提示信息用于提示所述用户对所述检测间隔时长进行修改。
16、结合第一方面，在一些实施例中，所述检测请求中还包括所述定时检测任务的执行次数，则所述方法还包括：
17、确定所述检测间隔时长大于或等于所述目标检测时长，则在所述数据质量模块中获取所述待检测数据表的检测未执行次数，并根据预先设定的次数阈值，确定所述检测未执行次数是否达到了所述次数阈值；
18、若确定所述检测未执行次数达到了所述次数阈值，则生成第三提示信息，并将所述第三提示信息发送至所述用户，所述第三提示信息用于提示所述用户对所述执行次数进行修改。
19、结合第一方面，在一些实施例中，所述方法还包括：
20、若确定所述检测未执行次数未达到所述次数阈值，则生成所述触发指令。
21、结合第一方面，在一些实施例中，所述数据质量模块中还包括每个数据表的数据类型和每种类型对应的单位时间内可以处理的数据量，则所述根据所述待检测数据表的标识和所述元数据模块，对所述待检测数据表的检测时长进行预测计算，得到所述待检测数据表对应的目标检测时长，包括：
22、根据所述待检测数据表的标识和所述元数据模块，确定出所述待检测数据表的数据类型和数据量；
23、根据所述数据类型、所述数据量和所述数据类型对应的单位时间内可以处理的数据量，计算得到所述目标检测时长。
24、第二方面，本申请提供一种数据质量检测装置，包括：
25、第一获取模块，用于响应于触发指令，根据待检测数据表的标识，在预先设定的元数据模块中获取所述待检测数据表的更新时间，并在预先设定的数据质量模块中获取所述待检测数据表上一次质量检测的检测时间，所述触发指令用于指示对所述待检测数据表进行质量检测，所述元数据模块中包括至少一个数据表，每个数据表的标识、更新时间，所述数据质量模块中包括所述至少一个数据表的检测未执行次数、每次质量检测的检测时间和检测结果；
26、第一确定模块，用于根据所述触发指令、所述更新时间和所述检测时间，确定在所述检测时间之后所述待检测数据表是否存在更新；
27、第一生成模块，用于若确定在所述检测时间之后所述待检测数据表不存在更新，则在所述数据质量模块中对所述待检测数据表累计一次检测未执行，并生成第一提示信息，所述第一提示信息用于提示用户所述待检测数据表未更新；
28、第一发送模块，用于将所述第一提示信息发送至所述用户。
29、结合第二方面，在一些实施例中，所述装置还包括：
30、检测模块，用于若确定在所述检测时间之后所述待检测数据表存在更新，则根据所述触发指令、所述待检测数据表的标识和预先设定的数据标准，对所述待检测数据表进行质量检测，得到新的检测时间和检测结果；
31、第二发送模块，用于将所述新的检测时间和所述检测结果存储在所述数据质量模块，并将所述检测结果发送至所述用户。
32、结合第二方面，在一些实施例中，所述方法还包括：
33、接收模块，用于接收所述用户发送的质量检测请求，所述质量检测请求中包括所述待检测数据表的标识。
34、结合第二方面，在一些实施例中，所述质量检测请求中还包括定时检测任务的检测指令和检测间隔时间，则所述装置还包括：
35、计算模块，用于根据所述待检测数据表的标识和所述元数据模块，对所述待检测数据表的检测时长进行预测计算，得到所述待检测数据表对应的目标检测时长；
36、第二确定模块，用于根据所述目标检测时长，确定所述检测间隔时长是否大于或等本文档来自技高网...
【技术保护点】
1.一种数据质量检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，在响应于触发指令，根据待检测数据表的标识，在预先设定的元数据模块中获取所述待检测数据表的更新时间，并在预先设定的数据质量模块中获取所述待检测数据表上一次质量检测的检测时间之前，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述质量检测请求中还包括定时检测任务的检测指令和检测间隔时间，则所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述检测请求中还包括所述定时检测任务的执行次数，则所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
7.根据权利要求4至6任一项所述的方法，其特征在于，所述数据质量模块中还包括每个数据表的数据类型和每种类型对应的单位时间内可以处理的数据量，则所述根据所述待检测数据表的标识和所述元数据模块，对所述待检测数据表的检测时长进行预测计算，得到所述待检测数据表对应的目标检测时长，包括：
...【技术特征摘要】
1.一种数据质量检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，在响应于触发指令，根据待检测数据表的标识，在预先设定的元数据模块中获取所述待检测数据表的更新时间，并在预先设定的数据质量模块中获取所述待检测数据表上一次质量检测的检测时间之前，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述质量检测请求中还包括定时检测任务的检测指令和检测间隔时间，则所述方法还包括：
5.根据权利要求4所述的方法，其特征在于，所述检测请求中还包括所述定时检测任务的执行次数，则所述方法还包括：
6.根据权利要求5所述的方法，...
【专利技术属性】
技术研发人员：胡迁，
申请(专利权)人：浙江极氪智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。