数据检测方法、装置及存储介质制造方法及图纸

本发明专利技术实施例提供了一种数据检测方法、装置及存储介质，电子设备通过获取待测数据库的数据表信息，其包含有该待测数据库存储的至少一个数据表，以及各数据表包含的字段信息，响应针对至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面后，用户可以进行选择，电子设备响应针对该规则配置界面的操作，得到包含目标数据检测表对应的不同字段信息的规则配置信息的目标数据检测规则后，利用结构化查询语言SQL，可以将目标数据检测规则自动转换为数据检测脚本，不需要用户手动编写复杂的数据检测脚本，降低了对用户能力要求，提高了脚本制定效率及准确性，以及数据检测方法的普适性。

Data detection method, device and storage medium

【技术实现步骤摘要】
数据检测方法、装置及存储介质
本专利技术涉及大数据分析领域，具体涉及一种数据检测方法、装置及存储介质。
技术介绍
在如今的大数据时代，为了提高数据处理效率，大部分业务应用都会先进行数据抽取操作，即从源数据系统抽取目标数据系统需要的数据，再根据业务需求对抽取到的数据进行处理。现有技术中，通常是针对目标业务对数据质量的检测要求，由技术人员采用结构化查询语言(StructuredQueryLanguage，SQL)编写相应的数据检测脚本，通过执行该数据检测脚本，得到针对目标业务的数据质量检测结果，如筛选出满足业务要求的数据、不满足业务要求的数据等等。可见，现有的这种数据检测方法中，需要技术人员熟练掌握SQL语言，才能够编写出合适的数据检测脚本，以满足该目标业务的数据检测需求，这对其应用范围具有很大局限性。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据检测方法、装置及存储介质，电子设备针对待测数据库的数据表信息，输出相应的规则配置界面，以使得用户能够直接选择输入各数据表的各字段信息的检测规则内容，进而利用结构化查询语言，将目标数据检测规则自动生成数据检测脚本，无需手动编码，且能够实现对不同类型的数据库的数据检测，满足不同业务的数据检测需求，提高了数据检测方法的普适性。为实现上述目的，本专利技术实施例提供如下技术方案：本专利技术实施例提供了一种数据检测方法，所述方法包括：获取待测数据库的数据表信息，所述数据表信息包括所述待测数据库存储的至少一个数据表，以及所述数据表包含的字段信息；响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面；响应于针对所述规则配置界面的操作，得到目标数据检测规则，所述目标数据检测规则包括所述目标数据表对应的不同字段信息的规则配置信息；利用结构化查询语言，将所述目标数据检测规则转换为目标数据检测脚本。在一些实施例中，所述响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面，包括：响应针对所述至少一个数据表的选择操作，得到目标数据表，并输出所述目标数据表对应的字段信息；响应于针对任一字段信息的配置请求，输出相应的字段规则配置界面。在一些实施例中，所述响应于针对所述规则配置界面的操作，得到目标数据检测规则，包括：响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，所述字段检测模板包含针对相应字段信息的至少一条规则描述信息；利用所述目标数据表对应的各字段信息的字段检测模板，生成针对所述待测数据库的目标数据检测规则。在一些实施例中，响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，包括：响应于针对所述字段规则配置界面的输入操作，以列表形式对得到的规则描述信息进行展示；响应于模板生成指令，对相应字段规则配置界面展示的所有规则描述信息进行整合处理，得到相应字段信息的字段检测模板。在一些实施例中，所述响应于针对所述规则配置界面的操作，得到目标数据检测规则，还包括：从已有的字段信息模板中，检测是否存在与任一所述字段信息相匹配的字段信息模板；若存在，读取与所述字段信息相匹配的字段信息模板；若存在不匹配的字段信息，所述响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，包括：响应于针对所述不匹配的字段信息对应的所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板。本专利技术还提供了一种数据检测方法，所述方法包括：响应电子设备发送的数据检测请求，获取存储的数据表信息，所述数据表信息包括：至少一个数据表以及所述数据表包含的字段信息；将所述数据表信息反馈至所述电子设备，由所述电子设备生成针对所述数据表信息的目标数据检测脚本，所述目标数据检测脚本是利用结构化查询语言，由目标数据检测规则转换得到的，所述目标数据检测规则包含所述目标数据表对应的不同字段信息的规则配置信息；调用并执行所述目标数据检测脚本，得到数据检测结果。在一些实施例中，所述调用并执行所述目标数据检测脚本，得到数据检测结果，包括：调用并执行所述目标数据检测脚本，检测是否存在与任一数据表的任一字段信息的规则配置信息相匹配的目标数据；对得到的所述至少一个数据表各自的数据检测结果进行统计，利用统计结果生成数据检测报表；将所述数据检测报表反馈至所述电子设备进行展示。本专利技术实施例还提供了一种数据检测装置，所述装置包括：数据表信息获取模块，用于获取待测数据库的数据表信息，所述数据表信息包括所述待测数据库存储的至少一个数据表，以及所述数据表包含的字段信息；规则配置界面输出模块，用于响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面；目标数据检测规则获取模块，用于响应于针对所述规则配置界面的操作，得到目标数据检测规则，所述目标数据检测规则包括所述目标数据表对应的不同字段信息的规则配置信息；数据检测脚本获取模块，用于利用结构化查询语言，将所述目标数据检测规则转换为数据检测脚本。本专利技术实施例还提供了一种数据检测装置，所述装置包括：数据检测请求响应模块，用于响应电子设备发送的数据检测请求，获取存储的数据表信息，所述数据表信息包括：至少一个数据表以及所述数据表包含的字段信息；数据表信息反馈模块，用于将所述数据表信息反馈至所述电子设备，由所述电子设备生成针对所述数据表信息的目标数据检测脚本，所述目标数据检测脚本是利用结构化查询语言，由目标数据检测规则转换得到的，所述目标数据检测规则包含所述目标数据表对应的不同字段信息的规则配置信息；数据检测模块，用于执行所述电子设备反馈的所述目标数据检测脚本，得到数据检测结果。本专利技术实施例还提供了一种存储介质，其上存储有程序，所述程序由处理器调用并执行，实现上所述的数据检测方法。基于上述技术方案，本专利技术实施例提出了一种数据检测方法、装置及存储介质，电子设备通过获取待测数据库的数据表信息，输出可视化的规则配置界面，供用户自主配置各字段的检测规则，之后，利用SQL语言，将得到的数据检测规则自动转换为数据检测脚本，不需要用户手动编写复杂的数据检测脚本，大大提高了脚本制定效率及准确性，也不需要用户具备SQL脚本编写技能，提高了数据检测方法的普适性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1示出了实现本申请提出的数据检测方法的系统结构示意图；图2示出了适用于本申请提出的数据检测方法的一种电子设备的硬件结构示意图；图3示出了本申请提出的数据检测方本文档来自技高网...

【技术保护点】
1.一种数据检测方法，其特征在于，所述方法包括：/n获取待测数据库的数据表信息，所述数据表信息包括所述待测数据库存储的至少一个数据表，以及所述数据表包含的字段信息；/n响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面；/n响应于针对所述规则配置界面的操作，得到目标数据检测规则，所述目标数据检测规则包括所述目标数据表对应的不同字段信息的规则配置信息；/n利用结构化查询语言，将所述目标数据检测规则转换为目标数据检测脚本。/n

【技术特征摘要】
1.一种数据检测方法，其特征在于，所述方法包括：
获取待测数据库的数据表信息，所述数据表信息包括所述待测数据库存储的至少一个数据表，以及所述数据表包含的字段信息；
响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面；
响应于针对所述规则配置界面的操作，得到目标数据检测规则，所述目标数据检测规则包括所述目标数据表对应的不同字段信息的规则配置信息；
利用结构化查询语言，将所述目标数据检测规则转换为目标数据检测脚本。


2.根据权利要求1所述的方法，其特征在于，所述响应针对所述至少一个数据表的选择操作，输出针对所选择的目标数据表的规则配置界面，包括：
响应针对所述至少一个数据表的选择操作，得到目标数据表，并输出所述目标数据表对应的字段信息；
响应于针对任一字段信息的配置请求，输出相应的字段规则配置界面。


3.根据权利要求2所述的方法，其特征在于，所述响应于针对所述规则配置界面的操作，得到目标数据检测规则，包括：
响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，所述字段检测模板包含针对相应字段信息的至少一条规则描述信息；
利用所述目标数据表对应的各字段信息的字段检测模板，生成针对所述待测数据库的目标数据检测规则。


4.根据权利要求3所述的方法，其特征在于，响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，包括：
响应于针对所述字段规则配置界面的输入操作，以列表形式对得到的规则描述信息进行展示；
响应于模板生成指令，对相应字段规则配置界面展示的所有规则描述信息进行整合处理，得到相应字段信息的字段检测模板。


5.根据权利要求3或4所述的方法，其特征在于，所述响应于针对所述规则配置界面的操作，得到目标数据检测规则，还包括：
从已有的字段信息模板中，检测是否存在与任一所述字段信息相匹配的字段信息模板；
若存在，读取与所述字段信息相匹配的字段信息模板；
若存在不匹配的字段信息，所述响应于针对所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板，包括：
响应于针对所述不匹配的字段信息对应的所述字段规则配置界面的输入操作，生成相应字段信息的字段检测模板。


6.一种数据检测方法，其特征在于，所述方法包括：
响应电子设备发送的数据检测请求...

【专利技术属性】
技术研发人员：司徒健聪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44