一种数据筛选方法、系统、电子设备及存储介质技术方案

本申请提供一种数据筛选方法、系统、电子设备及存储介质，实时判断是否检测到数据筛选请求；当检测到数据筛选请求时，获取与数据筛选请求匹配的目标任务模板；根据目标任务模板和数据筛选请求，生成相应的目标任务，其中，目标任务至少包括目标数据表名称和目标任务模板编号；根据目标任务模板编号，从数据库中获取与目标任务匹配的目标sql语句；其中，目标sql语句包括目标数据筛选规则，数据库中包括多条sql语句，每条sql语句是基于用户输入的数据筛选规则生成；执行目标sql语句，从目标数据表名称对应的目标数据表中筛选出满足目标数据筛选规则的数据记录。本发明专利技术可以提高数据筛选效率和提高数据筛选准确率。选效率和提高数据筛选准确率。选效率和提高数据筛选准确率。

【技术实现步骤摘要】
一种数据筛选方法、系统、电子设备及存储介质


[0001]本专利技术涉及数据处理
，更具体地说，涉及一种数据筛选方法、系统、电子设备及存储介质。

技术介绍

[0002]随着业务拓展和信息维度的增加，各行各业的信息量也在不断增加，数据中的无效数据也在不断增加，故可以通过筛选出数据中的无效数据和存在数据缺陷的数据，以提高数据的数据质量。
[0003]在现有技术行中，通过人工审核的方式对数据进行逐个筛查，来筛选出数据中的无效数据和存在数据缺陷的数据。但是，当数据的数据量庞大时，采用人工审核的方式进行数据筛选，不仅数据筛选效率低，还容易出现漏选和错选的情况的，数据筛选准确率低。

技术实现思路

[0004]有鉴于此，本专利技术提供一种数据筛选方法、系统、电子设备及存储介质，以提高数据筛选效率和提高数据筛选准确率为目的。
[0005]本专利技术第一方面公开一种数据筛选方法，应用于数据筛选系统，所述方法包括：
[0006]实时判断是否检测到数据筛选请求；
[0007]当检测到数据筛选请求时，获取与所述数据筛选请求匹配的目标任务模板；
[0008]根据所述目标任务模板和所述数据筛选请求，生成相应的目标任务，其中，所述目标任务至少包括目标数据表名称和目标任务模板编号；
[0009]根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句；其中，所述目标sql语句包括目标数据筛选规则，所述数据库中包括多条sql语句，每条所述sql语句是基于用户输入的数据筛选规则生成；
[0010]执行所述目标sql语句，从所述目标数据表名称对应的目标数据表中筛选出满足所述目标数据筛选规则的数据记录。
[0011]可选的，所述方法还包括：
[0012]根据所述数据记录生成相应的数据记录清单，并将所述数据记录清单存储至所述数据库；
[0013]当接收到所述用户发送的数据记录清单查看请求时，从所述数据库中获取并展示所述数据记录清单。
[0014]可选的，所述根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句之前，所述方法还包括：
[0015]将所述目标任务加入消息队列；
[0016]所述根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句，包括：
[0017]当检测到所述消息队列中存储目标任务时，所述根据所述目标任务模板编号，从
数据库中获取与所述目标任务匹配的目标sql语句。
[0018]可选的，所述方法还包括：
[0019]实时检测所述数据筛选系统的当前时间是否到达预设数据筛选时间；
[0020]当检测到所述数据筛选系统的当前时间到达所述预设数据筛选时间，发起数据筛选请求。
[0021]可选的，所述基于用户输入的数据筛选规则生成相应的sql语句，并将所述sql语句存储至所述数据库，包括：
[0022]当检测到用户输入的数据筛选规则时，根据所述数据筛选规则生成相应的sql语句；判断所述sql语句是否为合格的sql语句；
[0023]若所述sql语句为合格的sql语句，将所述sql语句与对应的任务模板的任务模板编号进行绑定；
[0024]将绑定所述任务模板编号后的所述sql语句，存储至所述数据库中。
[0025]本专利技术第二方面公开一种数据筛选系统，所述系统包括：数据筛选请求检测模块，用于实时判断是否检测到数据筛选请求；
[0026]目标任务模板获取模块，用于当检测到数据筛选请求时，获取与所述数据筛选请求匹配的目标任务模板；
[0027]目标任务生成模块，用于根据所述目标任务模板和所述数据筛选请求，生成相应的目标任务，其中，所述目标任务至少包括目标数据表名称和目标任务模板编号；
[0028]数据处理模块，用于根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句；执行所述目标sql语句，从所述目标数据表名称对应的目标数据表中筛选出满足所述目标数据筛选规则的数据记录；其中，所述目标sql语句包括目标数据筛选规则，所述数据库中包括多条sql语句，每条所述sql语句是规则处理模块基于用户输入的数据筛选规则生成。
[0029]可选的，所述系统还包括：
[0030]数据记录清单生成模块，用于根据所述数据记录生成相应的数据记录清单，并将所述数据记录清单存储至所述数据库；
[0031]展示模块，用于当接收到所述用户发送的数据记录清单查看请求时，从所述数据库中获取并展示所述数据记录清单。
[0032]可选的，所述系统还包括：
[0033]加入模块，用于将所述目标任务加入消息队列；
[0034]所述数据处理模块，还用于当检测到所述消息队列中存储目标任务时，所述根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句。
[0035]本专利技术第三方面公开一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如上述本专利技术第一方面公开的数据筛选方法。
[0036]本专利技术第四方面公开一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如上述本专利技术第一方面公开的数据筛选方法。
[0037]本专利技术提供一种数据筛选方法、系统、电子设备及存储介质，可以预先基于用户输
入的数据筛选规则生成相应的sql语句，进而可以通过实时判断是否检测到数据筛选请求；当检测到数据筛选请求时，获取与所述数据筛选请求匹配的目标任务模板；根据所述目标任务模板和所述任务生成请求，生成相应的目标任务，其中，所述目标任务至少包括目标数据表名称和目标任务模板编号；根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句；执行所述目标sql语句，从所述目标数据表名称对应的目标数据表中筛选出满足所述目标数据筛选规则的数据记录。本专利技术可以通过执行对应的sql语句完成数据筛选，不需要人工介入，从而数据筛选效率和提高数据筛选准确率。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0039]图1为本专利技术实施例提供的一种数据筛选装置的架构图；
[0040]图2为本专利技术实施例提供的一种数据筛选方法的流程示意图；
[0041]图3为本专利技术实施例提供的一种数据筛选系统的结构示意图；
[0042]图4为本专利技术实施例提供的一种电子设备的结构示意图。
具体实施方式
[0043]下面将结合本专利技术实施例中的附图，对本专利技术实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据筛选方法，其特征在于，应用于数据筛选系统，所述方法包括：实时判断是否检测到数据筛选请求；当检测到数据筛选请求时，获取与所述数据筛选请求匹配的目标任务模板；根据所述目标任务模板和所述数据筛选请求，生成相应的目标任务，其中，所述目标任务至少包括目标数据表名称和目标任务模板编号；根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句；其中，所述目标sql语句包括目标数据筛选规则，所述数据库中包括多条sql语句，每条所述sql语句是基于用户输入的数据筛选规则生成；执行所述目标sql语句，从所述目标数据表名称对应的目标数据表中筛选出满足所述目标数据筛选规则的数据记录。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述数据记录生成相应的数据记录清单，并将所述数据记录清单存储至所述数据库；当接收到所述用户发送的数据记录清单查看请求时，从所述数据库中获取并展示所述数据记录清单。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句之前，所述方法还包括：将所述目标任务加入消息队列；所述根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句，包括：当检测到所述消息队列中存储目标任务时，所述根据所述目标任务模板编号，从数据库中获取与所述目标任务匹配的目标sql语句。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：实时检测所述数据筛选系统的当前时间是否到达预设数据筛选时间；当检测到所述数据筛选系统的当前时间到达所述预设数据筛选时间，发起数据筛选请求。5.根据权利要求1所述的方法，其特征在于，所述基于用户输入的数据筛选规则生成相应的sql语句，并将所述sql语句存储至所述数据库，包括：当检测到用户输入的数据筛选规则时，根据所述数据筛选规则生成相应的sql语句；判断所述sql语句是否为合格的sql语句；若所述sql语句为合格的sql语句，将所述sql语句与对应的任务模板的任务模板编号进行...

【专利技术属性】
技术研发人员：唐嘉瑞，刘超文，戴丽玛，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：