数据探查方法、装置及设备制造方法及图纸

本申请公开了一种数据探查方法、装置及设备。该方法包括：响应于目标探查请求，对所述目标探查请求进行解析，以获取所述目标探查请求对应的数据探查参数，所述数据探查参数包括用于指示所述目标数据探查请求对应的目标数据源的参数；基于数据探查参数名称与数据探查参数值之间的对应关系，将所述目标探查请求对应的数据探查参数填充到预设的数据探查任务模板中，以建立所述目标数据探查请求对应的目标数据探查任务；以及依据所述数据探查参数中用于指示所述目标数据源的参数，将所述目标数据探查任务与所述目标数据源进行关联；执行所述目标数据探查任务，以对所述目标数据源进行数据探查，获取所述目标数据探查任务对应的数据探查结果。探查结果。探查结果。

【技术实现步骤摘要】
数据探查方法、装置及设备


[0001]本申请涉及大数据分析
，尤其涉及一种数据探查方法、装置及设备。

技术介绍

[0002]目前，针对数据源多样化的场景进行数据探查通常只能针对每类数据源使用其固定的SQL语法来进行数据探查，这在开发和扩展过程中编写不灵活，维护成本也较高。同时，面对不同应用场景中的数据探查需求规则时，每次需求规则的变更都需要修改对应的SQL代码以适配对应的场景需求，修改成本较高，无法应对多样化的客户需求。

技术实现思路

[0003]本申请实施例提供一种数据探查方法、装置及设备，以解决现有技术中每次数据探查需求变更都需要修改对应的SQL代码，导致修改成本较高的问题。
[0004]本申请实施例采用下述技术方案：
[0005]一种数据探查方法，包括：
[0006]响应于目标探查请求，对所述目标探查请求进行解析，以获取所述目标探查请求对应的数据探查参数，所述数据探查参数包括用于指示所述目标数据探查请求对应的目标数据源的参数；
[0007]基于数据探查参数名称与数据探查参数值之间的对应关系，将所述目标探查请求对应的数据探查参数填充到预设的数据探查任务模板中，以建立所述目标数据探查请求对应的目标数据探查任务；以及依据所述数据探查参数中用于指示所述目标数据源的参数，将所述目标数据探查任务与所述目标数据源进行关联；
[0008]执行所述目标数据探查任务，以对所述目标数据源进行数据探查，获取所述目标数据探查任务对应的数据探查结果。
[0009]一种数据探查装置，包括：
[0010]请求解析模块，用于响应于目标探查请求，对所述目标探查请求进行解析，以获取所述目标探查请求对应的数据探查参数，所述数据探查参数包括用于指示所述目标数据探查请求对应的目标数据源的参数；
[0011]模板填充模块，用于基于数据探查参数名称与数据探查参数值之间的对应关系，将所述目标探查请求对应的数据探查参数填充到预设的数据探查任务模板中，以建立所述目标数据探查请求对应的目标数据探查任务；以及依据所述数据探查参数中用于指示所述目标数据源的参数，将所述目标数据探查任务与所述目标数据源进行关联；
[0012]任务执行模块，用于执行所述目标数据探查任务，以对所述目标数据源进行数据探查，获取所述目标数据探查任务对应的数据探查结果。
[0013]一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述所述的数据探查方法的步骤。
[0014]一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的数据探查方法的步骤。
[0015]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0016]本申请中，由于能够响应于目标探查请求，对目标探查请求进行解析，获取到目标探查请求对应的数据探查参数，该数据探查参数包括用于指示目标数据探查请求对应的目标数据源的参数，再基于数据探查参数名称与数据探查参数值之间的对应关系，将目标探查请求对应的数据探查参数填充到预设的数据探查任务模板中，建立起目标数据探查请求对应的目标数据探查任务，以及依据数据探查参数中用于指示目标数据源的参数，将目标数据探查任务与目标数据源进行关联，最后执行目标数据探查任务，以对目标数据源进行数据探查，获取目标数据探查任务对应的数据探查结果，这样无论探查需求怎样变化，都可利用数据探查参数名称与数据探查参数值之间的对应关系，对标准化的数据探查任务模板进行填充，建立对应的数据探查任务，并将所建立的数据探查任务与其所要探查的数据源相关联，避免了每次数据探查需求变更都需要修改对应的SQL代码，导致修改成本较高的问题。
附图说明
[0017]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0018]图1为本申请实施例提供的一种数据探查方法的具体实施流程示意图；
[0019]图2为本申请实施例提供的数据探查方法所应用的系统的结构示意图；
[0020]图3为本申请实施例提供的一种数据探查装置的结构示意图；
[0021]图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0022]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0023]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0024]为解决现有技术中每次数据探查需求变更都需要修改对应的SQL代码，导致修改成本较高的问题，本申请实施例提出一种数据探查方法，由于能够响应于目标探查请求，对目标探查请求进行解析，获取到目标探查请求对应的数据探查参数，该数据探查参数包括用于指示目标数据探查请求对应的目标数据源的参数，再基于数据探查参数名称与数据探查参数值之间的对应关系，将目标探查请求对应的数据探查参数填充到预设的数据探查任务模板中，建立起目标数据探查请求对应的目标数据探查任务，以及依据数据探查参数中用于指示目标数据源的参数，将目标数据探查任务与目标数据源进行关联，最后执行目标数据探查任务，以对目标数据源进行数据探查，获取目标数据探查任务对应的数据探查结果。
[0025]下面结合图1所示的数据探查方法的具体实施流程示意图，对该方法的实施过程
进行详细介绍，图1所示的方法可包括：
[0026]步骤110，响应于目标探查请求，对目标探查请求进行解析，以获取目标探查请求对应的数据探查参数，数据探查参数包括用于指示目标数据探查请求对应的目标数据源的参数。
[0027]步骤120，基于数据探查参数名称与数据探查参数值之间的对应关系，将目标探查请求对应的数据探查参数填充到预设的数据探查任务模板中，以建立目标数据探查请求对应的目标数据探查任务；以及依据数据探查参数中用于指示目标数据源的参数，将目标数据探查任务与目标数据源进行关联。
[0028]步骤130，执行目标数据探查任务，以对目标数据源进行数据探查，获取目标数据探查任务对应的数据探查结果。
[0029]图2为本申请实施例提供的数据探查方法所应用的系统的结构示意图。在图2中，该数据探查系统可包括接口请求层、模板解析层、数据探查层和结果展示层。其中，接口请求层可通过接口服务与前端界面进行交互，用于接收用户在前端界面发起的数据探查请求，并对用户的数据探查请求进行解析，以对用户想要进行的数据探查所需的参数进行集中整理；模板解析层可将接口请求层解析整理得到的数据探查所需的参数填充到预设的数据探查任务模板中，建立与用户的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据探查方法，其特征在于，包括：响应于目标探查请求，对所述目标探查请求进行解析，以获取所述目标探查请求对应的数据探查参数，所述数据探查参数包括用于指示所述目标数据探查请求对应的目标数据源的参数；基于数据探查参数名称与数据探查参数值之间的对应关系，将所述目标探查请求对应的数据探查参数填充到预设的数据探查任务模板中，以建立所述目标数据探查请求对应的目标数据探查任务；以及依据所述数据探查参数中用于指示所述目标数据源的参数，将所述目标数据探查任务与所述目标数据源进行关联；执行所述目标数据探查任务，以对所述目标数据源进行数据探查，获取所述目标数据探查任务对应的数据探查结果。2.如权利要求1所述的方法，其特征在于，基于数据探查参数名称与数据探查参数值之间的对应关系，将所述目标探查请求对应的数据探查参数填充到预设的数据探查任务模板中，以建立所述目标数据探查请求对应的目标数据探查任务，包括：基于所述目标探查请求对应的数据探查参数中数据探查参数名称与数据探查参数值的对应关系、以及系统配置中数据探查参数名称与数据探查参数值的对应关系，确定所述数据探查参数名称与数据探查参数值之间的对应关系；从所述数据探查参数名称与数据探查参数值之间的对应关系中，获取与所述预设的数据探查任务模板中待填充的数据探查参数名称相对应的数据探查参数值；将与所述预设的数据探查任务模板中待填充的数据探查参数名称相对应的数据探查参数值，填充至所述预设的数据探查任务模板中，以建立所述目标数据探查请求对应的目标数据探查任务。3.如权利要求2所述的方法，其特征在于，将与所述预设的数据探查任务模板中待填充的数据探查参数名称相对应的数据探查参数值，填充至所述预设的数据探查任务模板中，以建立所述目标数据探查请求对应的目标数据探查任务，包括：将与所述预设的数据探查任务模板中待填充的数据探查参数名称相对应的数据探查参数值，填充至所述预设的数据探查任务模板中；通过Spark SQL语言基于所述填充后的数据探查任务模板以及所述目标数据探查请求对应的表格数量，生成所述目标数据探查任务，所述目标数据探查任务中包含有与所述目标数据探查请求对应的表格数量相对应的多条Spark SQL数据探查语句。4.如权利要求1或3所述的方法，其特征在于，执行所述目标数据探查任务，以对所述目标数据源进行数据探查，获取所述目标数据探查任务对应的数据探查结果，包括：在所述目标数据探查任务中包含的多条Spark SQL数据探查语句时，调用数据探查引擎中的线程池中的多个线程，并行执行所述目标数据探查任务中包含的多条Spark SQL数据探...

【专利技术属性】
技术研发人员：刘译璟，常明，姜楠，赵群，
申请(专利权)人：北京百分点科技集团股份有限公司，
类型：发明
国别省市：