一种数据处理方法、装置、电子设备和存储介质制造方法及图纸

本申请提供了一种数据处理方法、装置、电子设备和存储介质，所述方法包括：获取到用户操作页面生成的数据输出请求时，获取与所述数据输出请求相关的链接信息；通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求，并通过所述查询请求到所述链接信息对应的数据源进行数据查询；将查询到的数据解析并输出。该方法能够提高数据处理效率。

A data processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备和存储介质
本专利技术涉及数据处理
，特别涉及一种数据处理方法、装置、电子设备和存储介质。
技术介绍
一个数据分析平台希望能够灵活构建数据看板，高效响应业务变化，且具有强大的可视化能力，用户、工作人员无需编写繁琐的代码，通过简单的拖住哦期望能够制作出丰富的图标，使用户方便、简单使用数据。目前的数据分析平台，通过数据的录入、清洗、预处理后通过kylin实现数据的输出。数据分析平台再对输出的数据进行合并格式化输出到报告。上述过程的实现，用户通过联系数据上传人员或调度系统将现有的数据源通过采集或调度导入的方式将数据接入hive集群，通过数据处理人员编写aql将已有的hive表进行清洗、合并并最终生成整合后的数据；在元数据管理平台配置维度指标等信息通过调度将数据预加载到kylin中。数据分析平台通过kylin接口拿到数据后进行合并展示数据到报告。目前数据分析平台的实现数据源单一、强依赖kylin、接入链路长，且数据处理效率低。
技术实现思路
有鉴于此，本申请提供一种数据处理方法、装置、电子设备和存储介质，能够提高数据处理效率。为解决上述技术问题，本申请的技术方案是这样实现的：在一个实施例中，提供了一种数据处理方法，所述方法包括：获取到用户操作页面生成的数据输出请求时，获取与所述数据输出请求相关的链接信息；通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求，并通过所述查询请求到所述链接信息对应的数据源进行数据查询；将查询到的数据解析并输出。其中，所述通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求，包括：将所述数据输出请求对应的参数信息转换为符合查询引擎需求的入参格式的参数信息；通过查询引擎服务使用所述链路信息和所述符合查询引擎需求的入参格式的参数信息生成所述查询请求。其中，所述数据源为本地数据库中的数据文件，和/或远端数据库。其中，当所述数据源为存储在本地数据库中的数据文件时，所述数据文件通过数据导入服务动态中继协议DTP上传，并存储到本地数据库；当所述数据源为远端数据库时，所述方法进一步包括：配置该数据库的链接信息。其中，所述方法进一步包括：获取用户输入的数据输出方式；所述将查询到的数据解析并输出，包括：将查询到的数据解析并按照获取的所述数据输出方式输出。其中，所述通过所述查询请求到所述链接信息对应的数据源进行数据查询之前，所述方法进一步包括：获取所述用户对应的权限信息，以及所述数据输出请求对应数据的权限信息，并根据获取的所述权限信息通过所述查询请求到所述链接信息对应的数据源进行数据查询。在另一个实施例中，提供了一种数据处理装置，所述装置包括：获取单元、查询引擎单元和输出单元；所述获取单元，用于获取到用户操作页面生成的数据输出请求时，获取与所述数据输出请求相关的链接信息；所述查询引擎单元，用于通过查询引擎服务使用所述获取单元获取的链接信息和所述数据输出请求对应的参数信息生成查询请求，并通过所述查询请求到所述链接信息对应的数据源进行数据查询；所述输出单元，用于将所述查询引擎单元查询到的数据解析，并输出。其中，所述获取单元，进一步用于将所述数据输出请求对应的参数信息转换为符合查询引擎需求的入参格式的参数信息；所述查询引擎单元，具体用于通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求时，通过查询引擎服务使用所述链路信息和所述获取单元转换后的符合查询引擎需求的入参格式的参数信息生成所述查询请求。其中，所述数据源为本地数据库中的数据文件，和/或远端数据库。其中，所述装置进一步包括：上传单元和配置单元；所述上传单元，用于当所述数据源为存储在本地数据库中的数据文件时，所述数据文件通过数据导入服务动态中继协议DTP上传，并存储到本地数据库；所述配置单元，用于当所述数据源为远端数据库时，配置该数据库的链接信息。其中，所述获取单元，进一步用于获取用户输入的数据输出方式；所述输出单元，进一步用于将所述将查询到的数据解析并按照所述获取单元获取的数据输出方式输出。其中，所述获取单元，进一步用于所述查询引擎单元通过所述查询请求到所述链接信息对应的数据源进行数据查询之前，获取所述用户对应的权限信息，以及所述数据输出请求对应数据的权限信息，并触发所述查询引擎单元根据获取的所述权限信息通过所述查询请求到所述链接信息对应的数据源进行数据查询。在另一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如所述数据处理方法的步骤。在另一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述数据处理方法的步骤。由上面的技术方案可见，上述实施例中调用查询引擎服务，利用用户发出的数据输出请求对应的链接信息和参数信息生成查询请求，到链接信息对应的数据源查询到对应的数据并分析输出给用户。该方案能够提高数据处理效率。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例中给出的一种数据分析平台架构示意图；图2为本申请实施例中数据处理流程示意图；图3为本申请实施例中的一种权限配置方式示意图；图4为本申请实施例中的另一种权限配置方式示意图；图5为本申请实施例中提供的一种数据源类型选择示意图；图6为本申请实施例中建立的数据连接相关信息示意图；图7为本申请实施例中选择一数据连接后所显示的内容；图8为本申请实施例中给出的选择图表类型的示意图；图9为本申请实施例中供发出数据输出请求的界面示意图；图10为本申请实施例中一个以通用图表方式显示输出数据的示意图；图11为本申请实施例中应用于上述技术的装置结构示意图；图12为本专利技术实施例提供的电子设备的实体结构示意图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取到用户操作页面生成的数据输出请求时，获取与所述数据输出请求相关的链接信息；/n通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求，并通过所述查询请求到所述链接信息对应的数据源进行数据查询；/n将查询到的数据解析并输出。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取到用户操作页面生成的数据输出请求时，获取与所述数据输出请求相关的链接信息；
通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求，并通过所述查询请求到所述链接信息对应的数据源进行数据查询；
将查询到的数据解析并输出。


2.根据权利要求1所述的方法，其特征在于，所述通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求，包括：
将所述数据输出请求对应的参数信息转换为符合查询引擎需求的入参格式的参数信息；
通过查询引擎服务使用所述链路信息和所述符合查询引擎需求的入参格式的参数信息生成所述查询请求。


3.根据权利要求1所述的方法，其特征在于，所述数据源为本地数据库中的数据文件，和/或远端数据库。


4.根据权利要求3所述的方法，其特征在于，当所述数据源为存储在本地数据库中的数据文件时，所述数据文件通过数据导入服务动态中继协议DTP上传，并存储到本地数据库；
当所述数据源为远端数据库时，所述方法进一步包括：配置该数据库的链接信息。


5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
获取用户输入的数据输出方式；
所述将查询到的数据解析并输出，包括：
将查询到的数据解析并按照获取的所述数据输出方式输出。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述通过所述查询请求到所述链接信息对应的数...

【专利技术属性】
技术研发人员：叶萌，
申请(专利权)人：贝壳技术有限公司，
类型：发明
国别省市：天津;12