一种数据处理方法、装置、电子设备和存储介质制造方法及图纸

技术编号:24010844 阅读:28 留言:0更新日期:2020-05-02 01:41
本申请提供了一种数据处理方法、装置、电子设备和存储介质,所述方法包括:获取到用户操作页面生成的数据输出请求时,获取与所述数据输出请求相关的链接信息;通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求,并通过所述查询请求到所述链接信息对应的数据源进行数据查询;将查询到的数据解析并输出。该方法能够提高数据处理效率。

A data processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
一种数据处理方法、装置、电子设备和存储介质
本专利技术涉及数据处理
,特别涉及一种数据处理方法、装置、电子设备和存储介质。
技术介绍
一个数据分析平台希望能够灵活构建数据看板,高效响应业务变化,且具有强大的可视化能力,用户、工作人员无需编写繁琐的代码,通过简单的拖住哦期望能够制作出丰富的图标,使用户方便、简单使用数据。目前的数据分析平台,通过数据的录入、清洗、预处理后通过kylin实现数据的输出。数据分析平台再对输出的数据进行合并格式化输出到报告。上述过程的实现,用户通过联系数据上传人员或调度系统将现有的数据源通过采集或调度导入的方式将数据接入hive集群,通过数据处理人员编写aql将已有的hive表进行清洗、合并并最终生成整合后的数据;在元数据管理平台配置维度指标等信息通过调度将数据预加载到kylin中。数据分析平台通过kylin接口拿到数据后进行合并展示数据到报告。目前数据分析平台的实现数据源单一、强依赖kylin、接入链路长,且数据处理效率低。
技术实现思路
有鉴于此,本申请提供一种数据处本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,所述方法包括:/n获取到用户操作页面生成的数据输出请求时,获取与所述数据输出请求相关的链接信息;/n通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求,并通过所述查询请求到所述链接信息对应的数据源进行数据查询;/n将查询到的数据解析并输出。/n

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:
获取到用户操作页面生成的数据输出请求时,获取与所述数据输出请求相关的链接信息;
通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求,并通过所述查询请求到所述链接信息对应的数据源进行数据查询;
将查询到的数据解析并输出。


2.根据权利要求1所述的方法,其特征在于,所述通过查询引擎服务使用所述链接信息和所述数据输出请求对应的参数信息生成查询请求,包括:
将所述数据输出请求对应的参数信息转换为符合查询引擎需求的入参格式的参数信息;
通过查询引擎服务使用所述链路信息和所述符合查询引擎需求的入参格式的参数信息生成所述查询请求。


3.根据权利要求1所述的方法,其特征在于,所述数据源为本地数据库中的数据文件,和/或远端数据库。


4.根据权利要求3所述的方法,其特征在于,当所述数据源为存储在本地数据库中的数据文件时,所述数据文件通过数据导入服务动态中继协议DTP上传,并存储到本地数据库;
当所述数据源为远端数据库时,所述方法进一步包括:配置该数据库的链接信息。


5.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
获取用户输入的数据输出方式;
所述将查询到的数据解析并输出,包括:
将查询到的数据解析并按照获取的所述数据输出方式输出。


6.根据权利要求1-5任一项所述的方法,其特征在于,所述通过所述查询请求到所述链接信息对应的数...

【专利技术属性】
技术研发人员:叶萌
申请(专利权)人:贝壳技术有限公司
类型:发明
国别省市:天津;12

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1