一种数据导出方法、装置及系统制造方法及图纸

本发明专利技术公开了一种数据导出方法、装置及系统，其中方法包括：根据导出请求利用检索数据库进行数据查询，所述导出请求中的查询字段根据检索数据库中的索引以及字段信息配置，所述检索数据库中的数据源从关系型数据库中抽取；根据查询结果生成导出文件，将生成所述导出文件的设备地址存储到关系型数据库中，将所述导出文件存储到导出服务器中，以供所述导出服务器向发起所述导出请求的服务器传输所述导出文件。本发明专利技术采用ES服务实现大数据量的查询和导出，实现了多样性的数据导出需求，相比web端的数据导出提高了导出效率，更加适用于复杂业务场景的数据导出需求。

【技术实现步骤摘要】
一种数据导出方法、装置及系统
本专利技术涉及计算机
，特别涉及一种数据导出方法、装置及系统。
技术介绍
数据管理系统通常要依赖具体业务场景的数据进行分析整合和数据导出，然而随着业务场景的多元化和复杂化发展，很多业务场景的数据由于数量庞大采用了分库分表的存储方式，这就导致数据管理系统在导出数据时需要从不同的子系统中导出，使得数据导出链路长、限制多、数据的时效性较差的问题日益突出。
技术实现思路
为了解决现有技术的问题，建设一个具有承接跨系统、跨业务、跨产品数据导出能力的综合导出平台，本专利技术实施例提供了一种数据导出方法、装置及系统。所述技术方案如下：第一方面，提供了一种数据导出方法，包括：根据导出请求利用检索数据库进行数据查询，所述导出请求中的查询字段根据检索数据库中的索引以及字段信息配置，所述检索数据库中的数据源从关系型数据库中抽取；根据查询结果生成导出文件，将生成所述导出文件的设备地址存储到关系型数据库中，将所述导出文件存储到导出服务器中，以供所述导出服务器向发起所述导出请求的服务器传输所述本文档来自技高网...

【技术保护点】
1.一种数据导出方法，其特征在于，包括：/n根据导出请求利用检索数据库进行数据查询，所述导出请求中的查询字段根据检索数据库中的索引以及字段信息配置，所述检索数据库中的数据源从关系型数据库中抽取；/n根据查询结果生成导出文件，将生成所述导出文件的设备地址存储到关系型数据库中，将所述导出文件存储到导出服务器中，以供所述导出服务器向发起所述导出请求的服务器传输所述导出文件。/n

【技术特征摘要】
1.一种数据导出方法，其特征在于，包括：
根据导出请求利用检索数据库进行数据查询，所述导出请求中的查询字段根据检索数据库中的索引以及字段信息配置，所述检索数据库中的数据源从关系型数据库中抽取；
根据查询结果生成导出文件，将生成所述导出文件的设备地址存储到关系型数据库中，将所述导出文件存储到导出服务器中，以供所述导出服务器向发起所述导出请求的服务器传输所述导出文件。


2.如权利要求1所述的一种数据导出方法，其特征在于，根据导出请求在检索数据库中进行数据查询包括：
根据所述导出请求生成若干导出任务，根据所述导出任务进行多线程分批次的数据查询。


3.如权利要求2所述的一种数据导出方法，其特征在于，根据所述导出请求生成若干子导出任务包括：
根据所述查询字段中的数据类型信息或者组织架构信息进行生成所述子导出任务。


4.如权利要求1～3中任意一项所述的一种数据导出方法，其特征在于，所述检索数据库中的数据源从关系型数据库中抽取包括：
通过hive表从所述关系型数据库中抽取全量数据或增量数据；
利用spark进行数据分析整合，将分析整合后的数据同步至所述检索数据库中。


5.如权利要求1～3中任意一项所述的一种数据导出方法，其特征在于，所述检索数据库中的数据源从关系型数据库中抽取包括：
通过binlog日志从所述关系型数据库中抽取全量数据或增量数据。


6.一种数据导出页面配置方法，其特征在于，包...

【专利技术属性】
技术研发人员：刘盼盼，余华森，孙炜，
申请(专利权)人：苏宁云计算有限公司，
类型：发明
国别省市：江苏;32