数据抽取方法、装置、计算机设备和存储介质制造方法及图纸

本申请提供一种数据抽取方法、装置、计算机设备和存储介质，通过获取用户的报表分析请求，该报表分析请求包括：至少一个生产库的标识，再根据至少一个生产库的标识，查询本地数据库，获取每个生产库的数据，本地数据库中预先存储有从至少一个生产库获取到的至少一个数据源类型的数据，最后根据至少一个生产库的数据，生成报表分析结果。该技术方案中，通过在本地数据库中查询至少一个数据源类型的数据，避免了对生产库访问产生的压力、以及访问过程中可能存在污染生产库的情况发生，同时数据抽取可以将多种类型的生产库的数据进行融合，以达到跨库分析的目的。

【技术实现步骤摘要】
数据抽取方法、装置、计算机设备和存储介质
本申请涉及数据处理
，尤其涉及一种数据抽取方法、装置、计算机设备和存储介质。
技术介绍
在互联网高速发展的今天，无论是政府、企业、甚至社会的方方面面，时刻都在发生着巨大的变化，捕获这些变化的数据，以形成报告对于相关用户来说显得尤为重要，因此，报表分析应运而生，即将这些变化的数据转变为用户可视化的文字和/或图像。在现有技术中，报表分析工具采用直连数据源所在生产库，使用结构化查询语言(StructuredQueryLanguage，SQL)脚本在生产库中拽取所需要的数据，然后将这些数据进行可视化展示，例如，生成报表，以供用户查看。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：需要从数据源所在生产库获取数据时，均需要直连该生产库，会对生产库产生访问压力，并且可能会存在污染生产库的情况发生。
技术实现思路
本申请实施例提供一种数据抽取方法、装置、计算机设备和存储介质，用以解决现有技术中直连数据源所在生产库时存在的生产库访问压力大、可能会污染生产库的问题。第一方面，本申请实施例提供一种数据抽取方法，包括：获取用户的报表分析请求，所述报表分析请求包括：至少一个生产库的标识；根据所述至少一个生产库的标识，查询本地数据库，获取每个生产库的数据，所述本地数据库中预先存储有从至少一个生产库获取到的至少一个数据源类型的数据；根据所述至少一个生产库的数据，生成报表分析结果。在第一方面一种可能的设计中，所述报表分析请求还包括：每个生产库对应的数据源类型标识；相应的，所述根据所述至少一个生产库的标识，查询本地数据库，获取每个生产库的数据，包括：对于每个生产库，根据所述生产库对应的数据源类型标识，在所述本地数据库中，获取所述生产库对应数据源类型标识的数据。在第一方面另一种可能的设计中，还包括：获取用户的数据抽取请求，所述数据抽取请求包括：第一生产库的标识和数据源类型；根据预置的数据抽取规则，通过与每个生产库之间的数据连接通路，从每个生产库中获取所述数据源类型的数据；将所述数据源类型的数据存储至本地数据库中。在该种可能的设计中，在所述获取用户的数据抽取请求之前，所述方法还包括：获取用户的数据连接请求，所述数据连接请求包括：第二生产库的标识；根据所述数据连接请求，跳转到指示用户输入通路建立配置信息的界面；获取所述用户输入的通路建立配置信息；在所述通路建立配置信息验证通过时，根据所述第二生产库的标识和所述通路建立配置信息，分别建立与所述第二生产库的数据连接通路。可选的，所述方法还包括：获取所述用户的连接通路操作请求，所述连接通路操作请求包括如下任意一种：删除、更新、查询；根据所述连接通路操作请求，对已建立的数据连接通路进行处理。可选的，在所述获取用户的数据抽取请求之前，所述方法还包括：获取用户的数据抽取任务建立请求，所述数据抽取任务建立请求，包括：目标生产库的标识；根据所述数据抽取任务建立请求，跳转到指示用户输入所述目标生产库对应的抽取规则配置界面；获取所述用户在所述抽取规则配置界面上配置的所述数据抽取规则，所述数据抽取规则包括如下至少一种：数据写入方式和抽取方式。可选的，在所述根据预置的数据抽取规则，通过与每个生产库之间的数据连接通路，从每个生产库中获取所述数据源类型的数据之前，所述方法还包括：根据所述第一生产库的标识和所述数据源类型，获取数据抽取脚本；对所述数据抽取脚本进行校验。可选的，在所述将所述数据源类型的数据存储至本地数据库中之前，所述方法还包括：根据预设的数据处理规则，对所述数据源类型的数据进行处理，所述数据处理规则包括如下至少一种：类型转换、别名设置、存储信息。第二方面，本申请实施例提供一种数据抽取装置，包括：获取模块、处理模块和生成模块；所述获取模块，用于获取用户的报表分析请求，所述报表分析请求包括：至少一个生产库的标识；所述处理模块，用于根据所述至少一个生产库的标识，查询本地数据库，获取每个生产库的数据，所述本地数据库中预先存储有从至少一个生产库获取到的至少一个数据源类型的数据；所述生成模块，用于根据所述至少一个生产库的数据，生成报表分析结果。在第二方面一种可能的设计中，所述报表分析请求还包括：每个生产库对应的数据源类型标识；相应的，所述处理模块，具体用于：对于每个生产库，根据所述生产库对应的数据源类型标识，在所述本地数据库中，获取所述生产库对应数据源类型标识的数据。在第二方面另一种可能的设计中，所述获取模块，还用于：获取用户的数据抽取请求，所述数据抽取请求包括：第一生产库的标识和数据源类型；根据预置的数据抽取规则，通过与每个生产库之间的数据连接通路，从每个生产库中获取所述数据源类型的数据；所述处理模块，还用于将所述数据源类型的数据存储至本地数据库中。在该种可能的设计中，所述获取模块，还用于获取用户的数据连接请求，所述数据连接请求包括：第二生产库的标识；所述处理模块，还用于根据所述数据连接请求，跳转到指示用户输入通路建立配置信息的界面；所述获取模块，还用于获取所述用户输入的通路建立配置信息；所述处理模块，还用于在所述通路建立配置信息验证通过时，根据所述第二生产库的标识和所述通路建立配置信息，分别建立与所述第二生产库的数据连接通路。可选的，所述获取模块，还用于获取所述用户的连接通路操作请求，所述连接通路操作请求包括如下任意一种：删除、更新、查询；所述处理模块，还用于根据所述连接通路操作请求，对已建立的数据连接通路进行处理。可选的，所述获取模块，还用于获取用户的数据抽取任务建立请求，所述数据抽取任务建立请求，包括：目标生产库的标识；所述处理模块，还用于根据所述数据抽取任务建立请求，跳转到指示用户输入所述目标生产库对应的抽取规则配置界面；所述获取模块，还用于获取所述用户在所述抽取规则配置界面上配置的所述数据抽取规则，所述数据抽取规则包括如下至少一种：数据写入方式和抽取方式。可选的，所述获取模块，还用于根据所述第一生产库的标识和所述数据源类型，获取数据抽取脚本；所述处理模块，还用于对所述数据抽取脚本进行校验。可选的，所述处理模块，还用于根据预设的数据处理规则，对所述数据源类型的数据进行处理，所述数据处理规则包括如下至少一种：类型转换、别名设置、存储信息。第三方面，本申请实施例提供一种计算机设备，包括：至少一个处理器、存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述计算机执行指令，使得所述计算机设备执行如上述第一方面及各种可能的设计中所述的数据抽取方法。第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计本文档来自技高网...

【技术保护点】
1.一种数据抽取方法，其特征在于，包括：/n获取用户的报表分析请求，所述报表分析请求包括：至少一个生产库的标识；/n根据所述至少一个生产库的标识，查询本地数据库，获取每个生产库的数据，所述本地数据库中预先存储有从至少一个生产库获取到的至少一个数据源类型的数据；/n根据所述至少一个生产库的数据，生成报表分析结果。/n

【技术特征摘要】
1.一种数据抽取方法，其特征在于，包括：
获取用户的报表分析请求，所述报表分析请求包括：至少一个生产库的标识；
根据所述至少一个生产库的标识，查询本地数据库，获取每个生产库的数据，所述本地数据库中预先存储有从至少一个生产库获取到的至少一个数据源类型的数据；
根据所述至少一个生产库的数据，生成报表分析结果。


2.根据权利要求1所述的方法，其特征在于，所述报表分析请求还包括：每个生产库对应的数据源类型标识；
相应的，所述根据所述至少一个生产库的标识，查询本地数据库，获取每个生产库的数据，包括：
对于每个生产库，根据所述生产库对应的数据源类型标识，在所述本地数据库中，获取所述生产库对应数据源类型标识的数据。


3.根据权利要求1所述的方法，其特征在于，还包括：
获取用户的数据抽取请求，所述数据抽取请求包括：第一生产库的标识和数据源类型；
根据预置的数据抽取规则，通过与每个生产库之间的数据连接通路，从每个生产库中获取所述数据源类型的数据；
将所述数据源类型的数据存储至本地数据库中。


4.根据权利要求3所述的方法，其特征在于，在所述获取用户的数据抽取请求之前，所述方法还包括：
获取用户的数据连接请求，所述数据连接请求包括：第二生产库的标识；
根据所述数据连接请求，跳转到指示用户输入通路建立配置信息的界面；
获取所述用户输入的通路建立配置信息；
在所述通路建立配置信息验证通过时，根据所述第二生产库的标识和所述通路建立配置信息，分别建立与所述第二生产库的数据连接通路。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述用户的连接通路操作请求，所述连接通路操作请求包括如下任意一种：删除、更新、查询；
根据所述连接通路操作请求，对已建立的数据连接通路进行处理。


6.根据权利要求3-5任一项所述的方法，其特征在于，在所述获取用户的数据抽取请求之前，所述方法还包括：
获取用户的数据抽取任务建立请求，所述数据抽取任务建...

【专利技术属性】
技术研发人员：王仁亮，鲍震，孟祥晓，银雪萍，肖允伟，刘峥，王威，
申请(专利权)人：北京沃东天骏信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11