本发明专利技术提供一种提取数据的方法和装置，能够节省从数据仓库提取数据的人力并且提高数据安全性。本发明专利技术的提取数据的方法包括：保存数据提取任务；在监听到保存了新的数据提取任务的情况下，执行该新的数据提取任务以从数据源中提取数据得到数据提取的结果文件；将所述结果文件发送到存储装置中，以供用户从该存储装置获取所述结果文件。
【技术实现步骤摘要】
【专利摘要】本专利技术提供一种提取数据的方法和装置，能够节省从数据仓库提取数据的人力并且提高数据安全性。本专利技术的提取数据的方法包括：保存数据提取任务；在监听到保存了新的数据提取任务的情况下，执行该新的数据提取任务以从数据源中提取数据得到数据提取的结果文件；将所述结果文件发送到存储装置中，以供用户从该存储装置获取所述结果文件。【专利说明】提取数据的方法和装置
本专利技术涉及一种提取数据的方法和装置。
技术介绍
随着互联网的发展，产生的数据越来越多，人们对于数据分析研究也越来越重视，数据仓库在这样的背景下越来越发挥巨大的作用，业务方也拥有更大的动力在数据分析研究方面做出持续的投入。为了满足业务方灵活多样的数据分析需求，数据挖掘工程师经常需要帮助业务方人工从数据仓库中将其需要的相关数据提取出来，然后以文件的形式交给业务方。这个过程就是一个数据提取的过程。 在进行数据提取时，数据挖掘工程师根据业务方的需求，分析业务方需求的数据在数据仓库中的存储位置，然后通过手工执行数据仓库使用的数据库的语句的形式将数据仓库中的数据转换为普通文本文件，再将文本文件从线上数据仓库服务器下载到数据挖掘工程师的个人工作电脑，最后再通过企业内部的沟通工具发送给业务方，完成一次数据提取流程。 数据库语句的执行时间一般比较长，并且下载文本文件、发送文本文件也需较长的时间，而且这三个环节具有连贯性，任何一个环节的失败都需要人工重新操作，所以在执行这三个环节的过程中数据挖掘工程师必须持续保持关注，因此很难并行的去同时完成其他的工作，占用大量的人力。并且，由上述三个环节组成的整个过程中都是线下手工完成，数据在这个过程中经过多次流转，造成数据在多个地方存在多个备份，这些备份数据缺乏足够的记录及监管，存在数据泄露的风险。 因此目前从数据仓库提取数据的方案存在的主要问题是占用大量人力并且数据安全性不够。
技术实现思路
有鉴于此，本专利技术提供一种提取数据的方法和装置，能够节省从数据仓库提取数据的人力并且提高数据安全性。 为实现上述目的，根据本专利技术的一个方面，提供了一种提取数据的方法。 本专利技术的提取数据的方法包括:保存数据提取任务；在监听到保存了新的数据提取任务的情况下，执行该新的数据提取任务以从数据源中提取数据得到数据提取的结果文件；将所述结果文件发送到存储装置中，以供用户从该存储装置获取所述结果文件。 可选地，保存数据提取任务之前还包括:通过表单接收数据提取语句，然后根据该数据提取语句生成数据提取任务。 可选地，所述数据提取语句为所述数据源所使用的数据库的数据提取语句，所述数据提取任务为该数据库的数据提取任务。 可选地，将所述结果文件发送到存储装置中的步骤包括:将所述结果文件保存到临时存储目录中；将所述临时存储目录中的数据上传到云存储装置中，然后删除所述临时存储目录中的数据。 根据本专利技术的另一方面，提供了一种提取数据的装置 本专利技术的提取数据的装置包括:保存模块，用于保存数据提取任务；监听模块，用于监听所述保存模块是否保存了新的数据提取任务；执行模块，用于在所述监听模块监听到保存了新的数据提取任务的情况下，执行该新的数据提取任务以从数据源中提取数据得到数据提取的结果文件；处理模块，用于将所述结果文件发送到存储装置中，以供用户从该存储装置获取所述结果文件。 可选地，还包括接收模块和生成模块，其中:所述接收模块，用于通过表单接收数据提取语句；所述生成模块，用于根据所述数据提取语句生成数据提取任务。 可选地，所述数据提取语句为所述数据源所使用的数据库的数据提取语句，所述数据提取任务为该数据库的数据提取任务。 可选地，所述处理模块还用于:将所述结果文件保存到临时存储目录中；将所述临时存储目录中的数据上传到云存储装置中，然后删除所述临时存储目录中的数据。 根据本专利技术的技术方案，预先保存数据提取任务，对保存的数据提取任务进行监听以及执行监听到的数据提取任务，然后将执行数据提取任务得到的数据提供给用户进行下载。可以看出，这些步骤的组合使得数据提取基本是以自动化的方式完成，数据挖掘工程师只需按照业务方的数据提取需求，在人机界面中录入数据提取语句，然后无需数据挖掘工程师继续关注，就可以使业务方从存储装置例如云存储装置中获取数据。在该方案中，从数据源提取出的数据首先保存在临时目录中，待数据转存到具有较高安全性的云存储装置之后即删除该临时目录的内容，有助于保证数据的安全性。 【专利附图】【附图说明】 附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中: 图1是根据本专利技术实施例的提取数据的方法的主要步骤的示意图； 图2是根据本专利技术实施例的提取数据的装置的主要模块的示意图。 【具体实施方式】 以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识至IJ，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。 图1是根据本专利技术实施例的提取数据的方法的主要步骤的示意图。该方法可以通过一个作为软件的数据提取装置来实现。如图1所示，该提取数据的方法主要包括如下的步骤Sll至步骤S17。 步骤Sll:通过表单接收数据提取语句。上述的数据提取装置可以提供人机界面来接收数据提取语句，例如提供表单或其他控件来接收数据挖掘工程师输入的数据提取语句。数据提取语句是数据源所使用的数据库的数据提取语句，例如数据源使用的是SQL数据库，相应地数据提取语句即为SQL语句。 步骤S12:根据接收的数据提取语句生成数据提取任务然后保存。数据挖掘工程师也可以使用其他工具生成数据提取任务，然后由该数据提取装置保存。 步骤S13:判断是否监听到保存了新的数据提取任务。在本实施例中，数据提取装置持续监听以确定是否有新的数据提取任务。若是，则进入步骤S14，否则按监听频率延时之后返回本步骤继续进行监听。 步骤S14:执行监听到的新的数据提取任务。执行的结果即是从数据源中提取数据，得到数据提取的结果文件。 步骤S15:将结果文件保存到临时存储目录中。因为数据提取需要一定时间，相应地保存结果文件需要一定时间，待数据提取结果时形成完整的结果文件，再进行后续处理。 步骤S16:将临时存储目录中的数据上传到云存储装置中。这里的数据即为上述的结果文件。如果同时有多个任务执行，这里的数据也可以是形成的多个结果文件。步骤S15和步骤S16的目的是将提取到的数据保存在一个存储装置中以供用户获取该数据。云存储装置具有数据安全措施，因此将数据最终保存在云存储装置中有助于提高数据的安全性。用户例如业务方可以使用账户登录到云存储装置，进行数据下载。 步骤S17:删除临时存储目录中的数据。在将数据从临时存储目录上传到云存储装置之后，最好是将临时存储目录中的内容清空，以确保数据的安全。 图2是根据本专利技术实施例的提取数据的装置的主要模块的示意图。如图2所示，本专利技术实施例的提取数据的装置20主要包括保存模块21、监听模块22、执行模块23、以及处理模块24。保存模块21用于保存数本文档来自技高网...
【技术保护点】
一种提取数据的方法，其特征在于，包括：保存数据提取任务；在监听到保存了新的数据提取任务的情况下，执行该新的数据提取任务以从数据源中提取数据得到数据提取的结果文件；将所述结果文件发送到存储装置中，以供用户从该存储装置获取所述结果文件。
【技术特征摘要】
【专利技术属性】
技术研发人员：刘彦伟，王晓，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。