数据抽取方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术公开了数据抽取方法、装置、计算机设备及存储介质，通过获取待执行的任务，根据所述映射关系将第一数据库中属于所述种类的数据抽取到第二数据库。通过按照获取到的执行的任务中的种类将待抽取的数据从一个数据库中抽取到另一个数据库中，由于待抽取的数据与种类映射关系是预先配置好的，当监听到种类发生改变时，即当监听到已有种类发生改变或新增种类时，可以将该种类更新为改变后的种类，从而可以不需要暂停数据抽取的操作，和不需要等待开发人员花费时间修改种类，同时也不需要人工重新启动数据抽取的功能后便能进行数据抽取，进而提高了数据抽取的效率。

【技术实现步骤摘要】
数据抽取方法、装置、计算机设备及存储介质
本专利技术涉及金融保险领域，尤其涉及数据抽取方法、装置、计算机设备及存储介质。
技术介绍
在当今信息时代下，很多金融保险公司越来越重视数据信息的存储。当金融保险公司对数据进行存储时，需要根据数据的种类将数据从一个业务系统的数据库中获取到，然后将所述数据抽取到另外一个存储系统的数据库，但是，当遇到种类变更时，导致无法抽取到数据，此时，需要先暂停数据抽取的操作，然后待管理员花费时间修改种类完成后，人工重新启动数据抽取的功能，再进行数据抽取。由于这个过程需要暂停数据抽取的操作，从而降低了数据抽取的效率。
技术实现思路
基于此，有必要针对上述技术问题，提供可以提高数据抽取的效率方法、装置、计算机设备及存储介质。数据抽取方法，包括：获取待执行的任务，其中，所述待执行的任务包括第一数据库中待抽取的数据对应的种类，所述第一数据库中待抽取的数据与所述种类之间存在预先配置的映射关系；监听所述映射关系中的种类，且当监听到所述映射关系中的种类发生改变时，更新发生改变的种类，其中，更新发生改变的种类后所述第一数据库中待抽取数据得到变更；根据所述映射关系将第一数据库中属于所述种类的待抽取数据抽取到第二数据库，其中，所述种类包括所述映射关系中不发生改变的种类和更新后的发生改变的种类。数据抽取装置，包括：获取模块，用于获取待执行的任务，其中，所述待执行的任务包括第一数据库中待抽取的数据对应的种类，所述第一数据库中待抽取的数据与所述种类之间存在预先配置的映射关系；监听模块，用于监听所述映射关系中的种类，且当监听到所述映射关系中的种类发生改变时，更新发生改变的种类，其中，更新发生改变的种类后所述第一数据库中待抽取数据得到变更；第一抽取模块，用于根据所述映射关系将第一数据库中属于所述种类的待抽取数据抽取到第二数据库，其中，所述种类包括所述映射关系中不发生改变的种类和更新后的发生改变的种类。计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据抽取方法的步骤。计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据抽取方法的步骤。上述数据抽取方法、装置、计算机设备及存储介质，首先，通过获取待执行的任务，其中，所述待执行的任务包括第一数据库中待抽取的数据对应的种类，所述待抽取的数据与所述种类存在预先配置的映射关系，然后，监听映射关系中的种类，并且当监听到所述映射关系中的种类发生改变时，发生改变的种类得到更新，根据所述映射关系将第一数据库中属于所述种类的待抽取数据抽取到第二数据库。通过按照获取到的执行的任务中的种类将待抽取的数据从一个数据库中抽取到另一个数据库中，由于待抽取的数据与种类映射关系是预先配置完成的，当监听到种类发生改变时，即当监听到已有种类发生改变或新增种类时，可以将该种类更新为改变后的种类，同时，在更新完成改变的种类后第一数据库中待抽取数据也随着发生变更，从而可以不需要暂停数据抽取的操作，和不需要等待开发人员花费时间修改种类，同时也不需要人工重新启动数据抽取的功能后便能进行数据抽取，进而提高了数据抽取的效率。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一实施例中数据抽取方法的一应用环境示意图；图2是本专利技术一实施例中数据抽取方法的一流程图；图3是本专利技术一实施例中数据抽取方法中监听及更新种类的一流程图；图4是本专利技术一实施例中数据抽取方法中判断种类的一流程图；图5是本专利技术一实施例中数据抽取方法中待抽取的数据预处理的一流程图；图6是本专利技术一实施例中数据抽取装置的一示意图；图7是本专利技术一实施例中计算机设备的一示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本申请提供的数据抽取方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与服务端进行通信。服务端获取客户端的待执行的任务，其中，待执行的任务包括待抽取的数据对应的种类，待抽取的数据与种类存在映射关系，映射关系预先配置好，当监听到映射关系中的种类发生改变时，发生改变的种类得到更新，服务端根据映射关系将第一数据库中属于种类的数据抽取到第二数据库。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。在一实施例中，如图2所示，提供数据抽取方法，该数据抽取方法应用在金融行业中，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：S10：获取待执行的任务。具体地，通过预设的获取方式获取待执行的任务。需要说明的是，预设的获取方式可以为人工收集或复制，预设的获取方式的具体内容，可以根据实际应用进行设定，此处不做限制。待执行的任务包括待抽取的数据对应的种类，通过获取待执行的任务便可以获取到抽取的数据对应的种类。待抽取的数据存储在第一数据库中，第一数据库可以为mysql数据库或Oracle数据库，第一数据库的具体内容，可以根据实际应用进行设定，此处不做限制。第一数据库中的待抽取的数据与该抽取的数据对应的种类存在着映射关系，该映射关系预先已经配置好，该映射关系可以为一对一或一对多。为了更好的说明映射关系，以下通过一个例子进行详细说明，具体表述如下：例如，假设保险种类为CTIL，待抽取的数据为CWPAofAco、fruitOTARofB和ARPPofCnaturalperson，其中，CTIL英文全称为Cargotransportationliabilityinsurance，中文名称为货物运输责任保险，CWPAofAco英文全称为ceramicswithparticularaverageofAcompany，中文名称为A公司陶瓷水渍险，fruitOTARofB英文全称为cooverlandtransportationallrisks，中文名称为B公司水果陆运一切险,ARPPofCnaturalperson英文全称为allrisksparcelpostofCnaturalperson中文名称为C自然人邮包一切险，CTIL存放在表A中，CWPAofAco、fruitOTARofB和ARPPofCnaturalperson存放在表B中，则使用useA，useB，execsp_grantdbaccessCTILA，CWPAofAcofruitOTARofBARPPofCnaturalpersonB，自动将A表中的CTIL和B表中的CWPAofAcofruitOTARofBARPPofCnaturalperson建立映射关系，其中，use是指新建表格，execsp_grantdbaccess是指授权连本文档来自技高网...

【技术保护点】
1.一种数据抽取方法，其特征在于，所述数据抽取方法包括：获取待执行的任务，其中，所述待执行的任务包括第一数据库中待抽取的数据对应的种类，所述第一数据库中待抽取的数据与所述种类之间存在预先配置的映射关系；监听所述映射关系中的种类，且当监听到所述映射关系中的种类发生改变时，更新发生改变的种类，其中，更新发生改变的种类后所述第一数据库中待抽取数据得到变更；根据所述映射关系将第一数据库中属于所述种类的待抽取数据抽取到第二数据库，其中，所述种类包括所述映射关系中不发生改变的种类和更新后的发生改变的种类。

【技术特征摘要】
1.一种数据抽取方法，其特征在于，所述数据抽取方法包括：获取待执行的任务，其中，所述待执行的任务包括第一数据库中待抽取的数据对应的种类，所述第一数据库中待抽取的数据与所述种类之间存在预先配置的映射关系；监听所述映射关系中的种类，且当监听到所述映射关系中的种类发生改变时，更新发生改变的种类，其中，更新发生改变的种类后所述第一数据库中待抽取数据得到变更；根据所述映射关系将第一数据库中属于所述种类的待抽取数据抽取到第二数据库，其中，所述种类包括所述映射关系中不发生改变的种类和更新后的发生改变的种类。2.如权利要求1所述的数据抽取方法，其特征在于，所述监听所述映射关系中的种类，且当监听到所述映射关系中的种类发生改变时，更新发生改变的种类，包括：开启所述待抽取的数据对应的种类的监听器；通过所述监听器实时监听所述种类；若所述种类发生改变，则获取所述监听器生成的种类改变标识信息；根据所述种类改变标识信息在所述映射关系中更新被标识的种类。3.如权利要求1所述的数据抽取方法，其特征在于，在将第一数据库中属于所述种类的数据抽取到第二数据库时采用增量抽取方式，所述增量抽取方式中的抽取类型包括数据增加类型、数据删除类型和数据更新类型，所述根据所述映射关系将第一数据库中属于所述种类的待抽取数据抽取到第二数据库包括：若所述增量抽取方式中的抽取类型为所述数据增加类型，则根据所述映射关系将所述第一数据库中的待抽取的数据与所述第二数据库中的目标数据相比的增量信息拼接到所述目标数据，得到拼接后的目标数据并保存到所述第二数据库中；若所述增量抽取方式中的抽取类型为所述数据删除类型，则根据所述映射关系将所述第二数据库中的目标数据与所述第一数据库中的待抽取的数据相比的增量信息删除，得到删除后的目标数据并保存到所述第二数据库中；若所述增量抽取方式中的抽取类型为所述数据更新类型，则根据所述映射关系将所述第一数据库中的待抽取的数据替换所述第二数据库中的目标数据，得到替换后的目标数据并保存到所述第二数据库中。4.如权利要求1所述的数据抽取方法，其特征在于，所述映射关系中的种类为进行笛卡尔乘积后的种类，在所述获取待执行的任务之后，所述数据抽取方法还包括：判断所述待执行的任务中的种类是否为所述进行笛卡尔乘积后的种类；若所述待执行的任务中的种类是所述进行笛卡尔乘积后的种类，则执行所述根据所述映射关系将第一数据库中属于所述种类的数据抽取到第二数据库的步骤；若所述待执行的任务中的种类不是所述进行笛卡尔乘积后的种类，则将所述待执行的任务中的种类进行转换，得到符合笛卡尔乘积规格的种类，并将所述符合笛卡尔乘积规格的种类进行笛卡尔乘积，得到乘积后的种类，然后执行所述根据所述映射关系将第一数据库中属于所述种类的数据抽取到第二数据库的步骤。5.如权利要...

【专利技术属性】
技术研发人员：丁志勇，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东,44