数据自动更新及同步方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及大数据技术，揭露了一种数据自动更新及同步方法，包括：根据一个随时间变化的时间戳以及预设的时间间隔从一个或者多个源数据库中获取原始数据集，将所述原始数据集导入至目标数据库中，映射得到原始表，在所述目标数据库中构建目标表及更新表，将所述原始表与目标表进行比较，得到更新数据，并将所述更新数据抽取至所述更新表中，将所述更新表与所述目标表进行关联，根据所述关联将所述更新数据导入所述目标表，并将所述目标表发送至指定终端。本发明专利技术还提出一种数据自动更新及同步装置、电子设备以及计算机可读存储介质。本发明专利技术可以解决数据更新延迟较高的问题。

【技术实现步骤摘要】
数据自动更新及同步方法、装置、电子设备及存储介质
本专利技术涉及大数据
，尤其涉及一种数据自动更新及同步方法、装置、电子设备及计算机可读存储介质。
技术介绍
数据实时更新在日常工作生活中越来越重要。随着数据规模增大，数据源增多，数据形式多样，通常需要综合各个渠道的数据。传统数据库技术无法自动进行数据更新，利用人工进行数据更新具有较高的延迟，同时随着更新的数据越来越多，更新数据可能会占用大量计算机存储空间。
技术实现思路
本专利技术提供一种数据自动更新及同步方法、装置及计算机可读存储介质，其主要目的在于解决数据更新延迟较高的问题。为实现上述目的，本专利技术提供的一种数据自动更新及同步方法，包括：根据一个随时间变化的时间戳以及预设的时间间隔从一个或者多个源数据库中获取原始数据集，将所述原始数据集导入至目标数据库中，映射得到原始表；在所述目标数据库中构建目标表及更新表，将所述原始表与目标表进行比较，得到更新数据，并将所述更新数据抽取至所述更新表中；将所述更新表与所述目标表进行关联，根据所述关联将所述更新数据导入所述目标表，并将所述目标表发送至指定终端。可选地，所述根据一个随时间变化的时间戳以及预设的时间间隔从一个或者多个源数据库中获取原始数据集，包括：基于所述预设的时间间隔获取标准时间，并根据所述标准时间更新所述时间戳，得到更新时间戳；基于所述更新时间戳，利用预设的开源工具抽取所述源数据库中的数据至所述原始表。可选地，所述利用预设的开源工具抽取所述源数据库中的数据至所述原始表，包括：判断所述原始数据集是否可以直接导入所述目标数据库；若所述原始数据集的数据可以直接导入，则将所述原始数据集导入至所述目标数据库；若所述原始数据集的数据不可以直接导入，则将所述原始数据集转换为文本文件，将所述文本文件导入至所述目标数据库；在所述目标数据库中将导入的数据映射为所述原始表。可选地，所述将所述原始表与目标表进行比较，得到更新数据，包括：获取所述原始表与所述目标表内的数据；将所述数据进行比对，若所述数据相同，则不进行数据更新，若所述数据不同，则进行数据更新；汇总所有更新完成的数据，得到所述更新数据。可选地，所述将所述原始表与目标表进行比较，得到更新数据后，还包括：清空所述原始表中的数据。可选地，所述将所述更新数据抽取至所述更新表中，包括：获取预先设定的游标，其中，所述游标中包含查询语句；在所述原始表与所述目标表中执行所述游标中的查询语句，将所述更新数据抽取至所述更新表。可选地，所述将所述更新表与所述目标表进行关联，根据所述关联将所述更新数据导入所述目标表，并将所述目标表发送至指定终端，包括：获取预先设置的关联事务，利用所述关联事务建立所述更新表与所述目标表的关联关系；通过所述关联关系将所述更新数据导入所述目标表，并将所述目标表发送至指定终端。为了解决上述问题，本专利技术还提供一种数据自动更新及同步装置，所述装置包括：数据获取模块，用于根据一个随时间变化的时间戳以及预设的时间间隔从一个或者多个源数据库中获取原始数据集，将所述原始数据集导入至目标数据库中，映射得到原始表；数据更新模块，用于在所述目标数据库中构建目标表及更新表，将所述原始表与目标表进行比较，得到更新数据，并将所述更新数据抽取至所述更新表中；数据关联模块，用于将所述更新表与所述目标表进行关联，根据所述关联将所述更新数据导入所述目标表，并将所述目标表发送至指定终端。为了解决上述问题，本专利技术还提供一种电子设备，所述电子设备包括：存储器，存储至少一个指令；及处理器，执行所述存储器中存储的指令以实现上述所述的数据自动更新及同步方法。为了解决上述问题，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的数据自动更新及同步方法。本专利技术通过将所述原始数据集中的数据导入至目标数据库中，可以直接将所述数据映射为原始表，极大地提高了数据更新的速度，并且所述原始表为临时表，每次数据更新后会进行清空，降低了对计算机存储空间的占用，同时将所述更新表与所述目标表进行关联，进一步地提高了数据更新的速度。因此本专利技术提出的数据自动更新及同步方法、装置、电子设备及计算机可读存储介质，可以解决数据更新延迟较高的问题。附图说明图1为本专利技术一实施例提供的数据自动更新及同步方法的流程示意图；图2为图1中其中一个步骤的详细实施流程示意图；图3为图1中另一个步骤的详细实施流程示意图；图4为本专利技术一实施例提供的数据自动更新及同步装置的功能模块图；图5为本专利技术一实施例提供的实现所述数据自动更新及同步方法的电子设备的结构示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本申请实施例提供一种数据自动更新及同步方法。所述数据自动更新及同步方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述数据自动更新及同步方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。参照图1所示，为本专利技术一实施例提供的数据自动更新及同步方法的流程示意图。在本实施例中，所述数据自动更新及同步方法包括：S1、根据一个随时间变化的时间戳以及预设的时间间隔从一个或者多个源数据库中获取原始数据集，将所述原始数据集导入至目标数据库中，映射得到原始表。在本专利技术的至少一个实施例中，所述原始数据集包括：业务数据、财务数据及/或产品数据等。例如，在保险领域中，所述业务数据可以包括：投保数量、投保金额以及投保类型等，所述财务数据可以包括：投保的资金占比、投保利润以及投保回报率等，所述产品数据可以包括：寿险种类、车险种类、意外险种类等。所述源数据库可以为MySQL，oracle等数据库，本专利技术实施例中，可以使用时间戳支持自动更新的数据库(如SqlServer数据库)。具体地，所述根据一个随时间变化的时间戳以及预设的时间间隔从一个或者多个源数据库中获取原始数据集，包括：基于所述预设的时间间隔获取标准时间，并根据所述标准时间更新所述时间戳，得到更新时间戳；基于所述更新时间戳，利用预设的开源工具抽取所述源数据库中的数据至所述原始表。较佳地，参考图2所示，所述利用预设的开源工具抽取所述源数据库中的数据至所述原始表，包括：S10、判断所述原始数据集是否可以直接导入所述目标数据库；若所述原始数据集的数据可以直接导入，则执行S11、将所述原本文档来自技高网...

【技术保护点】
1.一种数据自动更新及同步方法，其特征在于，所述方法包括：/n根据一个随时间变化的时间戳以及预设的时间间隔从一个或者多个源数据库中获取原始数据集，将所述原始数据集导入至目标数据库中，映射得到原始表；/n在所述目标数据库中构建目标表及更新表，将所述原始表与目标表进行比较，得到更新数据，并将所述更新数据抽取至所述更新表中；/n将所述更新表与所述目标表进行关联，根据所述关联将所述更新数据导入所述目标表，并将所述目标表发送至指定终端。/n

【技术特征摘要】
1.一种数据自动更新及同步方法，其特征在于，所述方法包括：
根据一个随时间变化的时间戳以及预设的时间间隔从一个或者多个源数据库中获取原始数据集，将所述原始数据集导入至目标数据库中，映射得到原始表；
在所述目标数据库中构建目标表及更新表，将所述原始表与目标表进行比较，得到更新数据，并将所述更新数据抽取至所述更新表中；
将所述更新表与所述目标表进行关联，根据所述关联将所述更新数据导入所述目标表，并将所述目标表发送至指定终端。


2.如权利要求1所述的数据自动更新及同步方法，其特征在于，所述根据一个随时间变化的时间戳以及预设的时间间隔从一个或者多个源数据库中获取原始数据集，包括：
基于所述预设的时间间隔获取标准时间，并根据所述标准时间更新所述时间戳，得到更新时间戳；
基于所述更新时间戳，利用预设的开源工具抽取所述源数据库中的数据至所述原始表。


3.如权利要求2所述的数据自动更新及同步方法，其特征在于，所述利用预设的开源工具抽取所述源数据库中的数据至所述原始表，包括：
判断所述原始数据集是否可以直接导入所述目标数据库；
若所述原始数据集的数据可以直接导入，则将所述原始数据集导入至所述目标数据库；
若所述原始数据集的数据不可以直接导入，则将所述原始数据集转换为文本文件，将所述文本文件导入至所述目标数据库；
在所述目标数据库中将导入的数据映射为所述原始表。


4.如权利要求1所述的数据自动更新及同步方法，其特征在于，所述将所述原始表与目标表进行比较，得到更新数据，包括：
获取所述原始表与所述目标表内的数据；
将所述数据进行比对，若所述数据相同，则不进行数据更新，若所述数据不同，则进行数据更新；
汇总所有更新完成的数据，得到所述更新数据。


5.如权利要求4所述的数据自动更新及同步方法，其特征在于，所述将所述原始表与目标表进行比较，得到更新数据后，还包括：<...

【专利技术属性】
技术研发人员：蒋少杰，梁慷凯，
申请(专利权)人：招商局金融科技有限公司，
类型：发明
国别省市：广东;44