一种数据存储方法、装置及计算机设备制造方法及图纸

本发明专利技术提供一种数据存储方法、装置及计算机设备。该数据存储方法包括：首先接收存储指令，存储指令用于指示请求存储的目标数据，然后判断缓存数据库中是否存储有数据。若缓存数据库中没有存储数据，则从原始数据库中获取目标数据并存储到云端数据库，若缓存数据库中存储有数据，则从缓存数据库和/或原始数据库中获取目标数据并存储到云端数据库。本发明专利技术提供的数据存储方法，减少了对原始数据库的访问，提高读取效率，加快数据采集和存储的过程。

【技术实现步骤摘要】
一种数据存储方法、装置及计算机设备
本专利技术涉及数据交互领域，尤其涉及一种数据存储方法、装置及计算机设备。
技术介绍
随着数据中台的概念的形成和数据仓库技术的发展，数据集成技术成为各个企业关注和研究的焦点，国内外企业和技术人员对数据仓库技术(ExtractTransformLoad，简称ETL)进行了大量研究,同时提出了多种多样的解决方案。ETL用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。在具体工作过程中，由于数据量庞大以及数据之间关系复杂导致数据读取时间过长，而ETL主要过程中的抽取即采集过程又是整个ETL过程的瓶颈。传统的数据采集方式，是通过外部接口和数据库直连的形式直接对数据库进行访问。在涉及多次查询时，频繁访问数据源，最终导致数据源因为连接数量过大而对正在运转的系统造成影响。可见，现有的单一数据库访问方案存在数据库访问过大影响程序正常运行的技术问题。
技术实现思路
为了解决上述技术问题，本专利技术提供了一种数据存储方法、装置及计算机设备，具体方案如下：第一方面，本申请实施例提供了一种数据存储方法，所述方法包括：接收存储指令，所述存储指令用于指示请求存储的目标数据；判断缓存数据库中是否存储有数据；若所述缓存数据库中没有存储数据，则从原始数据库中获取所述目标数据并存储到云端数据库；若所述缓存数据库中存储有数据，则从所述缓存数据库和/或所述原始数据库中获取所述目标数据并存储到所述云端数据库。根据本申请公开的一种具体实施方式，若所述缓存数据库中没有存储数据，所述方法还包括:将所述目标数据存储到所述缓存数据库。根据本申请公开的一种具体实施方式，从所述缓存数据库和/或所述原始数据库中获取所述目标数据并存储到所述云端数据库的步骤，包括:判断所述缓存数据库中是否存储有全部的所述目标数据；若所述缓存数据库中存储有全部的所述目标数据，则从所述缓存数据库中获取所述目标数据并存储到所述云端数据库；若所述缓存数据库中未存储全部的所述目标数据，则从所述缓存数据库和所述原始数据库中获取全部的所述目标数据并存储到所述云端数据库。根据本申请公开的一种具体实施方式，从所述缓存数据库和所述原始数据库中获取全部的所述目标数据并存储到所述云端数据库的步骤，包括：确定所述缓存数据库内存储的所述目标数据的第一子集数据，以及所述缓存数据库内未存储的所述目标数据的第二子集数据；将所述原始数据库内的所述第二子集数据存储到所述缓存数据库；将所述缓存数据库中的第一子集数据和所述第二子集数据存储到所述云端数据库。根据本申请公开的一种具体实施方式，所述方法还包括：按照预设的检测周期或者在接收到所述存储指令时，检测所述原始数据库中是否存在改动数据；若所述原始数据库存在改动数据，则清除所述缓存数据库中与所述改动数据对应的数据。根据本申请公开的一种具体实施方式，获取所述目标数据并存储到所述云端数据库的步骤之后，所述方法还包括：清除所述缓存数据库中存储的数据。根据本申请公开的一种具体实施方式，所述方法还包括：当所述缓存数据库中存储的数据达到第一预设存储容量值后，检测所述缓存数据库中数据被引用的次数和时间；根据所述缓存数据库中的数据被引用的次数和时间，依次清除缓存数据库中引用次数最少和/或引用时间最短的数据，直到所述缓存数据库中存储的数据下降到第二预设存储容量值以下。第二方面，本申请实施例提供了一种数据存储装置，所述装置包括：接收模块，用于接收存储指令，所述存储指令用于指示请求存储的目标数据；判断模块，用于判断缓存数据库中是否存储有数据；获取模块，用于若所述缓存数据库中没有存储数据，则从原始数据库中获取所述目标数据并存储到云端数据库；若所述缓存数据库中存储有数据，则从所述缓存数据库和/或所述原始数据库中获取所述目标数据并存储到所述云端数据库。第三方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机程序，所述处理器执行所述计算机程序以实现第一方面中任一项实施例所述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令使所述处理器实现第一方面中任一项实施例所述的方法。相对于现有技术而言，本申请具有以下有益效果：本专利技术提供一种数据存储方法、装置及计算机设备。该数据存储方法包括：首先接收存储指令，存储指令用于指示请求存储的目标数据，然后判断缓存数据库中是否存储有数据。若缓存数据库中没有存储数据，则从原始数据库中获取目标数据并存储到云端数据库，若缓存数据库中存储有数据，则从缓存数据库和/或原始数据库中获取目标数据并存储到云端数据库。本专利技术提供的数据存储方法，减少了对原始数据库的访问，提高读取效率，加快数据采集和存储的过程。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对本专利技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。图1为本申请实施例提供的一种数据存储方法的流程示意图；图2为本申请实施例提供的数据存储架构示意图；图3为本申请实施例提供的一种数据存储装置的模块框图。具体实施方式下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在下文中，可在本专利技术的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关
中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，所述方法包括：/n接收存储指令，所述存储指令用于指示请求存储的目标数据；/n判断缓存数据库中是否存储有数据；/n若所述缓存数据库中没有存储数据，则从原始数据库中获取所述目标数据并存储到云端数据库；/n若所述缓存数据库中存储有数据，则从所述缓存数据库和/或所述原始数据库中获取所述目标数据并存储到所述云端数据库。/n

【技术特征摘要】
1.一种数据存储方法，其特征在于，所述方法包括：
接收存储指令，所述存储指令用于指示请求存储的目标数据；
判断缓存数据库中是否存储有数据；
若所述缓存数据库中没有存储数据，则从原始数据库中获取所述目标数据并存储到云端数据库；
若所述缓存数据库中存储有数据，则从所述缓存数据库和/或所述原始数据库中获取所述目标数据并存储到所述云端数据库。


2.根据权利要求1所述的方法，其特征在于，若所述缓存数据库中没有存储数据，所述方法还包括:
将所述目标数据存储到所述缓存数据库。


3.根据权利要求1所述的方法，其特征在于，从所述缓存数据库和/或所述原始数据库中获取所述目标数据并存储到所述云端数据库的步骤，包括:
判断所述缓存数据库中是否存储有全部的所述目标数据；
若所述缓存数据库中存储有全部的所述目标数据，则从所述缓存数据库中获取所述目标数据并存储到所述云端数据库；
若所述缓存数据库中未存储全部的所述目标数据，则从所述缓存数据库和所述原始数据库中获取全部的所述目标数据并存储到所述云端数据库。


4.根据权利要求3所述的方法，其特征在于，从所述缓存数据库和所述原始数据库中获取全部的所述目标数据并存储到所述云端数据库的步骤，包括：
确定所述缓存数据库内存储的所述目标数据的第一子集数据，以及所述缓存数据库内未存储的所述目标数据的第二子集数据；
将所述原始数据库内的所述第二子集数据存储到所述缓存数据库；
将所述缓存数据库中的第一子集数据和所述第二子集数据存储到所述云端数据库。


5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
按照预设的检测周期或者在接收到所述存储...

【专利技术属性】
技术研发人员：张鹏，李江，李春江，孙凡凯，常禹，张立本，
申请(专利权)人：中煤航测遥感集团有限公司，
类型：发明
国别省市：陕西;61