数据存储方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据存储方法、装置、计算机设备及存储介质。所述方法包括：将数据以avro存储格式储存到数据仓库的数据基础层中；将数据以textfile存储格式储存到数据仓库的基础指标层中；将数据以textfile存储格式储存到数据仓库的应用层中。通过实施本发明专利技术实施例的方法可根据数据仓库各层的数据的特点以不同的格式对数据仓库各层的数据进行存储，从而极大地提高了数据仓库各层的数据获取的便利性，进而提高了获取数据的效率以及降低了服务器的功耗。

Data storage method, device, computer equipment and storage medium

【技术实现步骤摘要】
数据存储方法、装置、计算机设备及存储介质
本专利技术涉及大数据
，尤其涉及一种数据存储方法、装置、计算机设备及存储介质。
技术介绍
大数据的数据仓库一般包括三层，分别为基础层、基础指标层以及应用层。在现有的开源社区里，有关于大数据平台上面的数据仓库里面每层的数据库里面的数据的存放都是基于同一种格式存放。由于数据仓库里面每层的应用不一样，会导致获取不同层面的数据的便利性不一致，从而导致取数据的效率低下，服务器的功耗增加。
技术实现思路
本专利技术实施例提供了一种数据存储方法、装置、计算机设备及存储介质，旨在解决现有技术中从数据仓库中获取数据的便利性差导致获取数据效率低下以及服务器功耗大的问题。第一方面，本专利技术实施例提供了一种数据存储方法，其包括：将数据以avro存储格式储存到数据仓库的数据基础层中；将数据以textfile存储格式储存到数据仓库的基础指标层中；将数据以textfile存储格式储存到数据仓库的应用层中。其进一步的技术方案为，所述方法还包括：设置所述数据基础层中的数据库的表结构为外表。其进一步的技术方案为，所述方法还包括：设置所述基础指标层中的数据库的表结构为内表。其进一步的技术方案为，所述方法还包括：设置所述应用层中的数据库的表结构为内表。其进一步的技术方案为，所述textfile存储格式中，列与列之间的分隔符为；所述textfile存储格式中，行与行之间的分隔符为\n。第二方面，本专利技术实施例还提供了一种数据存储装置，其包括：第一存储单元，用于将数据以avro存储格式储存到数据仓库的数据基础层中；第二存储单元，用于将数据以textfile存储格式储存到数据仓库的基础指标层中；第三存储单元，用于将数据以textfile存储格式储存到数据仓库的应用层中。其进一步的技术方案为，所述数据存储装置还包括：第一设置单元，用于设置所述数据基础层中的数据库的表结构为外表；第二设置单元，用于设置所述基础指标层的数据库的表结构为内表；第三设置单元，用于设置所述应用层中的数据库的表结构为内表。其进一步的技术方案为，所述textfile存储格式中，列与列之间的分隔符为；所述textfile存储格式中，行与行之间的分隔符为\n。第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。本专利技术实施例公开了一种数据存储方法、装置、计算机设备及存储介质。所述方法包括：将数据以avro存储格式储存到数据仓库的数据基础层中；将数据以textfile存储格式储存到数据仓库的基础指标层中；将数据以textfile存储格式储存到数据仓库的应用层中。通过实施本专利技术实施例的方法可根据数据仓库各层的数据的特点以不同的格式对数据仓库各层的数据进行存储，从而极大地提高了数据仓库各层的数据获取的便利性，进而提高了获取数据的效率以及降低了服务器的功耗。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种数据存储方法的应用场景示意图；图2为本专利技术实施例提供的一种数据存储装置的示意性框图；图3为本专利技术另一实施例提供的一种数据存储装置的示意性框图；图4为本专利技术实施例提供的一种计算机设备的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。请参阅图1，图1是本专利技术实施例提供的一种数据存储方法的流程示意图。如图所示，该方法包括以下步骤S1-S3。S1，将数据以avro存储格式储存到数据仓库的数据基础层中。在本专利技术实施例中，数据仓库包括数据基础层、基础指标层以及应用层。数据基础层中的数据是从业务系统中经过数据抽取后得到的。基础指标层中的数据是由数据基础层中的数据经过数据加工后得到的。应用层中的数据是由基础指标层中的数据经过数据加工后得到的。具体实施中，将数据以avro存储格式储存到数据仓库的数据基础层中。数据基础层中数据量巨大，适合于以压缩性能较好的avro存储格式来储存。进一步地，在某些实施例，例如本实施例中，所述方法还包括：设置所述数据基础层中的数据库的表结构为外表。采用外表的建表方式，是由于如果遇到删表以外的情况，仅删除表的元数据，数据不会被删除，可快速恢复。S2，将数据以textfile存储格式储存到数据仓库的基础指标层中。具体实施中，将数据以textfile存储格式储存到数据仓库的基础指标层中。textfile存储格式的数据可以被业务人员以各种工具和方式打开读取使用，提高了读取的便捷性。进一步地，在某些实施例，例如本实施例中，所述方法还包括：设置所述基础指标层中的数据库的表结构为内表。采用外表的建表方式，是由于内表被删除的时候，元数据和数据全部删掉，有利于指标重新加工存储。需要说明的是，所述textfile存储格式中，列与列之间的分隔符为；所述textfile存储格式中，行与行之间的分隔符为\n。采用以上分隔符可利于业务人员以各种工具和方本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：/n将数据以avro存储格式储存到数据仓库的数据基础层中；/n将数据以textfile存储格式储存到数据仓库的基础指标层中；/n将数据以textfile存储格式储存到数据仓库的应用层中。/n

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：
将数据以avro存储格式储存到数据仓库的数据基础层中；
将数据以textfile存储格式储存到数据仓库的基础指标层中；
将数据以textfile存储格式储存到数据仓库的应用层中。


2.根据权利要求1所述的数据存储方法，其特征在于，所述方法还包括：
设置所述数据基础层中的数据库的表结构为外表。


3.根据权利要求1所述的数据存储方法，其特征在于，所述方法还包括：
设置所述基础指标层中的数据库的表结构为内表。


4.根据权利要求1所述的数据存储方法，其特征在于，所述方法还包括：
设置所述应用层中的数据库的表结构为内表。


5.根据权利要求1所述的数据存储方法，其特征在于，所述textfile存储格式中，列与列之间的分隔符为\t；所述textfile存储格式中，行与行之间的分隔符为\n。


6.一种数据存储装置，其特征在于，包括：
第一存储单元，用于将数据以avro存储格式储存到数据仓库的数据基础层中；
第二存...

【专利技术属性】
技术研发人员：周霞，申志彬，李如先，
申请(专利权)人：深圳前海环融联易信息科技服务有限公司，
类型：发明
国别省市：广东;44