数据存储方法、系统、装置及非易失性存储介质制造方法及图纸

本申请公开了一种数据存储方法、系统、装置及非易失性存储介质。其中，该方法包括：获取目标增量数据；依据目标增量数据的数据类型，确定目标增量数据对应的分布式数据存储表，并将目标增量数据存放到分布式数据存储表中，得到预处理层；对预处理数据层中的数据进行聚合计算，得到汇总数据层；确定汇总数据层中的数据对应的统计指标，并将统计指标导入对应的热数据存储系统中。本申请解决了由于相关技术中不能及时处理并向用户提供增量数据及相关分析结果造成的数据处理时效性差的技术问题。析结果造成的数据处理时效性差的技术问题。析结果造成的数据处理时效性差的技术问题。

【技术实现步骤摘要】
数据存储方法、系统、装置及非易失性存储介质


[0001]本申请涉及数据存储领域，具体而言，涉及一种数据存储方法、系统、装置及非易失性存储介质。

技术介绍

[0002]相关技术中的数据存储方法，在面对实时增量数据时，不能及时处理并向用户提供增量数据以及增量数据相关的分析结果，导致数据处理的时效性较差。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本申请实施例提供了一种数据存储方法、系统、装置及非易失性存储介质，以至少解决由于相关技术中不能及时处理并向用户提供增量数据及相关分析结果造成的数据处理时效性差的技术问题。
[0005]根据本申请实施例的一个方面，提供了一种数据存储方法，包括：获取目标增量数据；依据目标增量数据的数据类型，确定目标增量数据对应的分布式数据存储表，并将目标增量数据存放到分布式数据存储表中，得到预处理层；对预处理数据层中的数据进行聚合计算，得到汇总数据层；确定汇总数据层中的数据对应的统计指标，并将统计指标导入对应的热数据存储系统中。
[0006]可选地，获取目标增量数据的步骤包括：部署分布式数据处理集群，其中，分布式处理集群中包括不同的数据类型对应的分布式数据处理单元；依据目标增量数据的数据类型，确定与数据类型对应的数据采集工具，并通过数据采集工具获取目标增量数据；依据目标增量数据的数据类型，确定对应的分布式数据处理单元，并将目标增量数据存放到分布式数据处理单元中。
[0007]可选地，目标增量数据的数据类型包括日志数据和业务库变更数据，其中，在目标增量数据的数据类型为日志数据的情况下，数据采集工具为Flume集群，在目标增量数据的数据类型为业务库变更数据的情况下，数据采集工具为Flink CDC。
[0008]可选地，分布式数据处理集群的集群类型包括kafka集群，分布式数据处理单元的单元类型包括kafka Topic。
[0009]可选地，对预处理数据层中的数据进行聚合计算，得到汇总数据层的步骤包括：对预处理数据层中存放的数据进行数据清洗，得到操作数据层；对操作数据层进行维度退化处理，将操作数据层中的维度表退化到操作数据层中的事实表中，得到明细数据层；对明细数据层进行宽表化处理，并对明细数据层中的数据进行聚合计算，得到汇总数据层。
[0010]可选地，将统计指标导入对应的热数据存储系统中的步骤之后，数据存储方法还包括：将热数据存储系统的数据库表和分布式数据存储表统一对外发布；在将热数据存储系统的数据库表和分布式数据存储表统一对外发布之后，接收各个业务子系统发送的数据获取请求，并依据数据获取请求向各个业务子系统提供与数据获取请求对应的数据。
[0011]可选地，依据数据获取请求向各个业务子系统提供与数据获取请求对应的数据的步骤包括：依据数据获取请求，确定各个业务子系统的数据获取权限；依据数据获取权限，确定各个业务子系统的可获取数据；向各个业务子系统提供对应的可获取数据。
[0012]根据本申请实施例的另一方面，还提供了一种数据存储系统，数据存储系统包括统一数据采集层，统一数据存储层，统一数据计算层，统一数据服务层，其中，统一数据采集层，用于采集目标增量数据；统一数据存储层，用于依据目标增量数据的数据类型，确定目标增量数据对应的分布式数据存储表，并将目标增量数据存放到分布式数据存储表中，得到预处理层；统一数据计算层，用于对预处理数据层中的数据进行聚合计算，得到汇总数据层；确定汇总数据层中的数据对应的统计指标，并将统计指标导入对应的热数据存储系统中；统一数据服务层，用于将热数据存储系统的数据库表和分布式数据存储表统一对外发布；在将热数据存储系统的数据库表和分布式数据存储表统一对外发布之后，接收各个业务子系统发送的数据获取请求，并依据数据获取请求向各个业务子系统提供与数据获取请求对应的数据。
[0013]根据本申请实施例的另一方面，还提供了一种数据存储装置，包括：采集模块，用于获取目标增量数据；存储模块，用于依据目标增量数据的数据类型，确定目标增量数据对应的分布式数据存储表，并将目标增量数据存放到分布式数据存储表中，得到预处理层；第一处理模块，用于对预处理数据层中的数据进行聚合计算，得到汇总数据层；第二处理模块，用于确定汇总数据层中的数据对应的统计指标，并将统计指标导入对应的热数据存储系统中。
[0014]根据本申请实施例的另一方面，还提供了一种非易失性存储介质，非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行数据存储方法。
[0015]根据本申请实施例的另一方面，还提供了一种电子设备，包括：存储器和处理器，处理器用于运行存储在存储器中的程序，其中，程序运行时执行数据存储方法。
[0016]在本申请实施例中，采用获取目标增量数据；依据目标增量数据的数据类型，确定目标增量数据对应的分布式数据存储表，并将目标增量数据存放到分布式数据存储表中，得到预处理层；对预处理数据层中的数据进行聚合计算，得到汇总数据层；确定汇总数据层中的数据对应的统计指标，并将统计指标导入对应的热数据存储系统中的方式，通过在获取增量数据后根据增量数据的数据类型对增量数据进行分析处理，达到了快速处理增量数据的目的，从而实现了提高数据处理时效性的技术效果，进而解决了由于相关技术中不能及时处理并向用户提供增量数据及相关分析结果造成的数据处理时效性差技术问题。
附图说明
[0017]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0018]图1是根据本申请实施例提供的一种计算机终端的结构示意图；
[0019]图2是根据本申请实施例提供的一种数据存储方法的流程示意图；
[0020]图3是根据本申请实施例提供的一种数据存储系统的结构示意图；
[0021]图4是根据本申请实施例提供的一种数据存储装置的结构示意图。
具体实施方式
[0022]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0023]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取目标增量数据；依据所述目标增量数据的数据类型，确定所述目标增量数据对应的分布式数据存储表，并将所述目标增量数据存放到所述分布式数据存储表中，得到预处理层；对所述预处理数据层中的数据进行聚合计算，得到汇总数据层；确定所述汇总数据层中的数据对应的统计指标，并将所述统计指标导入对应的热数据存储系统中。2.根据权利要求1所述的数据存储方法，其特征在于，所述获取目标增量数据的步骤包括：部署分布式数据处理集群，其中，所述分布式处理集群中包括不同的数据类型对应的分布式数据处理单元；依据所述目标增量数据的数据类型，确定与所述数据类型对应的数据采集工具，并通过所述数据采集工具获取所述目标增量数据；依据所述目标增量数据的数据类型，确定对应的所述分布式数据处理单元，并将所述目标增量数据存放到所述分布式数据处理单元中。3.根据权利要求2所述的数据存储方法，其特征在于，所述目标增量数据的数据类型包括日志数据和业务库变更数据，其中，在所述目标增量数据的数据类型为所述日志数据的情况下，所述数据采集工具为Flume集群，在所述目标增量数据的数据类型为所述业务库变更数据的情况下，所述数据采集工具为Flink CDC。4.根据权利要求2所述的数据存储方法，其特征在于，所述分布式数据处理集群的集群类型包括kafka集群，所述分布式数据处理单元的单元类型包括kafka Topic。5.根据权利要求1所述的数据存储方法，其特征在于，所述对所述预处理数据层中的数据进行聚合计算，得到汇总数据层的步骤包括：对所述预处理数据层中存放的数据进行数据清洗，得到操作数据层；对所述操作数据层进行维度退化处理，将所述操作数据层中的维度表退化到所述操作数据层中的事实表中，得到明细数据层；对所述明细数据层进行宽表化处理，并对所述明细数据层中的数据进行聚合计算，得到所述汇总数据层。6.根据权利要求1所述的数据存储方法，其特征在于，所述将所述统计指标导入对应的热数据存储系统中的步骤之后，所述数据存储方法还包括：将所述热数据存储系统的数据库表和所述分布式数据存储表统一对外发布；在将所述热数据存储系统的数据库表和所述分布式数据存储表统一对外发布之后，接收各个业务子系统发送的数据获取请求，并依据所述数据...

【专利技术属性】
技术研发人员：朱斌，李海伟，张宝玉，窦康，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：