一种数据存储方法、装置、电子设备以及存储介质制造方法及图纸

本发明专利技术公开了一种数据存储方法、装置、电子设备以及存储介质。所述方法包括：获取待存储数据表；确定所述待存储数据表的数据量，以及与所述待存储数据表匹配的业务类型；其中，所述业务类型包括联机和/或批量；根据待存储数据表的数据量以及业务类型，确定待存储数据表的存储方式；本技术方案，通过量化待存储数据表的数据量，并匹配待存储数据表的业务类型。减少了数据导出时冗余情况的出现进而减少了不必要的导出和导入压力，降低设备的资源占用率。为待存储数据表匹配合理的存储方式，降低了存储架构的复杂性。低了存储架构的复杂性。低了存储架构的复杂性。

【技术实现步骤摘要】
一种数据存储方法、装置、电子设备以及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据存储方法、装置、电子设备以及存储介质。

技术介绍

[0002]对于信息的处理方式有联机和批量两大类。联机也称为联机事务处理，适用于单一事件交易，可以快速反馈处理结果，实时互动性强。联机一般采用传统的关系型数据库，如Oracle、DB2等，这类数据库采用行式存储方式，数据是以行数据为基础逻辑存储单元进行存储的，一行中的数据在存储介质中以连续存储形式存在。批量也称为联机分析处理，适用于一大批工作任务，处理时间相对比较长，实时性差，但比较高效，节省资源消耗。批量一般采用分析型列式存储数据库，如GBase、Hbase、ClickHouse等。这类数据库采用列式存储方式，数据是以列为基础的逻辑存储单元进行存储的，一列中的数据在存储介质中以连续存储形式存在。
[0003]为了能够同时满足联机和批量的业务需求，通常一个系统需要部署一个行式存储的联机数据库进行联机交易，以及一个列式存储的批量数据库进行批量处理。这样设置使得设计、开发、运维等过程均要考虑2套数据库，技术门槛和成本都很高，而且从数据库中频繁导出、导入数据，对数据库的中央处理器、内存等资源消耗都很大。现有技术提供了TiDB数据库，对所有的数据表分别同时进行行式存储和列式存储，两份数据之间使用数据同步机制，行式存储的数据上运行联机，列式存储的数据上运行批量。但是这种方式数据同步压力较大，并且存在数据冗余，浪费存储资源。

技术实现思路

[0004]本专利技术提供了一种数据存储方法、装置、电子设备以及存储介质，以实现行式和列式的混合存储，降低数据库的架构复杂性以及数据的导入导出压力，减少了数据同步压力和数据冗余。
[0005]第一方面，本专利技术实施例提供了一种数据存储方法，该方法包括：
[0006]获取待存储数据表；
[0007]确定所述待存储数据表的数据量，以及与所述待存储数据表匹配的业务类型；
[0008]其中，所述业务类型包括联机和/或批量；
[0009]根据待存储数据表的数据量以及业务类型，确定待存储数据表的存储方式。
[0010]第二方面，本专利技术实施例还提供了一种数据存储装置，该装置包括：
[0011]数据表获取模块，用于获取待存储数据表；
[0012]属性确定模块，用于确定所述待存储数据表的数据量，以及与所述待存储数据表匹配的业务类型；
[0013]其中，所述业务类型包括联机和/或批量；
[0014]存储方式确定模块，用于根据待存储数据表的数据量以及业务类型，确定待存储
数据表的存储方式；
[0015]其中，所述存储方式包括行式存储、列式存储或者行式列式混合存储。
[0016]第三方面，本专利技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本专利技术实施例中任一所述的数据存储方法。
[0017]第四方面，本专利技术实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本专利技术实施例中任一所述的数据存储方法。
[0018]本专利技术实施例的技术方案，通过获取待存储数据表，由数据量计算方法确定所述待存储数据表的数据量，根据用户的实际操作需要为待存储数据表匹配业务类型。根据待存储数据表的数据量以及业务类型，确定待存储数据表的存储方式。本申请实施例，通过量化待存储数据表的数据量，并匹配待存储数据表的业务类型，确定待存储数据表的存储方式。对待存储数据表进行合理匹配存储方式，降低了数据导出和导入的压力，并降低了存储架构的复杂性。
[0019]应当理解，本部分所描述的内容并非旨在标识本专利技术的实施例的关键或重要特征，也不用于限制本专利技术的范围。本专利技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0020]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本专利技术实施例一提供的一种数据存储方法的流程图；
[0022]图2是本专利技术实施例二提供的一种数据存储方法的流程图；
[0023]图3是本专利技术实施例三提供的一种数据存储装置的结构示意图；
[0024]图4是本专利技术实施例四提供的一种电子设备的结构示意图。
具体实施方式
[0025]为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0026]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
[0027]实施例一
[0028]图1为本专利技术实施例一提供了一种数据存储方法的流程图，本实施例可适用于确定数据存储方式的情况，该方法可以由数据存储装置来执行，该数据存储装置可以采用硬件和/或软件的形式实现，该数据存储装置可配置于任何具有存储能力和运算能力的设备中。
[0029]如图1所示，该方法包括：
[0030]S110、获取待存储数据表；
[0031]其中，待存储数据表可以是即将存储于数据库中的数据表格。
[0032]示例性的，如果当前待存储数据表在关系型数据库中，需要找到待存储数据表应在哪一个数据库，检索并获取待存储数据表，如果当前数据以文本形式存储，需要编写待存储数据表生成程序，将文本中的每条数据转化成待存储数据表规定的形式。
[0033]S120、确定所述待存储数据表的数据量，以及与所述待存储数据表匹配的业务类型；其中，所述业务类型包括联机和/或批量；
[0034]其中，数据量可以是存储在存储介质中的数据表的所有数据条数。联机可以是由产生数据的终端将数据输入至系统，由系统处理完成直接将数据传送到需要数据的设备中的过程。批量可以是处理一大批工作任务的联机分析处理操作。
[0035]可选的，确定所述待存储数据表的数据量，可以包括：确定所述待存储数据表的字段数量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：获取待存储数据表；确定所述待存储数据表的数据量，以及与所述待存储数据表匹配的业务类型；其中，所述业务类型包括联机和/或批量；根据待存储数据表的数据量以及业务类型，确定待存储数据表的存储方式；其中，所述存储方式包括行式存储、列式存储或者行式列式混合存储。2.根据权利要求1所述的方法，其特征在于，确定所述待存储数据表的数据量，包括：确定所述待存储数据表的字段数量、各字段对应的字段数据长度，以及数据条数；根据字段数量、各字段对应的字段数据长度，以及数据条数，确定所述待存储数据表的数据量。3.根据权利要求1所述的方法，其特征在于，在确定所述待存储数据表的数据量之后，还包括：若确定所述待存储数据表的数据量小于预设第一阈值，则确定所述待存储数据表的存储方式为行式存储。4.根据权利要求3所述的方法，其特征在于，根据待存储数据表的数据量以及业务类型，确定待存储数据表的存储方式，包括：若确定所述待存储数据表的数据量大于或者等于预设第二阈值，则根据待存储数据表的业务类型，确定待存储数据表的存储方式；其中，所述第一阈值与所述第二阈值相同或者不同。5.根据权利要求4所述的方法，其特征在于，根据待存储数据表的业务类型，确定待存储数据表的存储方式，包括：若确定待存储数据表的业务类型为联机，则确定待存储数据表的存储方式为行式存储；若确定待存储数据表的业务类型为批量，则确定待存储数据表的存储方式为列式存储。6.根据权利要求4所述的方法，其特征在于，根据待存储数据表的业务类型，确定待存储数据表的存储方式，包括：若确定待存储数据表的业务类...

【专利技术属性】
技术研发人员：狄晓帆，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：