数据储存方法、装置以及计算机存储介质制造方法及图纸

技术编号:21343453 阅读:29 留言:0更新日期:2019-06-13 22:27
一种数据储存方法、装置以及计算机存储介质,所述方法包括:从关系型数据库中获取多条行式表;根据行式表中的数据类别确定键;根据所述键包含的数据类别提取行式表中对应的数据值;将提取的每一条行式表中的数据值分别储存于不同的存储分片。采用上述方案,一方面控制或避免存储分片的自动扩展与合并,即存储分片的数量以及存储的数据类别可以预先设定,另一方面预先定义键,可以提升数据查询的性能。

Data storage methods, devices and computer storage media

A data storage method, device and computer storage medium includes: obtaining multiple row tables from relational databases; determining keys according to data categories in row tables; extracting corresponding data values from row tables according to data categories contained in the keys; and storing data values in each row table in different storage fragments. Using the above scheme, on the one hand, we can control or avoid the automatic expansion and merging of storage fragments, that is, the number of storage fragments and the type of data stored can be pre-set, on the other hand, we can pre-define keys to improve the performance of data query.

【技术实现步骤摘要】
数据储存方法、装置以及计算机存储介质
本专利技术涉及数据处理领域,尤其涉及一种数据储存方法、装置以及计算机存储介质。
技术介绍
随着信息化技术的发展,大数据应用已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。对于大多数行业的企业,业务数据主要存储在传统关系型数据库中,需要将数据库中的数据转存至大数据平台。现有技术中,将关系型数据库中的数据转存至大数据平台通常采用以下两种方案:1)行式存储,将行式表从关系型数据库中导出,并导入大数据平台的分布式系统,每个表以单独的CSV格式文件存储;2)列式存储,将每个行式表按列式划分,划分后分别存储至一个存储分片。然而,采用方案1)时,数据查询性能较差;采用方案2)时,在存储分片数量过多的情况下,会导致数据节点服务器压力过大,进而使得数据查询性能较差。
技术实现思路
本专利技术解决的技术问题是数据查询性能较差。为解决上述技术问题,本专利技术实施例提供一种数据储存方法,包括:从关系型数据库中获取多条行式表;根据行式表中的数据类别确定键;根据所述键包含的数据类别提取行式表中对应的数据值;将提取的每一条行式表中的数据值分别储存于不同的存储分片。可选的,确定存储分片的数量以及各个存储分片存储的数据类别;根据存储分片存储的数据类别确定主键;将各条行式表的表名作为辅键;所述键包括:主键和辅键。可选的,根据表名以及数据类别提取对应的行式表中对应的数据值。可选的,将提取的数据值根据对应的表名以及数据类别储存于存储分片,每一存储分片包含所有行式表中相同数据类别对应的数据值。可选的,所述存储分片的数量为2n,其中n为预设的常数。本专利技术还提供一种数据储存装置,包括:获取单元,用于从关系型数据库中获取多条行式表;确定单元,用于根据行式表中的数据类别确定键;提取单元,用于根据所述键包含的数据类别提取行式表中对应的数据值;储存单元,用于将提取的每一条行式表中的数据值分别储存于不同的存储分片。可选的,所述确定单元,还用于确定存储分片的数量以及各个存储分片存储的数据类别;根据存储分片存储的数据类别确定主键;将各条行式表的表名作为辅键;所述键包括:主键和辅键。可选的,所述提取单元,还用于根据表名以及数据类别提取对应的行式表中对应的数据值。可选的,所述储存单元,还用于将提取的数据值根据对应的表名以及数据类别储存于存储分片,每一存储分片包含所有行式表中相同数据类别对应的数据值。可选的,所述存储分片的数量为2n,其中n为预设的常数。本专利技术还提供一种计算机可读存储介质,其上存储有计算机指令,所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质,所述计算机指令运行时执行本专利技术任一实施例提供的数据储存方法的步骤。本专利技术还提供一种数据储存装置,包括存储器和处理器,所述存储器上存储有计算机指令,所述计算机指令运行时所述处理器执行本专利技术任一实施例提供的数据储存方法的步骤。与现有技术相比,本专利技术实施例的技术方案具有以下有益效果:根据关系型数据库中行式表的数据类别设定用于数据查询的键,根据所述键包含的数据类别提取行式表中对应的数据值;将提取的每一条行式表中的数据值分别储存于不同的存储分片。采用上述方案,提升数据查询性能。附图说明图1是本专利技术实施例提供的数据储存方法的流程示意图;图2是本专利技术实施例提供的数据储存装置的结构示意图。具体实施方式现有技术中,将关系型数据库中的数据转存至大数据平台通常采用以下两种方案:1)行式存储,将行式表从关系型数据库中导出,并导入大数据平台的分布式系统,每个表以单独的CSV格式文件存储;2)列式存储,将每个行式表按列式划分,划分后分别存储至一个存储分片。然而,采用方案1)时,数据查询性能较差;采用方案2)时,在存储分片数量过多的情况下,会导致数据节点服务器压力过大,进而使得数据查询性能较差。根据关系型数据库中行式表的数据类别设定用于数据查询的键,根据所述键包含的数据类别提取行式表中对应的数据值;将提取的每一条行式表中的数据值分别储存于不同的存储分片。采用上述方案,提升数据查询性能。为使本专利技术的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本专利技术的具体实施例做详细的说明。参阅图1,其为本专利技术实施例提供的数据储存方法的流程示意图,其中具体步骤包括:步骤S101,从关系型数据库中获取多条行式表。在具体实施中,行式表为包括数据类别以及数据类别对应的数据值的关系数据。在具体实施中,同一关系型数据库中的各条行式表所包括的数据类别可以相同。例如,“ID:1,NAME:Jim,AGE:21”为一条行式表,其中数据类别分别为ID、NAME和AGE,对应的数据值分别为1、Jim和21。“ID:2,NAME:Alex,AGE:22”为关系型数据库中的另一条行式表。步骤S102,将行式表中的数据类别作为键。在具体实施中,键为数据查询的关键字,将行式表中的数据类别作为键,即将数据类别的名称或/和数据类别所对应的数据值作为在数据查询过程中的关键字。在具体实施中,通过输入数据类别的名称或/和数据类别所对应的数据值,查询对应的行式表中的数据。本专利技术实施例中,确定存储分片的数量以及各个存储分片存储的数据类别;根据存储分片存储的数据类别确定主键;将各条行式表的表名作为辅键;所述键包括:主键和辅键。在具体实施中,存储分片的数量可以由用户根据实际使用场景进行相应的设定。本专利技术实施例中,所述存储分片的数量为2n,其中n为预设的常数。在具体实施中,每个存储分片分别存储有不同数据类别对应的数据值。在具体实施中,将各条行式表的表名作为辅键,即将各条行式表的表名作为数据查询的关键字之一,表名可以按照存储分片的排序确定,即Tab1、Tab2、Tab3……Tabn;表名可以由用户根据实际使用场景进行相应的设定。在具体实施中,根据各个存储分片存储的数据类别确定主键,即选取某个存储分片存储的数据类别作为主键,用于数据查询。例如,Tab1包含一行记录为:{ID:1,NAME:Jim,AGE:21},主键为数据类别ID对应的数据值,辅键为Tab1,则输入function(Tab1)+function(1),查询得到“ID:1,NAME:Jim,AGE:21”;其中的function为自定义函数,用以将不定长的表名与主键值均转换为定长的,有助于提升查询的索引性能。例如,Tab2包含一行记录为:{ID:1,NAME:Jim,AGE:21},主键为数据类别ID和NMAE对应的数据值,辅键为Tab2,则输入“fucntion(Tab2)+function(1Jim)”,查询得到“ID:1,NAME:Jim,AGE:21”。例如,Tab3包含一行记录为:{ID:1,NAME:Jim,AGE:21},将所有数据类别对应的数据值作为主键,辅键为Tab2,则输入“fucntion(Tab3)+function(1Jim21)”,查询得到“ID:1,NAME:Jim,AGE:21”。步骤S103,根据所述键包含的数据类别提取行式表中对应的数据值。例如,键中包含的数据类别有ID、NAME和AGE,则提取行式表中相应的数据值。本专利技术实施例中,根据表名以及数据类别提取对应的行式表中对应的数据值。在具体实施中,根据表名确定所要进行存储的行式表,在其中根据数据本文档来自技高网...

【技术保护点】
1.一种数据储存方法,其特征在于,包括:从关系型数据库中获取多条行式表;根据行式表中的数据类别确定键;根据所述键包含的数据类别提取行式表中对应的数据值;将提取的每一条行式表中的数据值分别储存于不同的存储分片。

【技术特征摘要】
1.一种数据储存方法,其特征在于,包括:从关系型数据库中获取多条行式表;根据行式表中的数据类别确定键;根据所述键包含的数据类别提取行式表中对应的数据值;将提取的每一条行式表中的数据值分别储存于不同的存储分片。2.根据权利要求1所述的数据储存方法,其特征在于,所述根据行式表中的数据类别确定键,包括:确定存储分片的数量以及各个存储分片存储的数据类别;根据存储分片存储的数据类别确定主键;将各条行式表的表名作为辅键;所述键包括:主键和辅键。3.根据权利要求2所述的数据储存方法,其特征在于,所述根据所述键包含的数据类别提取行式表中对应的数据值,包括:根据表名以及数据类别提取对应的行式表中对应的数据值。4.根据权利要求3所述的数据储存方法,其特征在于,所述将提取的每一条行式表中的数据值分别储存于不同的存储分片,包括:将提取的数据值根据对应的表名以及数据类别储存于存储分片,每一存储分片包含所有行式表中相同数据类别对应的数据值。5.根据权利要求2所述的数据储存方法,其特征在于,所述存储分片的数量为2n,其中n为预设的常数。6.一种数据储存装置,其特征在于,包括:获取单元,用于从关系型数据库中获取多条行式表;确定单元,用于根据行式表中的数据类别确定键;提取单元,用于根据所述键包含的数...

【专利技术属性】
技术研发人员:侯松谈晟刘峰
申请(专利权)人:上海汽车集团股份有限公司
类型:发明
国别省市:上海,31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1