A data storage method, device and computer storage medium includes: obtaining multiple row tables from relational databases; determining keys according to data categories in row tables; extracting corresponding data values from row tables according to data categories contained in the keys; and storing data values in each row table in different storage fragments. Using the above scheme, on the one hand, we can control or avoid the automatic expansion and merging of storage fragments, that is, the number of storage fragments and the type of data stored can be pre-set, on the other hand, we can pre-define keys to improve the performance of data query.
【技术实现步骤摘要】
数据储存方法、装置以及计算机存储介质
本专利技术涉及数据处理领域,尤其涉及一种数据储存方法、装置以及计算机存储介质。
技术介绍
随着信息化技术的发展,大数据应用已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。对于大多数行业的企业,业务数据主要存储在传统关系型数据库中,需要将数据库中的数据转存至大数据平台。现有技术中,将关系型数据库中的数据转存至大数据平台通常采用以下两种方案:1)行式存储,将行式表从关系型数据库中导出,并导入大数据平台的分布式系统,每个表以单独的CSV格式文件存储;2)列式存储,将每个行式表按列式划分,划分后分别存储至一个存储分片。然而,采用方案1)时,数据查询性能较差;采用方案2)时,在存储分片数量过多的情况下,会导致数据节点服务器压力过大,进而使得数据查询性能较差。
技术实现思路
本专利技术解决的技术问题是数据查询性能较差。为解决上述技术问题,本专利技术实施例提供一种数据储存方法,包括:从关系型数据库中获取多条行式表;根据行式表中的数据类别确定键;根据所述键包含的数据类别提取行式表中对应的数据值;将提取的每一条行式表中的数据值分别储存于不同的存储分片。可选的,确定存储分片的数量以及各个存储分片存储的数据类别;根据存储分片存储的数据类别确定主键;将各条行式表的表名作为辅键;所述键包括:主键和辅键。可选的,根据表名以及数据类别提取对应的行式表中对应的数据值。可选的,将提取的数据值根据对应的表名以及数据类别储存于存储分片,每一存储分片包含所有行式表中相同数据类别对应的数据值。可选的,所述存储分片的数量为2n,其中n为预设的常数。本专利 ...
【技术保护点】
1.一种数据储存方法,其特征在于,包括:从关系型数据库中获取多条行式表;根据行式表中的数据类别确定键;根据所述键包含的数据类别提取行式表中对应的数据值;将提取的每一条行式表中的数据值分别储存于不同的存储分片。
【技术特征摘要】
1.一种数据储存方法,其特征在于,包括:从关系型数据库中获取多条行式表;根据行式表中的数据类别确定键;根据所述键包含的数据类别提取行式表中对应的数据值;将提取的每一条行式表中的数据值分别储存于不同的存储分片。2.根据权利要求1所述的数据储存方法,其特征在于,所述根据行式表中的数据类别确定键,包括:确定存储分片的数量以及各个存储分片存储的数据类别;根据存储分片存储的数据类别确定主键;将各条行式表的表名作为辅键;所述键包括:主键和辅键。3.根据权利要求2所述的数据储存方法,其特征在于,所述根据所述键包含的数据类别提取行式表中对应的数据值,包括:根据表名以及数据类别提取对应的行式表中对应的数据值。4.根据权利要求3所述的数据储存方法,其特征在于,所述将提取的每一条行式表中的数据值分别储存于不同的存储分片,包括:将提取的数据值根据对应的表名以及数据类别储存于存储分片,每一存储分片包含所有行式表中相同数据类别对应的数据值。5.根据权利要求2所述的数据储存方法,其特征在于,所述存储分片的数量为2n,其中n为预设的常数。6.一种数据储存装置,其特征在于,包括:获取单元,用于从关系型数据库中获取多条行式表;确定单元,用于根据行式表中的数据类别确定键;提取单元,用于根据所述键包含的数...
【专利技术属性】
技术研发人员:侯松,谈晟,刘峰,
申请(专利权)人:上海汽车集团股份有限公司,
类型:发明
国别省市:上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。