由行存储到列存储的格式转化方法、查询方法及装置制造方法及图纸

本发明专利技术提供了一种由行存储到列存储的格式转化方法、查询方法及装置，该格式转化方法包括：读取数据库结构体类型的行存储表数据，并将读取的行存储表数据存储至数据库结构体类型的表中；从结构体类型的表读取表总数和各表表名，解析数据库结构体类型的表中的各表，得到行存储表数据的各表的各列的列名和列数据类型，以及获取硬件解析所述数据库所需信息；根据表总数、表名、列名及列数据类型创建包含硬件解析数据库所需信息的设定列存储格式的列容器；以行为单位从解析后的行存储表数据的各表读取数据，并将以行为单位读取的数据存储至列容器中，得到列存储表数据。通过上述方案能够实现存储格式转化，提高硬件解析数据库的效率和速度。

Format conversion method, query method and device from row storage to column storage

【技术实现步骤摘要】
由行存储到列存储的格式转化方法、查询方法及装置
本专利技术涉及数据存储
，尤其涉及一种由行存储到列存储的格式转化方法、查询方法及装置。
技术介绍
在信息时代，信息的存储、管理、查询、更新都非常重要。随着数据不断增多，数据库的存储量越来越大，每一次查询操作的时间会更长，总耗时不断增多。在实际应用场景中，数据的需求量都非常大，数据库通常需要应对实时的大规模并发查询，那么能否快速响应并返回并行计算结果，就显得尤为重要。现有关系型数据库，如Oracle、DB2、MySQL、SQLSERVER，是采用行式存储法(Row-based)存储数据。在基于行式存储法存储数据的数据库中，数据是按照行数据为基础逻辑存储单元进行存储的，一行中的数据在存储介质中以连续存储形式存在，然后由数据库引擎根据每个查询提取需要的列。这种做法的缺点是必须每次处理一整行，而不是只处理自己需要的列。于此同时，行存储并不利于并行计算，会在需要处理大量数据的时候非常慢。
技术实现思路
本专利技术实施例提供了一种由行存储到列存储的格式转化方法、查询方法及装置本文档来自技高网...

【技术保护点】
1.一种由行存储到列存储的格式转化方法，其特征在于，包括：/n读取数据库结构体类型的行存储表数据，并将读取的所述行存储表数据存储至所述数据库结构体类型的表中；/n从所述数据库结构体类型的表读取所述行存储表数据的表总数和各表表名；解析所述数据库结构体类型的表中的所述行存储表数据的各表，得到所述行存储表数据的各表的各列的列名和列数据类型；以及获取硬件解析所述数据库所需信息；/n根据所述表总数、所述表名、所述列名、所述列数据类型及硬件解析所述数据库所需信息创建包含硬件解析所述数据库所需信息的设定列存储格式的列容器；/n以行为单位从解析后的所述行存储表数据的各表读取数据，并将以行为单位读取的数据存储至...

【技术特征摘要】
1.一种由行存储到列存储的格式转化方法，其特征在于，包括：
读取数据库结构体类型的行存储表数据，并将读取的所述行存储表数据存储至所述数据库结构体类型的表中；
从所述数据库结构体类型的表读取所述行存储表数据的表总数和各表表名；解析所述数据库结构体类型的表中的所述行存储表数据的各表，得到所述行存储表数据的各表的各列的列名和列数据类型；以及获取硬件解析所述数据库所需信息；
根据所述表总数、所述表名、所述列名、所述列数据类型及硬件解析所述数据库所需信息创建包含硬件解析所述数据库所需信息的设定列存储格式的列容器；
以行为单位从解析后的所述行存储表数据的各表读取数据，并将以行为单位读取的数据存储至所述列容器中，得到列存储表数据。


2.如权利要求1所述的由行存储到列存储的格式转化方法，其特征在于，所述数据库结构体类型的表为User表。


3.如权利要求2所述的由行存储到列存储的格式转化方法，其特征在于，解析所述数据库结构体类型的表中的所述行存储表数据的各表，包括：
利用ODBC中的函数解析所述数据库结构体类型的表中的所述行存储表数据的各表。


4.如权利要求3所述的由行存储到列存储的格式转化方法，其特征在于，以行为单位从解析后的所述行存储表数据的各表读取数据，包括：
利用ODBC中的nextline函数以行为单位从解析后的所述行存储表数据的各表逐行读取数据。


5.如权利要求1至4任一项所述的由行存储到列存储的格式转化方法，其特征在于，所述硬件解析所述数据库所需信息包括总列数、写偏移量、读偏移量、各列列偏移量、各列总行数、及各列中各行数据长度。


6.如权利要求5所述的由行存储到列存储的格式转化方法，其特征在于，所述硬件解析所述数据库所需信息还包括：各列列...

【专利技术属性】
技术研发人员：鄢贵海，何莹，易广庆，江树浩，
申请(专利权)人：中科驭数北京科技有限公司，
类型：发明
国别省市：北京;11