一种分布式NewSQL数据库系统和半结构化数据储存方法技术方案

本发明专利技术公开了一种分布式NewSQL数据库系统，包括：控制单元，用于以数据库接口的方式接入用户请求，并将所述用户请求发送给计划单元；其中，所述用户请求包括需要写入的JSON数据；计划单元，用于解析所述用户请求，编译以及生成对应的执行计划；执行单元，用于根据执行计划，将所述JSON数据作为普通字符串类型整体作为一个数据字段写入数据表；Hbase单元，储存所述数据表和索引表；所述Hbase单元包括协同处理模块，用于在JSON数据写入数据表时，将JSON数据作为一个嵌套的类型生成倒排索引形式的索引数据，并将所述索引数据写入到所述索引表。本发明专利技术还公开了半结构化数据查询方法。本发明专利技术能实现JSON格式的数据查询，解决处理半结构化数据时效果以及性能不佳的问题。

【技术实现步骤摘要】
一种分布式NewSQL数据库系统和半结构化数据储存方法
本专利技术涉及大数据
，尤其涉及一种分布式NewSQL数据库系统和半结构化数据储存方法。
技术介绍
目前Hbase是Hadoop生态体系中最著名的分布式NoSQL数据库之一。Hbase主要组件包括HMaster和HRegionsever，为用户提供表格类型的数据模型，按主键范围划分为多个region，HMaster负责管理和分配region，HRegionserver负责region数据的读写。现有的Hbase存储的数据没有数据类型之分，均为byte数组，因此如若要存储JSON这种半结构化数据即在查询方面会存在一些问题。在Hbase要存储JSON格式数据，则常规会将整个JSON对象当作字符串存储。该方式存在如下缺陷：要过滤记录的时候，需要将所有的记录都读取出来然后在客户端进行过滤，在数据量较大的情况下该性能不能被接受。要更新记录的时候，需要将记录读取出来再针对具体的字段进行更新后重写入到Hbase进行覆盖。
技术实现思路
本专利技术实施例的目的是提供一种分布式NewSQL数据库系统和半结构化数据储存方法，能实现JSON格式的数本文档来自技高网...

【技术保护点】
一种分布式NewSQL数据库系统，其特征在于，包括：控制单元，用于以数据库接口的方式接入用户请求，并将所述用户请求发送给计划单元；其中，所述用户请求包括需要写入的JSON数据；计划单元，用于解析所述用户请求，编译以及生成对应的执行计划；执行单元，用于根据执行计划，将所述JSON数据作为普通字符串类型整体作为一个数据字段写入数据表；Hbase单元，用于储存所述数据表和索引表，其中，Hbase单元的底层增加JSON类型数据，所述JSON数据整体存储在底层HFile中；所述Hbase单元还包括协同处理模块，所述协同处理模块用于在所述JSON数据写入数据表时，将所述JSON数据作为一个嵌套的类型生成倒...

【技术特征摘要】
2016.09.21 CN 20161084239971.一种分布式NewSQL数据库系统，其特征在于，包括：控制单元，用于以数据库接口的方式接入用户请求，并将所述用户请求发送给计划单元；其中，所述用户请求包括需要写入的JSON数据；计划单元，用于解析所述用户请求，编译以及生成对应的执行计划；执行单元，用于根据执行计划，将所述JSON数据作为普通字符串类型整体作为一个数据字段写入数据表；Hbase单元，用于储存所述数据表和索引表，其中，Hbase单元的底层增加JSON类型数据，所述JSON数据整体存储在底层HFile中；所述Hbase单元还包括协同处理模块，所述协同处理模块用于在所述JSON数据写入数据表时，将所述JSON数据作为一个嵌套的类型生成倒排索引形式的索引数据，并将所述索引数据写入到所述索引表。2.如权利要求1所述的分布式NewSQL数据库系统，其特征在于，所述执行单元用于将所述Hbase单元的处理结果返回至所述控制单元；所述控制单元还用于将所述处理结果返回用户。3.如权利要求2所述的分布式NewSQL数据库系统，其特征在于，还包括：分布式事务管理器，用于当所述执行计划中涉及分布式事务时,协调所述执行计划中的多方完成分布式事务管理。4.如权利要求3所述的分布式NewSQL数据库系统，其特征在于，所述Hbase单元还包括过滤模块，所述过滤模块和所述协同处理模块用于生成针对数据的所述索引表。5.如权利要求4所述的分布式NewSQL数据库系统，其特征在于，所述数据库接口为JDBC或OD...

【专利技术属性】
技术研发人员：晋彤，谭恒亮，
申请(专利权)人：广州特道信息科技有限公司，
类型：发明
国别省市：广东,44