【技术实现步骤摘要】
一种全文检索建立的方法和分布式NewSQL数据库系统
本专利技术涉及大数据
,尤其涉及一种全文检索建立的方法和分布式NewSQL数据库系统。
技术介绍
目前Hbase是Hadoop生态体系中最著名的分布式NoSQL数据库之一。其设计理念来源于Google的Bigtable。Hbase主要组件包括HMaster和HRegionsever,为用户提供表格类型的数据模型,按主键范围划分为多个region,HMaster负责管理和分配region,HRegionserver负责region数据的读写。Hbase的优点使其成为目前应用最广泛的分布式NoSQL数据库之一,随着越来越多的应用尝试迁移到Hbase上,但Hbase只支持基于主键的查询,并不支持全文检索,给很多应用带来了不便。
技术实现思路
本专利技术实施例的目的是提供一种全文检索建立的方法和分布式NewSQL数据库系统,通过支持分布式全文检索,满足用户创建全文索引的需求。为实现上述目的,本专利技术实施例提供了一种全文检索建立的方法,适用于分布式NewSQL数据库系统,所述分布式NewSQL数据库系统包括Solr单元,所述全文检索建立的方法包括:以JDCB/ODBC的接口方式接入用户请求,其中,所述用户请求包括需要写入的全文检索的数据字段;解析所述用户请求,编译以及生成对应的执行计划;根据所述执行计划,将所述全文检索的数据字段写入所述数据表;在所述全文检索的数据字段写入所述数据表时,根据所述全文检索的数据字段的描述生成倒排索引形式的索引数据,并将所述索引数据写入到所述solr单元的索引表;将处理结果返回用户 ...
【技术保护点】
一种全文检索建立的方法,其特征在于,适用于分布式NewSQL数据库系统,所述分布式NewSQL数据库系统包括Solr单元,所述全文检索建立的方法包括:以JDCB/ODBC的接口方式接入用户请求,其中,所述用户请求包括需要写入的全文检索的数据字段;解析所述用户请求,编译以及生成对应的执行计划;根据所述执行计划,将所述全文检索的数据字段写入所述数据表;在所述全文检索的数据字段写入所述数据表时,根据所述全文检索的数据字段的描述生成倒排索引形式的索引数据,并将所述索引数据写入到所述solr单元的索引表;将处理结果返回用户,所述处理结果为所述需要写入的全文检索的数据字段已写入的处理结果。
【技术特征摘要】
2016.09.21 CN 20161084239971.一种全文检索建立的方法,其特征在于,适用于分布式NewSQL数据库系统,所述分布式NewSQL数据库系统包括Solr单元,所述全文检索建立的方法包括:以JDCB/ODBC的接口方式接入用户请求,其中,所述用户请求包括需要写入的全文检索的数据字段;解析所述用户请求,编译以及生成对应的执行计划;根据所述执行计划,将所述全文检索的数据字段写入所述数据表;在所述全文检索的数据字段写入所述数据表时,根据所述全文检索的数据字段的描述生成倒排索引形式的索引数据,并将所述索引数据写入到所述solr单元的索引表;将处理结果返回用户,所述处理结果为所述需要写入的全文检索的数据字段已写入的处理结果。2.如权利要求1所述的一种全文检索建立的方法,其特征在于,还包括:将所述用户请求转化SQL语句形式的SQL请求。3.如权利要求2所述的一种全文检索建立的方法,其特征在于,所述解析所述用户请求,编译以及生成对应的执行计划包括:判断共享缓存池中是否存在与所述SQL请求相对应的预存SQL语句,若是,则输出相对应的所述预存SQL语句对应的执行计划,若否,则,对所述SQL请求进行语法检查,若语法错误返回错误信息给用户,否则,对所述SQL请求进行语义检查,若语义错误返回错误信息给用户,否则,对所述SQL请求进行视图以及表达式转换,获得对应的转化结果;根据所述转换结果选择优化器,获得对应的优化器选择结果;根据所述优化器选择结果选择对应的数据连接方式以及连接顺序;根据连接方式和连接顺序选择搜索的路径;根据搜索路径生成执行计划,并输出执行计划。4.一种分布式NewSQL数据库系统,其特征在于,包括:JDCB/ODBC接口单元,用于与用户进行交互操作,包括接收用户请求,返回处理结果给用户;其中,所述用户请求包括需要写入的全文检索的数据字段,所述处理结果为需要写入的全文检索的数据字段已写入的处理结果;master单元,用于接入JDCB/ODBC接口单元所接入的用户请求,并协调多个处理器之间的数据通讯以及管理整体流程,并将所述用户请求优先发送给SQLPlaner单元;master单元还用于所述处理结果返回JDCB/ODBC接口单元;SQLPlaner单元,用于解析所述用户请求,根据所述用户请求编译以及定制执行计划;worker单元,用于并行地执行所述计划,包括:根据执行计划,将所述全文检索的数据字段作为普通字符串类型写入数据表;还用于将所述Hbase单元的处理结果返回至所述master单元;Hbase单元,用于储存所述数据表;所述Hbase单元还包括所述coprocessor模块,所述coprocessor模块用于在所述全文检索的数据字段写入所述数据表时,根据所述全文检索的数据字段的描述生成倒排索引...
【专利技术属性】
技术研发人员:晋彤,
申请(专利权)人:广州特道信息科技有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。