当前位置: 首页 > 专利查询>陆嘉恒专利>正文

基于Hadoop的索引创建方法及其索引方法技术

技术编号:9198336 阅读:211 留言:0更新日期:2013-09-26 02:30
本发明专利技术提供一种基于Hadoop的索引创建方法及其索引方法,其分别建立了基于文件的索引、基于数据块的索引以及基于记录的索引的三级索引机制,在进行数据读取时,根据所述索引信息,对所诉输入分片进行逐层过滤,使得最终查询结果可以直接跳过无用的数据而执行读取动作,本发明专利技术避免了Hadoop读取无用数据,提高了海量数据的处理效率。

【技术实现步骤摘要】

【技术保护点】
一种基于Hadoop的索引创建方法,其特征在于,包括以下步骤:将输入分片按行读取,分别形成第一键值对,并将读取的所述字符串按行生成第一输入表格;获取所述第一输入表格的格式信息,根据所述第一键值对,将所述第一输入表格的各行字符串进行重组,生成第二输入表格;提取所述第二输入表格的索引属性值;计算所述各第二键值对的分片号,根据所述各第二键值对的分片号,对所述各第二键值对进行分组;将每组内所述各第二键值对对应的表格记录按照其索引属性值进行排序,并根据生成的所述各中间键值对,提取所述每组表格记录的索引取值范围,创建基于文件的索引。

【技术特征摘要】

【专利技术属性】
技术研发人员:陆嘉恒程明
申请(专利权)人:陆嘉恒
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1