【技术实现步骤摘要】
本专利技术涉及一种大数据统计的技术，尤其涉及一种基于Hbase二级索引的数据统计方法。
技术介绍
随着信息数据量的几何增长，Hbase表数据量越来越大，对数据进行各个维度的统计的难度也随之变大。目前传统是通过写MapReduce或者使用Hive、Pig等工具的方法，传统方法均是对全表进行扫描，对集群性能消耗与网络带宽的占用较大，在超大规模数据量的场景下不适用。仅仅靠升级物理硬件或者优化代码，已经不能适应信息的增长速度和信息处理效率的需求，研究者开始探索新的数据统计方法。如何解决此问题成为难点。
技术实现思路
为了解决该问题，本专利技术提出了一种基于Hbase二级索引的数据统计方法，在对Hadoop集群不造成较大压力的情况下，对Hbase数据库的每日新增数据与总量进行统计；本方法具有如下特点：1）二级索引表创建简易2）索引文件与数据文件同时写入，保证一致性3）数据统计时间大大减少。本专利技术的技术方案是：一种基于Hbase二级索引的数据统计方法，具体步骤为：1）通过Coprocessor的Observer模式，在Hbase新增数据时，实时创建该表的二级索引数据，格式为Date_TableName_RowKey；2）将时间作为StartRow与StartRow，书写MR任务，进行数据统计，并删除7日之前的所有索引数据；3）通过crontab设置定时任务，每日自动执行进行数据统计。所述的步骤1）中，通过Coprocessor的Observer模式，在Hbase新增数据时，实时创...
【技术保护点】
一种基于Hbase二级索引的数据统计方法，其特征在于，具体步骤为：1）通过Coprocessor的Observer模式，在Hbase新增数据时，实时创建该表的二级索引数据，格式为Date_TableName_RowKey；2）将时间作为StartRow与StartRow，书写MR任务，进行数据统计，并删除7日之前的所有索引数据；3）通过crontab设置定时任务，每日自动执行进行数据统计。
【技术特征摘要】
1.一种基于Hbase二级索引的数据统计方法，其特征在于，具体步骤为：
1）通过Coprocessor的Observer模式，在Hbase新增数据时，实时创建该表的二级索引数据，格式为Date_TableName_RowKey；
2）将时间作为StartRow与StartRow，书写MR任务，进行数据统计，并删除7日之前的所有索引数据；
3）通过crontab设置定时任务，每日自动执行进行数据统计。
2.根据权利要求1所述的基于Hbase二级索引的数据统计方法，其特征在于，所述的...
【专利技术属性】
技术研发人员：牛硕，周正德，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。