基于HBase的Map任务进度计算方法技术

一种基于HBase的Map任务进度计算方法，在存储中构造rowkey时，对应每个Map任务给定一段连续递增的rowkey范围；通过将当前读取到数据的rowkey在整个任务rowkey范围中的位置即可计算出该Map任务的进度，进而将Map的进度对外显示出来，使用者能够通过该进度实时了解任务的完成情况，从而获知程序的执行瓶颈，便于对程序进行优化。

【技术实现步骤摘要】

本专利技术涉及数据处理的
，具体说是一种基于HBase的Map任务进度计算方法。
技术介绍
HBase是基于Hadoop大数据平台的一种开源分布式列数据库，主要用来存储数据和随机查询，同时也支持MapReduce的计算模式。MapReduce提供了一个Job（作业）进度计算的基本功能，但其实现方式只是用已经完成的MapTask的任务总数除以该总的MapTask数，但每个MapTask也会处理一定数据量的记录，这些进度并没有反应出来，而只有0%和100%两个进度状态。因而，外部使用者通过进度状态无法了解MapTask的精确进度，也无法准确预估任务的完成时间，所以对于任务执行中的效率高低情况，也不能快速了解，从而对程序的进一步优化造成障碍。
技术实现思路
本专利技术要解决的技术问题是提供一种基于HBase的Map任务进度计算方法。本专利技术为解决公知技术中存在的技术问题所采取的技术方案是:本专利技术的基于HBase的Map任务进度计算方法，在存储中构造rowkey时，对应每个Map任务给定一段连续递增的rowkey范围；将一个Map任务的rowkey范围记为[r0,r1],而执行Map任务过程中，将当前读取到数据的rowkey记为rx；通过以下公式计算即可得到该Map任务的进度：。本专利技术还可以采用以下技术措施：Map任务执行过程中，每一时刻都具有唯一的rowkey。构造rowkey时，使用一个long类型的随机数作为rowkey的前八个字节，将数据平均分布。本专利技术具有的优点和积极效果是:本专利技术的基于HBase的Map任务进度计算方法中，在存储中构造rowkey时，对应每个Map任务给定一段连续递增的rowkey范围；通过将当前读取到数据的rowkey在整个任务rowkey范围中的位置即可计算出该Map任务的进度，进而将Map的进度对外显示出来，使用者能够通过该进度实时了解任务的完成情况，从而获知程序的执行瓶颈，便于对程序进行优化。具体实施方式以下通过具体实施例对本专利技术进行详细说明。本专利技术的基于HBase的Map任务进度计算方法，在存储中构造rowkey时，对应每个Map任务给定一段连续递增的rowkey范围；将一个Map任务的rowkey范围记为[r0,r1],而执行Map任务过程中，将当前读取到数据的rowkey记为rx；通过以下公式计算即可得到该Map任务的进度：。Map任务执行过程中，每一时刻都具有唯一的rowkey，从而可依据该rowkey确定当下时刻的任务执行位置。构造rowkey时，使用一个long类型的随机数作为rowkey的前八个字节，将数据平均分布，从而使rowkey反应的任务进度更为精确。以上所述，仅是本专利技术的较佳实施例而已，并非对本专利技术作任何形式上的限制，虽然本专利技术已以较佳实施例公开如上，然而，并非用以限定本专利技术,任何熟悉本专业的技术人员，在不脱离本专利技术技术方案范围内,当然会利用揭示的
技术实现思路
作出些许更动或修饰，成为等同变化的等效实施例,但凡是未脱离本专利技术技术方案的内容，依据本专利技术的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均属于本专利技术技术方案的范围内。本文档来自技高网...

【技术保护点】
一种基于HBase的Map任务进度计算方法，其特征在于：在存储中构造rowkey时，对应每个Map任务给定一段连续递增的rowkey范围；将一个Map任务的rowkey范围记为[r0,r1],而执行Map任务过程中，将当前读取到数据的rowkey记为rx；通过以下公式计算即可得到该Map任务的进度：。

【技术特征摘要】
1.一种基于HBase的Map任务进度计算方法，其特征在于：在存储中构造rowkey时，对应
每个Map任务给定一段连续递增的rowkey范围；将一个Map任务的rowkey范围记为[r0,r1],
而执行Map任务过程中，将当前读取到数据的rowkey记为rx；通过以下公式计算即可得到该
Map任务的进度：。
...

【专利技术属性】
技术研发人员：庞晓曦，杨伟锋，
申请(专利权)人：天津海量信息技术有限公司，
类型：发明
国别省市：天津;12