HBase数据清理方法及装置制造方法及图纸

本申请实施例提供一种HBase数据清理方法及装置，可用于大数据技术领域，方法包括：若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识；自所述目标数据表中清理带有所述目标批次标识的数据，其中，所述目标批次标识预先添加至所述目标数据表中被用户操作的数据中。本申请能够有效降低HBase集群中主节点的运行压力，并能够提高HBase数据清理过程的可靠性及效率，提高HBase集群的整体性能及运行稳定性。性。性。

【技术实现步骤摘要】
HBase数据清理方法及装置


[0001]本申请涉及数据处理
，特别涉及大数据
，具体涉及HBase数据清理方法及装置。

技术介绍

[0002]分布式列式存储数据库HBase的体系结构主要包含主节点Master和从节点Region Server两部分，在涉及对表进行增、删、改、查等操作时，需要主节点Master对外部请求进行管理和传递。
[0003]目前，对HBase进行数据清理方式主要为使用清理操作truncate对HBase进行清表处理，然而，由于主节点Master只有一主一备两个实例，无法进行扩容，因此，当使用清理操作truncate对HBase进行频繁清表操作时，易造成主节点Master的压力较大，进而影响HBase的整体性能。

技术实现思路

[0004]针对现有技术中的问题，本申请提供一种HBase数据清理方法及装置，能够有效降低HBase集群中主节点的运行压力，并能够提高HBase数据清理过程的可靠性及效率，提高HBase集群的整体性能及运行稳定性。
[0005]为解决上述技术问题，本申请提供以下技术方案：
[0006]第一方面，本申请提供一种HBase数据清理方法，包括：
[0007]若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识；
[0008]自所述目标数据表中清理带有所述目标批次标识的数据，其中，所述目标批次标识预先添加至所述目标数据表中被用户操作的数据中。
[0009]进一步地，在所述若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识之前，还包括：
[0010]将所述HBase集群当前的过期文件自动清理参数状态设置为可执行状态；
[0011]根据预先获取的数据表标识、列族名和超时阈值之间的对应关系，以及预先获取的建表配置信息，在所述HBase集群中创建添加有所述超时阈值的配置表。
[0012]进一步地，还包括：
[0013]获取针对所述HBase集群中数据表的写入请求，其中，该写入请求中包含有数据表标识、数据位置标识、写入数据及批次标识；
[0014]根据所述数据位置标识和写入数据，对所述数据表标识对应的数据表中的写入位置进行数据写入处理，并添加所述写入请求中的批次标识与所述写入数据之间的对应关系。
[0015]进一步地，还包括：
[0016]获取针对所述HBase集群中数据表的读取请求，其中，该读取请求中包含有数据表标识、数据位置标识及批次标识；
[0017]根据所述数据位置标识调取所述数据表标识对应的数据表中的读取位置的数据以供用户读取，并添加所述读取请求中的批次标识与所述读取位置之间的对应关系。
[0018]进一步地，还包括：
[0019]接收并存储HBase写入配置表，其中，该HBase写入配置表用于存储用户输入的数据表标识、数据位置标识、写入数据及批次标识之间的对应关系；
[0020]相对应的，所述获取针对所述HBase集群中数据表的写入请求，包括：
[0021]定时扫描所述HBase写入配置表中的新增任务，以获取针对所述HBase集群中数据表的写入请求。
[0022]进一步地，还包括：
[0023]接收并存储HBase读取配置表，其中，该HBase读取配置表用于存储用户输入的数据表标识、数据位置标识及批次标识之间的对应关系；
[0024]相对应的，所述获取针对所述HBase集群中数据表的读取请求，包括：
[0025]定时扫描所述HBase读取配置表中的新增任务，以获取针对所述HBase集群中数据表的读取请求。
[0026]进一步地，在所述若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识之前，还包括：
[0027]基于预设的文件合并时间及频率，对所述HBase集群进行文件合并处理。
[0028]第二方面，本申请提供一种HBase数据清理装置，包括：
[0029]超时验证模块，用于若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识；
[0030]批次清理模块，用于自所述目标数据表中清理带有所述目标批次标识的数据，其中，所述目标批次标识预先添加至所述目标数据表中被用户操作的数据中。
[0031]第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的HBase数据清理方法。
[0032]第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的HBase数据清理方法。
[0033]由上述技术方案可知，本申请提供的一种HBase数据清理方法及装置，方法包括：若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识；自所述目标数据表中清理带有所述目标批次标识的数据，其中，所述目标批次标识预先添加至所述目标数据表中被用户操作的数据中，通过在HBase集群的文件合并期间自动查找当前存储数据时长超过超时阈值的目标数据表进行清表处理，能够有效降低HBase集群中主节点的运行压力，并能够提高HBase数据清理过程的可靠性及有效性，提高HBase集群的整体性能及运行稳定性；通过获取目标数据表当前的目标批次标识，并自所述目标数据表中清理带有所述目标批次标
识的数据，能够对待清理的数据进行分批次处理，无需针对全表进行查找及清表操作，进而能够进一步降低HBase集群中主节点的运行压力，并有效提高HBase数据清理的效率以及HBase的使用效率。
附图说明
[0034]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本申请实施例中的HBase数据清理装置分别与客户端设备及HBase集群之间的交互示意图。
[0036]图2是本申请实施例中的HBase数据清理方法的第一种流程示意图。
[0037]图3是本申请实施例中的HBase数据清理方法中步骤010和步骤020的流程示意图。
[0038]图4是本申请实施例中的HBase数据清理方法中步骤310和步骤320的流程示意图。
[0039]图5是本申请实施例中的HBase数据清理方法中步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种HBase数据清理方法，其特征在于，包括：若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识；自所述目标数据表中清理带有所述目标批次标识的数据，其中，所述目标批次标识预先添加至所述目标数据表中被用户操作的数据中。2.根据权利要求1所述的HBase数据清理方法，其特征在于，在所述若HBase集群当前处于文件合并期间，则在该HBase集群中查找当前存储数据时长超过超时阈值的目标数据表，并获取该目标数据表当前的目标批次标识之前，还包括：将所述HBase集群当前的过期文件自动清理参数状态设置为可执行状态；根据预先获取的数据表标识、列族名和超时阈值之间的对应关系，以及预先获取的建表配置信息，在所述HBase集群中创建添加有所述超时阈值的配置表。3.根据权利要求1所述的HBase数据清理方法，其特征在于，还包括：获取针对所述HBase集群中数据表的写入请求，其中，该写入请求中包含有数据表标识、数据位置标识、写入数据及批次标识；根据所述数据位置标识和写入数据，对所述数据表标识对应的数据表中的写入位置进行数据写入处理，并添加所述写入请求中的批次标识与所述写入数据之间的对应关系。4.根据权利要求1所述的HBase数据清理方法，其特征在于，还包括：获取针对所述HBase集群中数据表的读取请求，其中，该读取请求中包含有数据表标识、数据位置标识及批次标识；根据所述数据位置标识调取所述数据表标识对应的数据表中的读取位置的数据以供用户读取，并添加所述读取请求中的批次标识与所述读取位置之间的对应关系。5.根据权利要求3所述的HBase数据清理方法，其特征在于，其特征在于，还包括：接收并存储HBase写入配置表，其中，该HBase写入配置表用于存储用户输入的数据表标识、数据位...

【专利技术属性】
技术研发人员：梁晔华，张世瑛，赵吉昆，杨嘉欣，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：