数据库的数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据库的数据处理方法，包括：获取各个数据块服务器中数据流量最大的第一数据块服务器以及数据流量最小的第二数据块服务器；获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块；将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换。本发明专利技术还公开了一种数据库的数据处理装置。本发明专利技术使得数据库中的各个数据块服务器之间的数据流量更加均衡，提高了数据库的性能和工作效率。

【技术实现步骤摘要】

本专利技术涉及数据存储
，尤其涉及一种数据库的数据处理方法及装置。
技术介绍
随着社交应用平台及电子商务类互联网应用的不断出现，标志着人们已经步入更高级的生活时代。在这种海量数据、高并发访问的情况下，数据库能提供稳定、可靠的性能是至关重要的。但传统的数据库已经不能满足这种大数据的问题，在这种技术背景下，分布式的数据库应运而生。HBase是分布式系统基础架构Hadoop上的一个NoSQL(NotonlyStructuredQueryLanguage，非关系类数据库)的实现，同时也是一个分布式的、面向列的开源数据库。它提供了强大的可扩展性和数据操作性能。在HBase中，随着表记录数据不断增加而逐渐分裂成、并最终形成为数据块，不同的数据块会被主机分配给相应的数据块服务器数据块服务器进行管理。但是，在实际的应用中，常常会因为数据块服务器的负载不均衡或者每个数据块服务器中的服务请求数量不均衡，大量读、写请求集中在某几个数据块服务器的某几个数据块中，使得HBase无法及时进行业务处理，进而影响HBase的性能，导致HBase的工作效率低；甚至，在大量读、写请求集中在某几个数据块服务器时，可能会造成数据块服务器宕机，此时，HBase会将读、写请求转移到其他的数据块服务器，进而可能引起其他的数据块服务器的连续宕机，最终导致读、写请求对应的业务完全中断。
技术实现思路
本专利技术提供一种数据库的数据处理方法及装置，旨在解决HBase中大量读、写请求集中在某几个数据块服务器的某几个数据块中而造成HBase无法及时进行业务处理的技术问题。为实现上述目的，本专利技术提供的一种数据库的数据处理方法，所述数据库的数据处理方法包括以下步骤：获取各个数据块服务器中数据流量最大的第一数据块服务器以及数据流量最小的第二数据块服务器；获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块；将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换。优选地，所述获取各个数据块服务器中数据流量最大的第一数据块服务器以及数据流量最小的第二数据块服务器的步骤包括：获取预设时间内数据块的流量参数，其中，所述流量参数包括写入的数据流量和/或读取的数据流量；获取所述数据块的流量参数对应的本地性参数、数据块的历史热度参数及数据块服务器的分布参数；基于所述流量参数、本地性参数、历史热度参数及分布参数计算获得所述数据块服务器的热度参数；将热度参数最大的数据块服务器作为第一数据块服务器，并将热度参数最小的数据块服务器作为第二数据块服务器。优选地，在所述获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块的步骤之前，所述方法还包括：获取所述第一数据块服务器的第一热度参数及第二数据块服务器的第二热度参数；确定所述第一热度参数与所述第二热度参数的第一差值是否大于预设阈值；在所述第一热度参数与所述第二热度参数的第一差值大于预设阈值时，执行所述获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块的步骤。优选地，在获取所述第一数据块服务器的第一热度参数及第二数据块服务器的第二热度参数与所述确定所述第一热度参数与所述第二热度参数的第一差值是否大于预设阈值的步骤之间，所述方法还包括：确定所述第一数据块服务器的第一热度参数是否大于预设热度；在所述第一数据块服务器的第一热度参数大于预设热度时，执行所述确定所述第一热度参数与所述第二热度参数的第一差值是否大于预设阈值的步骤。优选地所述获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块的步骤与所述将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换的步骤之间，所述方法还包括：基于所述第一数据块及第二数据块生成调整计划，其中，调整计划中的所述数据库的配置参数为将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换后的各个数据块服务器的热度参数及其对应的数据块对应的流量参数；获取调整计划中热度参数最大的第三数据块服务器以及热度参数最小的第四数据块服务器，并获取所述第三数据块服务器的第三热度参数及第四数据块服务器的第四热度参数；确定所述第三热度参数与所述第四热度参数的第二差值是否大于所述预设阈值；在所述第二差值大于所述预设阈值时，获取第三数据块服务器对应的各个数据块中的数据流量最大的第三数据块，以及所述第四数据块服务器对应的各个数据块中数据流量最小的第四数据块；在所述将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换的步骤之后，所述方法还包括：将所述第三数据块的数据请求与第四数据块的数据处理请求互换。此外，为实现上述目的，本专利技术还提供一种数据库的数据处理装置，所述数据库的数据处理装置包括：第一获取模块，用于获取各个数据块服务器中数据流量最大的第一数据块服务器以及数据流量最小的第二数据块服务器；第二获取模块，用于获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块；第一交换模块，用于将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换。优选地，第一获取模块包括：第一获取单元，用于获取预设时间内数据块的流量参数，其中，所述流量参数包括写入的数据流量和/或读取的数据流量；第二获取单元，用于获取所述数据块的流量参数对应的本地性参数、数据块的历史热度参数及数据块服务器的分布参数；计算单元，用于基于所述流量参数、本地性参数、历史热度参数及分布参数计算获得所述数据块服务器的热度参数；设置单元，用于将热度参数最大的数据块服务器作为第一数据块服务器，并将热度参数最小的数据块服务器作为第二数据块服务器。优选地，所述数据库的数据处理装置还包括：第三获取模块，用于获取所述第一数据块服务器的第一热度参数及第二数据块服务器的第二热度参数；第一确定模块，用于确定所述第一热度参数与所述第二热度参数的第一差值是否大于预设阈值；所述第二获取模块还用于在所述第一热度参数与所述第二热度参数的第一差值大于预设阈值时，获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块。优选地，所述数据库的数据处理装置还包括：第二确定模块，用于确定所述第一数据块服务器的第一热度参数是否大于预设热度；所述第一确定模块还用于在所述第一数据块服务器的第一热度参数大于预设热度时，确定所述第一热度参数与所述第二热度参数的第一差值是否大于预设阈值。优选地，所述数据库的数据处理装置还包括：生成模块，用于基于所述第一数据块及第二数据块生成调整计划，其中，调整计划中的所述数据库的配置参数为将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换后的各个数据块服务器的热度参数及其对应的数据块对应的流量参数；第四获取模块，用于获取调整计划中热度参数最大的第三数据块服务器以及热度参数最小的本文档来自技高网...

【技术保护点】
一种数据库的数据处理方法，其特征在于，所述数据库的数据处理方法包括以下步骤：获取各个数据块服务器中数据流量最大的第一数据块服务器以及数据流量最小的第二数据块服务器；获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块；将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换。

【技术特征摘要】
1.一种数据库的数据处理方法，其特征在于，所述数据库的数据处理方法包括以下步骤：获取各个数据块服务器中数据流量最大的第一数据块服务器以及数据流量最小的第二数据块服务器；获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块；将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换。2.如权利要求1所述的数据库的数据处理方法，其特征在于，所述获取各个数据块服务器中数据流量最大的第一数据块服务器以及数据流量最小的第二数据块服务器的步骤包括：获取预设时间内数据块的流量参数，其中，所述流量参数包括写入的数据流量和/或读取的数据流量；获取所述数据块的流量参数对应的本地性参数、数据块的历史热度参数及数据块服务器的分布参数；基于所述流量参数、本地性参数、历史热度参数及分布参数计算获得所述数据块服务器的热度参数；将热度参数最大的数据块服务器作为第一数据块服务器，并将热度参数最小的数据块服务器作为第二数据块服务器。3.如权利要求2所述的数据库的数据处理方法，其特征在于，在所述获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块的步骤之前，所述方法还包括：获取所述第一数据块服务器的第一热度参数及第二数据块服务器的第二热度参数；确定所述第一热度参数与所述第二热度参数的第一差值是否大于预设阈
\t值；在所述第一热度参数与所述第二热度参数的第一差值大于预设阈值时，执行所述获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块的步骤。4.如权利要求3所述的数据库的数据处理方法，其特征在于，在获取所述第一数据块服务器的第一热度参数及第二数据块服务器的第二热度参数与所述确定所述第一热度参数与所述第二热度参数的第一差值是否大于预设阈值的步骤之间，所述方法还包括：确定所述第一数据块服务器的第一热度参数是否大于预设热度；在所述第一数据块服务器的第一热度参数大于预设热度时，执行所述确定所述第一热度参数与所述第二热度参数的第一差值是否大于预设阈值的步骤。5.如权利要求3或4所述的数据库的数据处理方法，其特征在于，在所述获取第一数据块服务器对应的各个数据块中的数据流量最大的第一数据块，以及所述第二数据块服务器对应的各个数据块中数据流量最小的第二数据块的步骤与所述将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换的步骤之间，所述方法还包括：基于所述第一数据块及第二数据块生成调整计划，其中，调整计划中的所述数据库的配置参数为将所述第一数据块中的数据请求与第二数据块中的数据处理请求互换后的各个数据块服务器的热度参数及其对应的数据块对应的流量参数；获取调整计划中热度参数最大的第三数据块服务器以及热度参数最小的第四数据块服务器，并获取所述第三数据块服务器的第三热度参数及第四数据块服务器的第四热度参数；确定所述第三热度参数与所述第四热度参数的第二差值是否大于所述预设阈值；在所述第二差值大于所述预设阈值时，获取第三数据块服务器对应的各
\t个数据块中的数据流量最大的第三数据块，以及所述第四数据块服务...

【专利技术属性】
技术研发人员：王源，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44