一种数据处理装置、数据库一体机及其数据处理方法制造方法及图纸

本发明专利技术实施例公开了一种数据处理装置、数据库一体机及其数据处理方法。数据处理装置设置于数据库一体机的每个备份节点中，数据库一体机的每个存储节点中存储有本存储节点的地址和数据块信息，该数据处理装置包括：存储模块，用于存储数据库一体机中每个存储节点的地址；检测模块，用于检测每个存储节点的工作状态；处理模块，用于在检测模块检测出第一存储节点发生故障时，将第二存储节点中的数据块备份到指定的备份节点中，该第二存储节点为存储有第一存储节点中部分或全部数据块的存储节点。本发明专利技术实施例能够在保证存储空间有效利用的基础上，提高存储节点中数据块的可靠性。

A Data Processing Device, Data Base Integrative Computer and Its Data Processing Method

The embodiment of the present invention discloses a data processing device, a database integrated computer and a data processing method thereof. The data processing device is set in each backup node of the database integration machine, and each storage node of the database integration machine stores the address and data block information of the storage node. The data processing device includes: storage module for storing the address of each storage node in the database integration machine; detection module for storing the address of each storage node in the database integration machine. The working state of each storage node is detected; the processing module is used to backup the data block in the second storage node to the designated backup node when the detection module detects the failure of the first storage node. The second storage node is a storage node that stores part or all of the data blocks in the first storage node. The embodiment of the invention can improve the reliability of data blocks in storage nodes on the basis of ensuring the effective utilization of storage space.

【技术实现步骤摘要】
一种数据处理装置、数据库一体机及其数据处理方法
本申请涉及但不限于计算机和数据库
，尤指一种数据处理装置、数据库一体机及其数据处理方法。
技术介绍
随着计算机和数据库技术的发展，大数据已渗透到各行各业和业务职能领域，逐渐成为不可或缺的数据资源。大数据一体机(BigDataAppliance，简称为：BDA)是一种专为大量数据的分析处理而设计的软、硬件结合的产品，已广泛使用的例如为基于融合计算、存储、高速网络和数据库的高性能数据库一体机。目前的数据库一体机的典型配置例如为：2个计算节点+3个存储节点，存储节点的数据块一般设计为两副本冗余，也可以设计为三副本冗余。其中，两副本冗余仅可以容忍一个存储节点宕机，若一个存储节点宕机，宕机存储节点中的数据块只存在一个副本，出现数据单点的风险；三副本冗余虽然可以容忍两个存储节点宕机，但设计为三副本冗余时，每个存储节点的存储空间大打折扣，存储空间的有效存储量仅为1/3。综上所述，现有技术中的数据库一体机难以兼容存储节点中数据块的可靠性和存储空间的有效利用。
技术实现思路
为了解决上述技术问题，本专利技术实施例提供了一种数据处理装置、数据库一体机及其数据处理方法，能够在保证存储空间有效利用的基础上，提高存储节点中数据块的可靠性。本专利技术实施例提供一种数据库一体机，设置于数据库一体机的每个备份节点中，所述数据库一体机的每个存储节点中存储有本存储节点的地址和数据块信息，所述数据处理装置包括：存储模块，用于存储数据库一体机中每个存储节点的地址；检测模块，用于根据所述存储模块存储的地址检测所述数据库一体机中每个所述存储节点的工作状态；处理模块，用于在所述检测模块检测出第一存储节点发生故障时，根据除所述第一存储节点之外其它存储节点的地址获取所述其它存储节点的数据块信息，将第二存储节点的数据块备份到所述处理模块所属的备份节点中，所述第二存储节点为存储有所述第一存储节点中部分或全部数据块的存储节点。本专利技术实施例还提供一种数据库一体机，包括：至少一个备份节点，以及与每个所述备份节点分别连通的存储节点，每个所述备份节点中配置有如上述任一项所述的数据处理装置，每个所述存储节点中存储有本存储节点的地址和数据块信息。本专利技术实施例还提供一种数据库一体机的数据处理方法，采用如上所述的数据库一体机执行所述数据处理方法，所述方法包括：备份节点根据本备份节点中存储的每个存储节点的地址检测所述数据库一体机中每个存储节点的工作状态；所述备份节点在检测出第一存储节点发生故障时，根据除所述第一存储节点之外其它存储节点的地址获取所述其它存储节点的数据块信息，将第二存储节点中的数据块备份到所述备份节点中，其中，所述第二存储节点为存储有所述第一存储节点中部分或全部数据块的存储节点。本专利技术实施例还提供一种计算机设备，包括：存储器和处理器；所述存储器，用于保存可执行指令；所述处理器，用于在执行所述存储器保存的所述可执行指令时实现如上述任一项所述的数据库一体机的数据处理方法。本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有可执行指令，所述可执行指令被处理器执行时实现如上述中任一项所述的数据库一体机的数据处理方法。本专利技术实施例提供的数据处理装置、数据库一体机及其数据处理方法，数据处理装置中，备份节点通过存储模块中存储的每个存储节点的存储的地址，采用检测模块对每个存储节点工作状态进行检测，在检测出第一存储节点故障时，由处理模块根据存储节点地址获取除故障存储节点之外其它存储节点的数据块信息，并将第二存储节点中与发生故障的第一存储节点相同的数据块备份到该备份节点中，从而避免了数据块两副本冗余设计的数据库一体机中，某个存储节点宕机而出现的数据块单点风险的问题，同时保证了存储节点中存储空间的有效利用。本专利技术实施例提供的数据处理装置，能够在保证存储空间有效利用的基础上，提高存储节点中数据块的可靠性。附图说明附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方案的限制。图1为现有技术中一种数据库一体机的结构示意图；图2为本专利技术实施例提供的一种数据处理装置的结构示意图；图3为本专利技术实施例提供的数据处理装置的一种应用场景示意图；图4为本专利技术实施例提供的数据处理装置的另一种应用场景示意图；图5为本专利技术实施例提供的一种数据库一体机的数据处理方法的流程图；图6为本专利技术实施例提供的另一种数据库一体机的数据处理方法的流程图；图7为本专利技术实施例提供的又一种数据库一体机的数据处理方法的流程图；图8为本专利技术实施例提供的一种计算机设备的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本专利技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本专利技术提供以下几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。目前的数据库一体机中包括安装有数据库软件，提供计算等功能的服务器，例如包括2个或更多计算节点，数据库一体机中还包括提供数据存储、数据过滤、数据卸载等功能的服务器，例如包括3个或更多存储节点，存储节点的个数一般多于计算节点，计算节点和存储节点都可以提供冗余能力，即要求任何一个节点宕机都不会影响数据库一体机提供正常的服务。图1为现有技术中一种数据库一体机的结构示意图，图1所示数据库一体机以2个计算节点+3个存储节点的典型配置为例予以示出，图1所示示例中，每个存储节点中存储有两个数据块，且存储节点设计为两副本冗余，数据块A存储在存储节点1和存储节点2中，数据块B存储在存储节点1和存储节点3中，数据块C存储在存储节点2和存储节点3中，可以看出，两副本冗余的存储节点中，相同数据块不会出现在同一个节点中。对于图1所示的数据库一体机，若存储节点1宕机，该存储节点1中的数据块，即数据块A和数据块B中的内容只剩下一个副本，即数据块A和数据块B出现单点风险。针对数据库一体机中存储节点的两副本冗余设计，目前亟需提出一种解决一个存储节点宕机时出现数据单点风险的方法。图2为本专利技术实施例提供的一种数据处理装置的结构示意图。本实施例提供的数据处理装置100设置于数据库一体机的每个备份节点中，本专利技术实施例中的数据库一体机包括存储节点和备份节点，每个存储节点中存储有本存储节点的地址和数据块信息，本专利技术实施例中的数据处理装置100可以包括：存储模块110、检测模块120和处理模块130。其中，存储模块110，用于存储数据库一体机中每个存储节点的地址；检测模块120，用于根据备份节点的存储模块110存储的地址检测数据库一体机中每个存储节点的工作状态。在本专利技术实施例中，数据处理装置100可以为配置于数据库一体机的备份节点中的软件程序，例如为代理(Agent)软件，备份节点中配置的Agent软件实现的功能即为数据处理装置100中各模块的功能，每个存储节点中可以配置有用于与备份节点中的Agent软件(本文档来自技高网...

【技术保护点】
1.一种数据处理装置，其特征在于，设置于数据库一体机的每个备份节点中，所述数据库一体机的每个存储节点中存储有本存储节点的地址和数据块信息，所述数据处理装置包括：存储模块，用于存储数据库一体机中每个存储节点的地址；检测模块，用于根据所述存储模块存储的地址检测所述数据库一体机中每个所述存储节点的工作状态；处理模块，用于在所述检测模块检测出第一存储节点发生故障时，根据除所述第一存储节点之外其它存储节点的地址获取所述其它存储节点的数据块信息，将第二存储节点的数据块备份到所述处理模块所属的备份节点中，所述第二存储节点为存储有所述第一存储节点中部分或全部数据块的存储节点。

【技术特征摘要】
1.一种数据处理装置，其特征在于，设置于数据库一体机的每个备份节点中，所述数据库一体机的每个存储节点中存储有本存储节点的地址和数据块信息，所述数据处理装置包括：存储模块，用于存储数据库一体机中每个存储节点的地址；检测模块，用于根据所述存储模块存储的地址检测所述数据库一体机中每个所述存储节点的工作状态；处理模块，用于在所述检测模块检测出第一存储节点发生故障时，根据除所述第一存储节点之外其它存储节点的地址获取所述其它存储节点的数据块信息，将第二存储节点的数据块备份到所述处理模块所属的备份节点中，所述第二存储节点为存储有所述第一存储节点中部分或全部数据块的存储节点。2.根据权利要求1所述的数据处理装置，其特征在于，所述数据库一体机包括一个备份节点；所述存储模块，还用于存储所述备份节点的地址；所述处理模块将所述第二存储节点中的数据块备份到所述备份节点中，包括：在所述检测模块检测出所述第一存储节点发生故障时，根据所述存储模块存储的地址扫描除所述第一存储节点之外其它存储节点中的数据块信息，并根据扫描结果和所述备份节点的地址，将所述第二存储节点中的数据块备份到所述备份节点中；或者，所述数据库一体机包括至少两个备份节点；所述存储模块，还用于存储每个所述备份节点的地址和存储优先级；所述处理模块将所述第二存储节点中的数据块备份到所述备份节点中，包括：在所述检测模块检测出所述第一存储节点发生故障时，根据所述存储模块存储的地址扫描除所述第一存储节点和所述处理模块所属备份节点之外其它节点中的数据块信息，并根据扫描结果和每个所述备份节点的地址，按照所述存储优先级将所述第二存储节点中的数据块备份到存储优先级最高且当前为空的备份节点中。3.根据权利要求1或2所述的数据处理装置，其特征在于，所述处理模块，还用于实时扫描所述第二存储节点中的数据块信息，在确定所述第二存储节点中已进行备份的数据块发生更新时，将更新后的数据块重新备份到所述备份节点中。4.根据权利要求1或2所述的数据处理装置，其特征在于，所述处理模块，还用于在所述检测模块检测出所述第一存储节点恢复正常工作状态时，删除所述备份节点中的数据块。5.根据权利要求1或2所述的数据处理装置，其特征在于，所述数据块信息包括：数据块在所属节点中的位置，以及所述数据块的大小和数量。6.一种数据库一体机，其特征在于，包括：至少一个备份节点，以及与每个所述备份节点分别连通的存储节点，每个所述备份节点中配置有如权利要求1～5中任一项所述的数据处理装置，每个所述存储节点中存储有本存储节点的地址和数据块信息。7.一种数据库一体机的数据处...

【专利技术属性】
技术研发人员：魏本帅，杜彦魁，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41